Python-ohjelmointikieli ohjelmakirjastoineen on joustava, tehokas ja ilmainen väline datojen analysointiin, p-arvojen laskentaan, visualisointiin ja koneoppimisen malleihin.
Python on tällä hetkellä suosittu ohjelmointikieli:
- https://pypl.github.io/PYPL.html
- https://hackr.io/blog/best-programming-languages-to-learn-2019-jobs-future
Näin pääset alkuun
- Asenna Anaconda
- Käynnistä Jupyter – Anacondan mukana tuleva ohjelmointiympäristö
- Jos haluat opetella Python-ohjelmoinnin perusteita, niin kokeile Jupyterilla Teemu Sirkiän esimerkit
- Jos haluat aloittaa suoraan data-analytiikasta, niin kokeile Jupyterilla Datan kuvailu ja visualisointi -otsikon alta löytyviä koodiesimerkkejä. Parhaiten opit kirjoittamalla koodit itse Jupyter-notebookiin ja tekemällä siinä ohessa omia kokeiluja.
- Github – koodiesimerkit omalle koneelle – Voit kloonata koodiesimerkkini omalle koneelle oheisen ohjeen mukaan. Katso VIDEO.
Artikkeleita
- Miksi Python?
- Data-analytiikkaa Pythonilla
- Kuviot ja kaaviot Pythonilla
- Jupyter: taulukot ja kaaviot raporttiin
- Koneoppimisen käsitteitä
- Koneoppiminen ja scikit-learn -kirjasto
Dataframe
- Dataframe – ensimmäinen tutustuminen DataFrameen.
- Avaa data dataframeen – Excel- ja csv-muotoisten datojen avaaminen DataFrameen.
Dataan tutustuminen ja datan valmistelu
- Temppuja DataFramella – opit muiden muassa järjestämään, suodattamaan, laskemaan frekvenssejä, laskemaan tunnuslukuja ja laskemaan korrelaatioita.
- Dataan tutustuminen ja datan valmistelu – nämä on pakko osata. Myös VIDEOINA.
- Ryhmittelyjä groupby-toiminnolla – tätä ryhmittely-työkalua ei kannata ohittaa!
Datan kuvailu ja visualisointi
- Lukumääriä ja prosentteja – lukumäärä- ja prosenttiyhteenvedot taulukoina ja pylväskaavioina. Esimerkit myös VIDEOINA.
- Pivot-taulukoita Pythonilla – pivot_table mahdollistaa monipuolisen raportoinnin.
- Luokiteltu jakauma – luokittele määrällinen muuttuja ennen frekvenssien tai tilastollisten tunnuslukujen laskemista.
- Tunnuslukuja – tilastollisia tunnuslukuja ja korrelaatioita määrällisille muuttujille. Esimerkit myös VIDEOINA.
- Matplotlib – DataFrame matplotlib -grafiikaksi – perusasiat.
- Esimerkkikokoelma kaavioiden laadinnasta.
- Seaborn1 – pylväskaavioita seaborn-kirjastoa käyttäen.
- Seaborn2 – kaavioita määrällisille muuttujille seaborn-kirjastosta.
- Desimaalipisteet pilkuiksi
Kuvailun tuloksia Exceliin
- Tunnusluvut Exceliin – laske tunnuslukuja ja kirjoita tulokset Exceliin.
- Frekvenssitaulukot Exceliin – laske aineiston kaikille muuttujille frekvenssitaulukot.
- Ristiintaulukointi – crosstab() – laske ristiintaulukoinnit crosstab-toiminnolla ja tallenna tulokset Exceliin.
- Datan pika-analyysi Pythonilla – kaikki frekvenssitaulukot, ristiintaulukoinnit ja keskeiset tunnusluvut nopeasti Exceliin.
Tilastollinen merkitsevyys / p-arvot
- Merkitsevyystestausta (p-arvot) Pythonilla – yleisimmät testit tilastollisen merkitsevyyden testaamiseen.
Aikasarjat
- Aikasarjat – aikasarjojen käsittely ja esittäminen. Myös VIDEOINA.
- Quandl – esimerkkejä Quandl-palvelun aikasarjojen käytöstä.
- Aikasarjaennustaminen 1 – artikkelin aiheena yksinkertainen eksponentiaalinen tasoitus.
- Aikasarjaennustaminen 2 – artikkelin aiheena kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli.
- Aikasarjaennustaminen 3 – artikkelin aiheena kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli.
Koneoppimisen malleja
- Lineaarinen regressio 1 – lineaarinen regressio – yksi selittävä muuttuja.
- Lineaarinen regressio 2 – lineaarinen regressio – useampi selittävä muuttuja.
- Lineaarinen regressio 3a – lineaarinen regressio – jaan datan opetusdataan ja testidataan.
- Lineaarinen regressio 3b – lineaarinen regressio – parantelua edelliseen esimerkkiin.
- Lineaarinen regressio 3c – lineaarinen regressio -parantelua edelliseen esimerkkiin.
- K Nearest neighbor – ohjattu luokittelualgoritmi.
- Gaussian Naive Bayes – ohjattu luokittelualgoritmi.
- Logistinen regressio -ohjattu luokittelualgoritmi.
- Päätöspuu (Decision Tree) – ohjattu luokittelualgoritmi.
- K-Means – ohjaamaton luokittelualgoritmi
