Data-analytiikka Pythonilla

Täydentävää tietoa tämän sivun aiheisiin: Data-analytiikka Pythonilla – extrat.

Python-ohjelmointikieli on joustava, tehokas ja ilmainen väline, jolla sujuu datan siivoaminen, kuvaileva analytiikka, selittävä analytiikka, aikasarjojen analysointi, ennakoiva analytiikka ja koneoppimisen mallit.

Python on tällä hetkellä suosittu ohjelmointikieli:

• https://pypl.github.io/PYPL.html
• https://hackr.io/blog/best-programming-languages-to-learn-2021-jobs-future

Näin pääset alkuun

• Asenna Anaconda
• Käynnistä Jupyter Notebook – Anacondan mukana tuleva ohjelmointiympäristö
• Jos haluat opetella Python-ohjelmoinnin perusteita, niin kokeile Jupyter Notebookilla Teemu Sirkiän esimerkit
• Jos haluat aloittaa suoraan data-analytiikasta, niin kokeile Jupyter Notebookilla tältä sivulta löytyviä  koodiesimerkkejä. Parhaiten opit kirjoittamalla koodit itse Jupyter Notebookiin ja tekemällä siinä ohessa omia kokeiluja. Sinulla ei tarvitse olla aiempaa ohjelmointikokemusta!
• Halutessasi voit kopioida koodiesimerkkini omalle koneellesi: Github – koodiesimerkit omalle koneelle

• Artikkeli: Miksi Python?
• Artikkeli: Data-analytiikka Pythonilla
• Artikkeli: Koneoppimisen käsitteitä
• Artikkeli: Koneoppiminen ja scikit-learn -kirjasto

Dataan tutustuminen ja datan valmistelu

• Dataframe
• Avaa data Excel-tiedostosta
• Avaa data csv-tiedostosta
• Dataan tutustuminen (myös videona)
• Datan muunnokset (myös videona)
• Suodatusta ja poimintaa (myös videona)
• Datojen yhdistäminen vierekkäin ja allekkain

Kuvaileva analytiikka

• Kuvaileva analytiikka – keskeiset menetelmät
• Frekvenssitaulukko (myös videona)
• Luokiteltu jakauma (myös videona)
• Tilastollisia tunnuslukuja (myös videona)
• Dummy-muuttujien kuvailu
• Artikkeli: Lukumäärä- ja prosenttiyhteenvedot Pythonilla
• Artikkeli: Jupyter: taulukot ja kaaviot raporttiin

Selittävä analytiikka

• Selittävä analytiikka – keskeiset menetelmät
• Ristiintaulukointi (myös videona)
• Tunnuslukujen vertailu (myös videona)
• Laskentaa ryhmittäin groupby-toiminolla (myös videona)
• Korrelaatio (myös videona)
• Dummy-muuttujat selittävän muuttujan määräämissä ryhmissä
• Pivot-taulukot (myös videona)

Grafiikka

• Artikkeli: Kuviot ja kaaviot Pythonilla
• Matplotlib perusteet
• Matplotlib – osa 1: yksinkertainen pylväskaavio
• Matplotlib – osa 2: usean arvosarjan pylväskaavio
• Matplotlib – osa 3: histogrammi
• Matplotlib – osa 4: värien ja värikarttojen käyttö
• Matplotlib – osa 5: kaavioiden oletusparametrit (fontit ym.)
• Matplotlib – osa 6: kahden arvoakselin kaavio
• Matplotlib – osa 7: usean kaavion kuviot
• Seaborn – vaikuttavia kaavioita helpolla tavalla

Aikasarjat

• Aikaleimat – tekstimuotoisten aikatietojen avaaminen ja aikatietojen luominen
• Aikasarjat – aikasarjojen käsittely ja esittäminen
• Aikasarjaennustaminen 1 – artikkelin aiheena yksinkertainen eksponentiaalinen tasoitus
• Aikasarjaennustaminen 2 – artikkelin aiheena kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli
• Aikasarjaennustaminen 3 – artikkelin aiheena kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli

Ennakoiva analytiikka – määrällisen muuttujan ennakointi

• Lineaarinen regressio 1 – lineaarinen regressio – yksi selittävä muuttuja
• Lineaarinen regressio 2 – lineaarinen regressio – useampi selittävä muuttuja
• Lineaarinen regressio 3a – lineaarinen regressio – jaan datan opetusdataan ja testidataan
• Lineaarinen regressio 3b – lineaarinen regressio – parantelua edelliseen esimerkkiin
• Lineaarinen regressio 3c – lineaarinen regressio -parantelua edelliseen esimerkkiin
• Lineaarinen regressio 4 – mukana myös RandomForestRegressor ja GradientBoostingRegressor
• Lineaarinen regressio 5 – mukana myös kategoristen muuttujien muuttaminen dummy-muuttujiksi

Ennakoiva analytiikka – kategorisen muuttujan ennakointi

• Luokittelu 1 – klassinen esimerkki kurjenmiekkojen luokittelusta menetelminä logistinen regressio ja päätöspuu
• Luokittelu 2 – sydämen kunnon ennakointi menetelminä logistinen regressio, päätöspuu, RandomForestClassifier ja GradientBoostingClassifier
• Luokittelu 3 – luottokorttipetosten ennakointi, mukana myös datan tasapainottaminen
• Luokittelu 4 – ohjaamaton luokittelualgoritmi KMeans

Lisämateriaali

• Videoita
• Lisää koodiesimerkkejä: Data-analytiikka Pythonilla – extrat