Data-analytiikka Pythonilla

Täydentävää tietoa tämän sivun aiheisiin: Data-analytiikka Pythonilla – extrat.

Python-ohjelmointikieli on joustava, tehokas ja ilmainen väline, jolla sujuu datan siivoaminen, kuvaileva analytiikka, selittävä analytiikka, aikasarjojen analysointi, ennakoiva analytiikka ja koneoppimisen mallit.

Python on tällä hetkellä suosittu ohjelmointikieli:

• https://pypl.github.io/PYPL.html
• https://hackr.io/blog/best-programming-languages-to-learn-2022-jobs-future

Näin pääset alkuun

• Asenna Anaconda
• Käynnistä Jupyter – Anacondan mukana tuleva ohjelmointiympäristö
• Voit sukeltaa suoraan data-analytiikkaan aloittamalla pandas1-muistiosta. Parhaiten opit kirjoittamalla esimerkki-muistion koodit itse Jupyter-muistioon ja tekemällä siinä ohessa omia kokeiluja. Sinulla ei tarvitse olla aiempaa ohjelmointikokemusta! Voit käyttää tukena videota.
• Halutessasi voit kopioida koodiesimerkkini jupyter muistiot omalle koneellesi: Github – koodiesimerkit omalle koneelle

• Artikkeli: Miksi Python?
• Artikkeli: Data-analytiikka Pythonilla

Dataan tutustuminen ja datan valmistelu

• Dataframe
• Avaa data Excel-tiedostosta
• Avaa data csv-tiedostosta
• Dataan tutustuminen (myös videona)
• Datan muunnokset (myös videona)
• Suodatusta ja poimintaa (myös videona)
• Datojen yhdistäminen vierekkäin ja allekkain

Kuvaileva analytiikka

• Diasarja: Kuvaileva analytiikka – keskeiset menetelmät
• Frekvenssitaulukko (myös videona)
• Luokiteltu jakauma (myös videona)
• Tilastollisia tunnuslukuja (myös videona)
• Dummy-muuttujien kuvailu
• Kuvaileva analytiikka – parhaat käytänteet
• Artikkeli: Lukumäärä- ja prosenttiyhteenvedot Pythonilla
• Artikkeli: Jupyter: taulukot ja kaaviot raporttiin

Selittävä analytiikka

• Diasarja: Selittävä analytiikka – keskeiset menetelmät
• Ristiintaulukointi (myös videona)
• Tunnuslukujen vertailu (myös videona)
• Laskentaa ryhmittäin groupby-toiminolla (myös videona)
• Korrelaatio (myös videona)
• Dummy-muuttujat selittävän muuttujan määräämissä ryhmissä
• Pivot-taulukot (myös videona)
• Selittävä analytiikka – parhaat käytänteet

Grafiikka

• Artikkeli: Kuviot ja kaaviot Pythonilla
• Matplotlib perusteet
• Matplotlib – osa 1: yksinkertainen pylväskaavio
• Matplotlib – osa 2: usean arvosarjan pylväskaavio
• Matplotlib – osa 3: histogrammi
• Matplotlib – osa 4: värien ja värikarttojen käyttö
• Matplotlib – osa 5: kaavioiden oletusparametrit (fontit ym.)
• Matplotlib – osa 6: kahden arvoakselin kaavio
• Matplotlib – osa 7: usean kaavion kuviot
• Kaaviot: opettavainen kokoelma esimerkkejä
• Seaborn – vaikuttavia kaavioita helpolla tavalla

Aikasarjat

• Aikaleimat – tekstimuotoisten aikatietojen avaaminen ja aikatietojen luominen
• Aikasarjat – aikasarjojen käsittely ja esittäminen
• Artikkeli: Aikasarjaennustaminen 1 – yksinkertainen eksponentiaalinen tasoitus
• Artikkeli: Aikasarjaennustaminen 2 – kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli
• Artikkeli: Aikasarjaennustaminen 3 – kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli

Ennakoiva analytiikka

• Artikkeli: Koneoppimisen käsitteitä
• Artikkeli: Koneoppiminen ja scikit-learn -kirjasto
• Datan valmistelu koneoppimisen malleja varten

Kategorisen muuttujan ennakointi (luokittelu)

• Luokittelu 1 – klassinen esimerkki kurjenmiekkojen luokittelusta menetelmänä päätöspuu (decision tree)
• Luokittelu 2 – sydämen kunnon ennakointi menetelminä logistinen regressio, päätöspuu, satunnaismetsä (RandomForest) ja gradienttitehostus (GradientBoosting)
• Luokittelu 3 – luottokorttipetosten ennakointi, mukana myös datan tasapainottaminen
• Luokittelu 4 – ohjaamaton luokittelualgoritmi KMeans

Määrällisen muuttujan ennakointi

• Lineaarinen regressio 1 – lineaarinen regressio – yksi selittävä muuttuja
• Lineaarinen regressio 2 – lineaarinen regressio – useampi selittävä muuttuja
• Myynnin ennustaminen – lineaarinen regressio, satunnaismetsä (RandomForestRegressor), gradienttitehostus (GradientBoostingRegressor)
• Käytetyn auton hinnan ennustaminen – mukana myös kategoristen muuttujien muuttaminen dummy-muuttujiksi

Lisämateriaali

• Videoita
• Lisää koodiesimerkkejä: Data-analytiikka Pythonilla – extrat