Data-analytiikka Pythonilla

Python-ohjelmointikieli on joustava, tehokas ja ilmainen väline, jolla sujuu datan siivoaminen, kuvaileva analytiikka, selittävä analytiikka, aikasarjojen analysointi, ennakoiva analytiikka ja koneoppimisen mallit.

Python on tällä hetkellä suosittu ohjelmointikieli:

• https://pypl.github.io/PYPL.html
• https://hackr.io/blog/best-programming-languages-to-learn-2019-jobs-future

Näin pääset alkuun

• Asenna Anaconda
• Käynnistä Jupyter – Anacondan mukana tuleva ohjelmointiympäristö
• Jos haluat opetella Python-ohjelmoinnin perusteita, niin kokeile Jupyterilla Teemu Sirkiän esimerkit
• Jos haluat aloittaa suoraan data-analytiikasta, niin kokeile Jupyterilla tämän sivun esimerkkikoodeja. Parhaiten opit kirjoittamalla koodit itse Jupyter-notebookiin ja tekemällä siinä ohessa omia kokeiluja.
• Github – koodiesimerkit omalle koneelle – Voit kloonata koodiesimerkkini omalle koneelle oheisen ohjeen mukaan. Katso VIDEO.

Artikkeleita

• Miksi Python?
• Data-analytiikka Pythonilla
• Kuviot ja kaaviot Pythonilla
• Lukumäärä- ja prosenttiyhteenvedot Pythonilla
• Jupyter: taulukot ja kaaviot raporttiin
• Koneoppimisen käsitteitä
• Koneoppiminen ja scikit-learn -kirjasto

Koodeja (tähdelliset ovat tähdellisiä!)

Dataan tutustuminen ja datan valmistelu

• Dataframe – ensimmäinen tutustuminen DataFrameen.
• *Avaa data Excel-tiedostosta
• *Avaa data csv-tiedostosta
• Temppuja DataFramella – opit muiden muassa järjestämään, suodattamaan, laskemaan frekvenssejä, laskemaan tunnuslukuja ja laskemaan korrelaatioita.
• *Dataan tutustuminen ja datan valmistelu – nämä on pakko osata. Myös VIDEOINA.
• Ryhmittelyjä groupby-toiminnolla – tätä ryhmittely-työkalua ei kannata ohittaa!

Kuvaileva ja selittävä analytiikka

• *Frekvenssitaulukko – näin laadit frekvenssitaulukon ja esität sen graafisesti.
• Dummy – dummy (binäärinen, dikotominen) -muuttujien lukumäärä- ja prosenttiyhteenveto.
• *Luokiteltu jakauma – näin lasket luokitellun jakauman.
• *Tilastollisia tunnuslukuja – näin kuvailet tunnuslukujen avulla.
• *Ristiintaulukointi – näin laadit ristiintaulukoinnin, esität sen graafisesti ja testaat onko riippuvuus tilastollisesti merkitsevää.
• *Tunnuslukujen vertailu – näin vertailet tilastollisia tunnuslukuja eri ryhmissä ja  testaat erojen merkitsevyyttä.
• *Korrelaatio – hajontakaavio, korrelaatiokerroin ja sen merkitsevyyden testaaminen.
• Lukumääriä ja prosentteja – lukumäärä- ja prosenttiyhteenvedot taulukoina ja pylväskaavioina. Esimerkit myös VIDEOINA.
• Pivot-taulukoita Pythonilla – pivot_table mahdollistaa monipuolisen raportoinnin.
• Tunnuslukuja – tilastollisia tunnuslukuja ja korrelaatioita määrällisille muuttujille. Esimerkit myös VIDEOINA.
• Desimaalipisteet pilkuiksi – tulostaulukoiden desimaalipisteiden muuttaminen pilkuiksi.

Tilastollinen merkitsevyys

• Merkitsevyystestausta (p-arvot) Pythonilla – yleisimmät testit tilastollisen merkitsevyyden testaamiseen

Aikasarjat

• Aikaleimat – tekstimuotoisten aikatietojen avaaminen ja aikatietojen luominen.
• Aikasarjat – aikasarjojen käsittely ja esittäminen. Myös VIDEOINA.
• Quandl – esimerkkejä Quandl-palvelun aikasarjojen käytöstä.

Grafiikka

• Matplotlib – DataFrame matplotlib -grafiikaksi – perusasiat.
• Esimerkkikokoelma kaavioiden laadinnasta.
• Seaborn1 – pylväskaavioita seaborn-kirjastoa käyttäen.
• Seaborn2 – kaavioita määrällisille muuttujille seaborn-kirjastosta.
• Seaborn3 – tehokkaita menetelmiä määrällisille muuttujille.

Ennakoiva analytiikka

Aikasarjaennustaminen

• Aikasarjaennustaminen 1 – artikkelin aiheena yksinkertainen eksponentiaalinen tasoitus.
• Aikasarjaennustaminen 2 – artikkelin aiheena kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli.
• Aikasarjaennustaminen 3 – artikkelin aiheena kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli.

Regressiomalleja

• Lineaarinen regressio 1 – lineaarinen regressio – yksi selittävä muuttuja.
• Lineaarinen regressio 2 – lineaarinen regressio – useampi selittävä muuttuja.
• Lineaarinen regressio 3a – lineaarinen regressio – jaan datan opetusdataan ja testidataan.
• Lineaarinen regressio 3b – lineaarinen regressio – parantelua edelliseen esimerkkiin.
• Lineaarinen regressio 3c – lineaarinen regressio -parantelua edelliseen esimerkkiin.

Luokittelumalleja

• K Nearest neighbor – ohjattu luokittelualgoritmi.
• Gaussian Naive Bayes – ohjattu luokittelualgoritmi.
• Logistinen regressio -ohjattu luokittelualgoritmi.
• Päätöspuu (Decision Tree) – ohjattu luokittelualgoritmi.
• K-Means – ohjaamaton luokittelualgoritmi

Data tietokannasta

• Yhteys tietokantaan – esimerkkejä tietokannan tietojen analysoinnista.

Tuloksia suoraan Exceliin

• Tunnusluvut Exceliin – laske tunnuslukuja ja kirjoita tulokset Exceliin.
• Frekvenssitaulukot Exceliin – laske aineiston kaikille muuttujille frekvenssitaulukot.
• Ristiintaulukointi – crosstab() – laske ristiintaulukoinnit crosstab-toiminnolla ja tallenna tulokset Exceliin.
• Datan pika-analyysi Pythonilla – kaikki frekvenssitaulukot, ristiintaulukoinnit ja keskeiset tunnusluvut nopeasti Exceliin.