Python-ohjelmointikieli on joustava, tehokas ja ilmainen väline, jolla sujuu datan siivoaminen, kuvaileva analytiikka, selittävä analytiikka, aikasarjojen analysointi, ennakoiva analytiikka ja koneoppimisen mallit.
Python on tällä hetkellä suosittu ohjelmointikieli:
- https://pypl.github.io/PYPL.html
- https://hackr.io/blog/best-programming-languages-to-learn-2020-jobs-future
Näin pääset alkuun
- Asenna Anaconda
- Käynnistä Jupyter Notebook – Anacondan mukana tuleva ohjelmointiympäristö
- Jos haluat opetella Python-ohjelmoinnin perusteita, niin kokeile Jupyter Notebookilla Teemu Sirkiän esimerkit
- Jos haluat aloittaa suoraan data-analytiikasta, niin kokeile Jupyter Notebookilla tältä sivulta löytyviä koodiesimerkkejä. Parhaiten opit kirjoittamalla koodit itse Jupyter Notebookiin ja tekemällä siinä ohessa omia kokeiluja.
- Github – koodiesimerkit omalle koneelle – Voit kloonata koodiesimerkkini omalle koneelle oheisen ohjeen mukaan. Katso VIDEO.
Artikkeleita
- Miksi Python?
- Data-analytiikka Pythonilla
- Kuviot ja kaaviot Pythonilla
- Lukumäärä- ja prosenttiyhteenvedot Pythonilla
- Jupyter: taulukot ja kaaviot raporttiin
- Koneoppimisen käsitteitä
- Koneoppiminen ja scikit-learn -kirjasto
Koodiesimerkkejä (tähdelliset ovat tähdellisiä!)
Dataan tutustuminen ja datan valmistelu
- Dataframe – ensimmäinen tutustuminen DataFrameen.
- Avaa data Excel-tiedostosta
- Avaa data csv-tiedostosta
- *Dataan tutustuminen
- *Datan muunnokset
- *Suodatusta ja poimintaa
- *Datojen yhdistäminen vierekkäin ja allekkain
- Temppuja DataFramella – opit muiden muassa järjestämään, suodattamaan, laskemaan frekvenssejä, laskemaan tunnuslukuja ja laskemaan korrelaatioita.
- Ryhmittelyjä groupby-toiminnolla – laskentaa ryhmittäin groupby-toiminnolla.
Kuvaileva ja selittävä analytiikka
- *Frekvenssitaulukko – näin laadit frekvenssitaulukon ja esität sen graafisesti.
- Dummy – dummy (binäärinen, dikotominen) -muuttujien lukumäärä- ja prosenttiyhteenveto.
- *Luokiteltu jakauma – näin lasket luokitellun jakauman.
- *Tilastollisia tunnuslukuja – näin kuvailet tunnuslukujen avulla.
- *Ristiintaulukointi – näin laadit ristiintaulukoinnin, esität sen graafisesti ja testaat onko riippuvuus tilastollisesti merkitsevää.
- *Tunnuslukujen vertailu – näin vertailet tilastollisia tunnuslukuja eri ryhmissä ja testaat erojen merkitsevyyttä.
- *Korrelaatio – hajontakaavio, korrelaatiokerroin ja sen merkitsevyyden testaaminen.
- Lukumääriä ja prosentteja – lukumäärä- ja prosenttiyhteenvedot taulukoina ja pylväskaavioina.
- Pivot-taulukoita Pythonilla – pivot_table mahdollistaa monipuolisen raportoinnin.
- Tunnuslukuja – tilastollisia tunnuslukuja ja korrelaatioita määrällisille muuttujille.
- Desimaalipisteet pilkuiksi – tulostaulukoiden desimaalipisteiden muuttaminen pilkuiksi.
Tilastollinen merkitsevyys
- Merkitsevyystestausta (p-arvot) Pythonilla – yleisimmät testit tilastollisen merkitsevyyden testaamiseen
Aikasarjat
- Aikaleimat – tekstimuotoisten aikatietojen avaaminen ja aikatietojen luominen.
- Aikasarjat – aikasarjojen käsittely ja esittäminen.
- Quandl – esimerkkejä Quandl-palvelun aikasarjojen käytöstä.
Grafiikka
- Matplotlib – DataFrame matplotlib -grafiikaksi – perusasiat.
- Esimerkkikokoelma kaavioiden laadinnasta.
- Seaborn1 – pylväskaavioita seaborn-kirjastoa käyttäen.
- Seaborn2 – kaavioita määrällisille muuttujille seaborn-kirjastosta.
- Seaborn3 – tehokkaita menetelmiä määrällisille muuttujille.
Ennakoiva analytiikka
Aikasarjaennustaminen
- Aikasarjaennustaminen 1 – artikkelin aiheena yksinkertainen eksponentiaalinen tasoitus.
- Aikasarjaennustaminen 2 – artikkelin aiheena kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli.
- Aikasarjaennustaminen 3 – artikkelin aiheena kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli.
Regressiomalleja
- Lineaarinen regressio 1 – lineaarinen regressio – yksi selittävä muuttuja.
- Lineaarinen regressio 2 – lineaarinen regressio – useampi selittävä muuttuja.
- Lineaarinen regressio 3a – lineaarinen regressio – jaan datan opetusdataan ja testidataan.
- Lineaarinen regressio 3b – lineaarinen regressio – parantelua edelliseen esimerkkiin.
- Lineaarinen regressio 3c – lineaarinen regressio -parantelua edelliseen esimerkkiin.
Luokittelumalleja
- K Nearest neighbor – ohjattu luokittelualgoritmi.
- Gaussian Naive Bayes – ohjattu luokittelualgoritmi.
- Logistinen regressio -ohjattu luokittelualgoritmi.
- Päätöspuu (Decision Tree) – ohjattu luokittelualgoritmi.
- K-Means – ohjaamaton luokittelualgoritmi
Data tietokannasta
- Yhteys tietokantaan – esimerkkejä tietokannan tietojen analysoinnista.
Tuloksia suoraan Exceliin
- Tunnusluvut Exceliin – laske tunnuslukuja ja kirjoita tulokset Exceliin.
- Frekvenssitaulukot Exceliin – laske aineiston kaikille muuttujille frekvenssitaulukot.
- Ristiintaulukointi – crosstab() – laske ristiintaulukoinnit crosstab-toiminnolla ja tallenna tulokset Exceliin.
- Datan pika-analyysi Pythonilla – kaikki frekvenssitaulukot, ristiintaulukoinnit ja keskeiset tunnusluvut nopeasti Exceliin.
Videoita
