Python

Python-ohjelmointikieli lukuisine ohjelmakirjastoineen on joustava ja tehokas tapa datojen analysointiin, p-arvojen laskentaan, visualisointiin ja koneoppimisen malleihin.

Python on tällä hetkellä suosittu ohjelmointikieli:

• https://pypl.github.io/PYPL.html
• https://hackr.io/blog/best-programming-languages-to-learn-2019-jobs-future

Näin pääset alkuun

• Asenna Anaconda
• Käynnistä Jupyter (ohjelmointiympäristö, joka tulee Anacondan mukana)
• Jos haluat opetella Python-ohjelmoinnin perusteita, niin kokeile Jupyterilla Teemu Sirkiän esimerkit
• Jos haluat aloittaa suoraan data-analytiikasta, niin kokeile Jupyterilla Kuvailu-otsikon alta löytyviä esimerkkikoodeja. Parhaiten opit kirjoittamalla esimerkit itse Jupyter-notebookiin ja tekemällä siinä ohessa omia kokeiluja.

Artikkeleita

• Data-analytiikkaa Pythonilla
• Koneoppimisen käsitteitä
• Github – esimerkit omalle koneelle – Githubin koodiesimerkit eivät useinkaan aukene ruuhkaisuuden takia. Kannattaa kloonata koodiesimerkit omalle koneelle oheisen ohjeen mukaan. Katso VIDEO.
• Jupyter: taulukot ja kaaviot raporttiin

Kuvailu

• Dataframe – ensimmäinen tutustuminen DataFrameen.
• Avaa data dataframeen – Excel- ja csv-muotoisten datojen avaaminen DataFrameen.
• Temppuja DataFramella – opit muiden muassa järjestämään, suodattamaan, laskemaan frekvenssejä, laskemaan tunnuslukuja ja laskemaan korrelaatioita.
• Dataan tutustuminen ja datan valmistelu – nämä on pakko osata. Myös VIDEOINA.
• Ryhmittelyjä groupby-toiminnolla – tätä ryhmittely-työkalua ei kannata ohittaa!
• Lukumääriä ja prosentteja – lukumäärä- ja prosenttiyhteenvedot taulukoina ja pylväskaavioina. Esimerkit myös VIDEOINA.
• Pivot-taulukoita Pythonilla – pivot_table mahdollistaa monipuolisen raportoinnin.
• Luokiteltu jakauma – luokittele määrällinen muuttuja ennen frekvenssien tai tilastollisten tunnuslukujen laskemista.
• Tunnuslukuja – tilastollisia tunnuslukuja ja korrelaatioita määrällisille muuttujille. Esimerkit myös VIDEOINA.
• Matplotlib – DataFrame matplotlib -grafiikaksi – perusasiat.
• Esimerkkikokoelma kaavioiden laadinnasta.
• Kuviot Pythonilla 2 – pylväskaavioita seaborn-kirjastoa käyttäen.
• Kuviot Pythonilla 3 – kaavioita määrällisille muuttujille seaborn-kirjastosta.
• Tunnusluvut Exceliin – laske tunnuslukuja ja kirjoita tulokset Exceliin.
• Frekvenssitaulukot Exceliin – laske aineiston kaikille muuttujille frekvenssitaulukot.
• Ristiintaulukointi – crosstab() – laske ristiintaulukoinnit crosstab-toiminnolla ja tallenna tulokset Exceliin.
• Datan pika-analyysi Pythonilla – kaikki frekvenssitaulukot, ristiintaulukoinnit ja keskeiset tunnusluvut nopeasti Exceliin.

Tilastollinen merkitsevyys / p-arvot

• Merkitsevyystestausta (p-arvot) Pythonilla – yleisimmät testit tilastollisen merkitsevyyden testaamiseen.

Aikasarjat

• Aikasarjat – Aikasarjojen käsittely ja esittäminen. Myös VIDEOINA.
• Quandl – Esimerkkejä Quandl-palvelun aikasarjojen käytöstä.
• Aikasarjaennustaminen 1 – Yksinkertainen eksponentiaalinen tasoitus.
• keskeiset tunnusluvut nopeasti.
• Aikasarjaennustaminen 2 – Kaksinkertainen eksponentiaalinen tasoitus eli Holtin malli.
• Aikasarjaennustaminen 3 – Kolminkertainen eksponentiaalinen tasoitus eli Holt-Winterin malli.

Koneoppimisen malleja

• Lineaarinen regressio 1 – Tästä artikkelista opit sklearn-kirjaston käyttöliittymän koneoppimisen malleihin.
• Lineaarinen regressio 2 – Useamman selittävän muuttujan regressio.
• Lineaarinen regressio 3 – Tässä on mukana erikseen opetusdata ja testidata.
• K Nearest neighbor – ohjattu luokittelualgoritmi.
• Gaussian Naive Bayes – ohjattu luokittelualgoritmi.
• Logistinen regressio -ohjattu luokittelualgoritmi.
• Päätöspuu (Decision Tree) – ohjattu luokittelualgoritmi.
• K-Means – ohjaamaton luokittelualgoritmi