Avainsana-arkisto: Otantakehikko

Kyselytutkimuksen luotettavuus

Päivitetty 31.3.2019.

…virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Kyselytutkimuksen tavoitteena on hankkia tutkimuksen tarkoitukseen sopivaa tietoa, joka on todenmukaista ja virheetöntä. Tutkimuksen toteutuksessa virheiden osuus pyritään minimoimaan. Tätä varten keskeiset virhelähteet täytyy tunnistaa. Tutkimusraportissa virhelähteet ja niiden mahdollinen vaikutus tutkimustuloksiin täytyy raportoida kattavasti ja rehellisesti, jotta raportin lukijakin pystyy arvioimaan virheiden vaikutuksen tutkimuksen luotettavuuteen.

Keskeiset virhelähteet ovat selkeästi tunnistettavissa, jos kuvaan kyselytutkimusta seuraavan kuvion mukaisella mallilla (mallin idean olen ottanut kirjasta Groves, Fowler, Couper, Lepkowski, Singer & Tourangeau. Survey Methodology. Second Edition).

Kuvion mukaisesti virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Luotettava mittaaminen

Kyselytutkimuksen tuloksia ei tarkastella yksittäisen vastaajan osalta. On kuitenkin tärkeää, että mittaaminen on suoritettu siten että vastausten perusteella vastaaja pystyttäisiin kuvailemaan todenmukaisesti tutkimuksen kannalta olennaisten ominaisuuksien osalta. Muutoinhan kaikkien vastaajien vastauksista tilastollisesti muodostettu yhteenveto ei anna todenmukaista kuvaa otoksesta. Mittaamisen luotettavuutta heikentäviä tekijöitä ovat ainakin seuraavat:

Heikko validiteetti

Jos kyselylomakkeen kysymykset eivät mittaa sitä mitä niiden on tarkoitus mitata niin seurauksena on heikko validiteetti.

Heikko reliabiliteetti

Vastauksissa esiintyvät satunnaiset virheet heikentävät mittaamisen reliabiliteettia. Esimerkiksi

  • Eri vastaajat ymmärtävät kysymykset eri tavoilla.
  • Kaikki vastaajat eivät vastaa rehellisesti.
  • Kaikki vastaajat eivät muista vastausta oikein. Tämä on ongelma erityisesti mennyttä käytöstä koskevissa kysymyksissä.
  • Vastaukset vaihtelelevat satunnaisten tekijöiden johdosta (vastaajan mielentila, vuorokaudenaika, haastattelijan käytös jne.).
  • Vastaus kirjataan vahingossa väärin.

Jos mittaamisen reliabiliteetti on heikko, niin siitä seuraa myös heikko validiteetti. Eihän virheellisillä vastauksilla voida mitata luotettavasti sitä mitä on tarkoitus mitata. Päinvastainen ei välttämättä pidä paikkansa. Mittaamisen validiteetti voi olla heikko, mutta silti vastaukset voivat olla virheettömiä ja totuuden mukaisia esitettyihin kysymyksiin nähden.

Lisätietoa ja esimerkkejä mittaamisen validiteetista ja reliabiliteetista artikkelissani Mittaamisen luotettavuus.

Oikeat menetelmävalinnat

Yksittäisten vastaajien vastauksista muodostetaan otosta kuvaileva yhteenveto käyttäen taulukoita, tilastollisia tunnuslukuja ja kuvioita. Virheelliset menetelmävalinnat tai laskuvirheet heikentävät luotettavuutta. Tilastollisten menetelmien opiskelulla ja huolellisella työskentelyllä tämän vaiheen virheet voidaan välttää. Jos olet epävarma menetelmävalinnoista, niin kysy asiantuntijalta.

Onnistunut otanta

Otoksen perusteella muodostetaan kuva koko perusjoukosta. Jos otos ei vastaa ominaisuuksiltaan perusjoukkoa, niin otoksen perusteella tehdään virheellisiä päätelmiä perusjoukosta. Tässä yhteydessä käytetään usein nimitystä ulkoinen validiteetti. Jos otoksen tulokset ovat heikosti yleistettävissä perusjoukkoon, niin ulkoinen validiteetti on heikko. Otoksen onnistumista uhkaavat ainakin seuraavat tekijät:

  • Peittovirhe: Otos valitaan usein todellisen perusjoukon sijasta niin kutsutusta otantakehikosta. Otantakehikko ei sisällä välttämättä koko perusjoukkoa ja toisaalta otantakehikkoon saattaa kuulua perusjoukkoon kuulumattomia. Otantakehikosta seuraavaa virhettä kutsutaan peittovirheeksi. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantamenetelmä: Jos otantamenetelmä on jokin muu kuin arvonta tai systemaattinen otanta, niin seurauksena voi olla vino otos, joka ei vastaa perusjoukkoa. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantavirhe: Vaikka otanta valitaan arpomalla tai systemaattisella otannalla, niin otoksen kokoonpano vaihtelee otoksesta toiseen. Tätä vahtelua kutsutaan otantavirheeksi. Otantavirhe on sitä pienempi mitä suurempaa otosta käytän. Tästä asiasta lisää artikkelissani Otoskoko. Tilastollisen päättelyn menetelmät (virhemarginaalin laskeminen, hypoteesin testaus) liittyvät otantavirheen huomioimiseen tulosten esittämisessä.
  • Kato: Vastaamatta jättäneet voivat olla erilaisia kuin vastanneet. Tällöin kadosta seuraa virhettä tuloksiin. Kyselytutkimusten vastausprosentit ovat usein valitettavan alhaisia, joten kato voi aiheuttaa merkittävän virheen tuloksiin. Tästä asiasta lisää artikkelissani Kato.

Edellä mainituista peittovirhe ja kato ovat uhkana myös kokonaistutkimuksessa, jossa tieto pyritään keräämään koko perusjoukolta.

Kannattaa huomata, että tutkimustulokset voivat olla käyttökelpoisia vaikka otanta ei olisikaan kovin onnistunut:

Esimerkki: Oleta, että asiakaskyselyssä iso joukko asiakkaita pitää myymälän siisteyttä tärkeänä, mutta arvioi myymälän epäsiistiksi. Riippumatta otannan onnistuneisuudesta nämä ovat todellisia vastaajia ja todellisia mielipiteitä, joiden pohjalta kannattaa ryhtyä toimenpiteisiin siisteyden parantamiseksi.

Otantamenetelmä

Päivitetty 31.3.2019.

Otantakehikko on joukko, josta otos oikeasti valitaan. Otantakehikko saattaa poiketa enemmän tai vähemmän perusjoukosta.

Kokonaistutkimuksessa data kerätään koko kiinnostuksen kohteena olevasta joukosta eli perusjoukosta. Jos kokonaistutkimus ei ole mahdollinen tai tarkoituksenmukainen, niin data voidaan kerätä vain osasta perusjoukkoa (otos). Otantamenetelmällä ja otoskoolla on ratkaiseva vaikutus siihen kuinka luotettavasti otoksen avulla voidaan kuvata perusjoukkoa.

Otantakehikko

Otantakehikko on joukko, josta otos oikeasti valitaan. Otantakehikko saattaa poiketa enemmän tai vähemmän perusjoukosta.

Esimerkki. Oletetaan, että perusjoukko on Haaga-Helian ammattikorkeakoulun Pasilan toimipisteen liiketalouden opiskelijat. Jos toteutan kyselytutkimuksen Pasilan toimipisteen kahviossa, niin otantakehikko on Pasilan toimipisteen kahviossa asioivat. Otantakehikko poikkeaa ainakin kahdella tavalla perusjoukosta:

  • Osa perusjoukkoon kuuluvista ei koskaan asioi kahviossa. Jos nämä otantakehikosta puuttuvat ovat kyselytutkimuksessa kysyttävien asioiden osalta erilaisia kuin kahviossa asioivat, niin otos ei anna oikeaa kuvaa perusjoukosta.
  • Pasilassa on myös muita koulutusohjelmia kuin liiketalous, joten otantakehikko sisältää myös muita kuin liiketalouden opiskelijoita. Tämän ongelman voin ratkaista kysymällä ensimmäiseksi, onko vastaaja liiketalouden opiskelija?

Arvonta

Jos perusjoukosta on saatavilla luettelo, esimerkiksi asiakasrekisteri, niin arvonta on erinomainen otoksen valitsemistapa. Kyselytutkimusten osalta arvonta soveltuu postikyselyihin, sähköpostikyselyihin ja puhelinkyselyihin edellyttäen, että luettelossa on tarvittava yhteystieto (osoite, sähköpostiosoite, puhelinnumero). Arpomisen voin suorittaa esimerkiksi Excelillä. Tästä lisää artikkelissani Otoksen arvonta Excelillä.

Systemaattinen otanta

Systemaattinen otanta on mahdollinen, jos perusjoukko on ”jono”. Jonosta voidaan valita esimerkiksi joka kymmenes (aloituskohta pitää arpoa ensimmäisen kymmenen joukosta). Tällöin suoritetaan systemaattinen otanta, jossa poimintaväli on 10. Systemaattinen otanta soveltuu esimerkiksi liikennetutkimuksiin (pysäytetään autoja poimintavälin mukaisesti), ovensuukyselyihin (pysäytetään haastateltavia poimintavälin mukaisesti) ja laadun valvontaan (tarkastetaan tuotteita poimintavälin mukaisesti). Systemaattista otantaa voin käyttää myös, jos perusjoukosta on saatavilla luettelo (tällöin myös arvonta on mahdollinen).

Jos otantakehikko ei vastaa ajan suhteen koko perusjoukkoa, niin systemaattisen otannan tuloksena voi olla vino otos.

Esimerkki: Jos ALKOn myymälän asiakastutkimus suoritetaan ovensuukyselynä maanantaina aamupäivällä, niin vastaajat eivät luultavasti edusta myymälän koko asiakaskuntaa. Otantakehikko on tässä liian suppea ja seurauksena on todennäköisesti vinoutunut otos.

Edellisen esimerkin tapauksessa sopivan otantakehikon valitsemiseksi kannattaa käyttää kaikkea saatavilla olevaa taustatietoa erilaisten asiakkaiden jakautumisesta eri ajankohdille. Toki on myös mahdollista rajata perusjoukkoa. Edellisen esimerkin tapauskessa perusjoukko voidaan rajata maanantai aamupäivän asiakkaisiin.

Ositettu otanta

Otoksen edustavuutta tutkimuksen kannalta tärkeän avainmuuttujan suhteen voidaan parantaa ositetulla otannalla. Tällöin avainmuuttujan jakauma perusjoukossa täytyy olla etukäteen tiedossa.

Esimerkki. Oletetaan, että perusjoukko on Haaga-Helian ammattikorkeakoulun opiskelijat. Haaga-Heliassa on useita koulutusohjelmia. Koulutusohjelmien opiskelijamäärät ovat tiedossa. Voin ottaa otoksen kustakin koulutusohjelmasta (esimerkiksi arpomalla) siten että otoskoot ovat suhteessa koulutusohjelmien opiskelijamääriin. Eri koulutusohjelmista otetut otokset muodostavat kokonaisotoksen, joka on siis valittu ositettua otantaa käyttäen.

Näyte

Jos tutkittavat valitaan jollain muulla tavalla kuin sattumaa hyödyntäen (arpomisessa ja systemaattisessa otannassa hyödynnetään sattumaa), niin valittua joukkoa on syytä kutsua näytteeksi. Näytteen perusteella ei yleensä voi tehdä yhtä luotettavia yleistyksiä laajempaan perusjoukkoon kuin otoksen perusteella. Otoksen edustavuuden takeena on sattuma: Jokaisella perusjoukon edustajalla on tiedossa oleva todennäköisyys tulla valituksi otokseen. Riittävän suurta otoskokoa käytettäessä sattuma huolehtii siitä, että otos edustaa hyvin perusjoukkoa.

Vaikka näytteestä laskettuja jakaumia, eroja ja riippuvuuksia ei sellaisenaan voi yleistää laajempaan perusjoukkoon, niin näyte voi silti antaa arvokasta tietoa. Näytteen mielipiteet ovat oikeiden vastaajien oikeita mielipiteitä, joihin on syytä suhtauta vakavasti.

Harkinnanvarainen näyte

Harkinnanvarainen näyte syntyy silloin kun näytteen valinnassa käytetään sattuman sijasta tutkijan harkintaa. Harkinnanvarainen näyte edustaa parhaassa tapauksessa hyvin perusjoukkoa, mutta pahimmassa tapauksessa näyte kuvastaa tutkijan pyrkimystä saada tutkimuksesta tietynlaisia etukäteen päätettyjä tuloksia.

Itsevalikoitunut näyte

Iltapäivälehden nettisivulla olevaan kyselyyn vastanneet muodostavat itsevalikoituneen näytteen. Itsevalikoitunut näyte ei yleensä ole edustava otos mistään järkevästä perusjoukosta.

Mukavuuspoiminta

Jos lähetän kyselyn sosiaalisen median verkostoilleni, niin voin kutsua tätä mukavuuspoiminnaksi. Näin syntyvä näyte ei yleensä ole edustava otos mistään järkevästä perusjoukosta.

Dokumentointi

…otoksen/näytteen poimintamenetelmä täytyy dokumentoida mahdollisimman yksityiskohtaisesti.

Olipa sitten kyseessä otos tai näyte, niin tulosten lukijalle täytyy antaa mahdollisuus arvioida otoksen/näytteen edustavuutta. Tämä tarkoittaa sitä, että otoksen/näytteen poimintamenetelmä täytyy dokumentoida mahdollisimman yksityiskohtaisesti. Kaikki tutkijan tekemät valinnat täytyy kirjoittaa näkyviin perusteluineen.

Otoskoko

Päivitetty 31.3.2019.

Pieni otos voi sattumalta poiketa paljonkin perusjoukosta. Tämä niin kutsuttu otantavirhe on sitä suurempi mitä pienempää otosta käytän.

Kokonaistutkimuksessa data kerätään koko kiinnostuksen kohteena olevasta joukosta eli perusjoukosta. Jos kokonaistutkimus ei ole mahdollinen tai tarkoituksenmukainen, niin data voidaan kerätä vain osasta perusjoukkoa. Jos osa valitaan satunnaisuutta hyödyntäen, esimerkiksi arpomalla, niin osaa voidaan kutsua otokseksi.

Jos otoksen keräämisen tarkoituksena on saada tietoa koko perusjoukosta, niin otoskoon on oltava riittävän suuri. Pieni otos voi sattumalta poiketa paljonkin perusjoukosta. Tämä niin kutsuttu otantavirhe on sitä suurempi mitä pienempää otosta käytän.

Mitään yksiselitteistä ihanteellista otoskokoa ei ole, mutta suuntaviivoja erilaisiin tilanteisiin voin silti antaa.

Keskiarvo

Jos tutkittavan muuttujan arvojen jakauma perusjoukossa on likimain normaalijakauma ja vaihtelua on vähän, niin jo muutaman kymmenen kappaleen otoksella voin saada perusjoukon keskiarvolle riittävän tarkan arvion.

Esimerkki. Sarjatuotannossa valmistetaan ominaisuuksiltaan likimain tasalaatuisia tuotteita. Satunnaisista tekijöistä johtuvaa pientä vaihtelua esiintyy, mutta vaihtelun tiedetään noudattavan likimain normaalijakaumaa. Tilastollisella laadunvalvonnalla voidaan varmistaa, että tuotteiden ominaisuudet ovat keskiarvoltaan tavoitteiden mukaisia. Tällöin voidaan käyttää pieniä otoksia. Laadunvalvonnassa käytetään joissain tapauksissa jopa alle 10 kappaleen otoksia.

Jos ei ole varmuutta siitä, että muuttujan arvot ovat perusjoukossa likimain normaalisti jakautuneet, niin otoskoon täytyy olla suurempi. On osoitettu, että vasta noin otoskoosta 30 alkaen otosten keskiarvot alkavat  vakiintua. Otoskokoa 30 voisikin yleisessä tapauksessa pitää otoskoon alarajana.

Jos tutkittavan muuttujan arvoissa on paljon vaihtelua, niin tämä täytyy huomioida kasvattamalla otoskokoa.

Voit kokeilla otoskoon ja vaihtelun (keskihajonta) vaikutusta keskiarvon virhemarginaaliin Excel-laskurilla virhemarginaali.xlsx.

Jos haluan vertailla otoksen sisällä olevien ryhmien keskiarvoja, niin kustakin ryhmästä olisi hyvä olla vähintään 30 edustajaa. Jos esimerkiksi haluaisin vertailla viiden eri ikäryhmän ulkomaanmatkoihin käyttämää rahamäärää, niin tarvitsen otoksen, jossa on vähintään 30 edustajaa kustakin ikäryhmästä. Tämä tarkoittaa vähintään 150 kappaleen otosta. Jos ikäryhmät ovat perusjoukossa eri kokoisia, niin tarvitsen vieläkin isommman otoksen, jotta saan pienimmästäkin ikäryhmästä mukaan 30 edustajaa.

Mitä isompaa otosta käytän sitä pienemmän perusjoukossa esiintyvän ryhmien välisin eron pystyn otoksellani tunnistamaan.

Ristiintaulukointi

Jos esimerkiksi ristiintaulukoin ikäryhmän mielipideasteikolla mitatun mielipiteen kanssa, niin kyseessä on  ryhmien vertailu (voin myös puhua ikäryhmän ja mielipiteen välisestä riippuvuudesta). Tässä on syytä olla mukana vähintään 30 edustajaa kustakin ryhmästä, aivan kuten ryhmien keskiarvoja vertailtaessa. Jos otoskoko on liian pieni, niin khiin neliö -testin käyttöedellytykset eivät täyty enkä pääse testaamaan erojen tilastollista merkitsevyyttä.

Mitä isompaa otosta käytän sitä pienemmän perusjoukossa esiintyvän ryhmien välisin eron pystyn otoksellani tunnistamaan.

Suunnitellessani otoskokoa ajattelen asiaa kaikkien aikomieni ristiintaulukointien kannalta. Valitsen otoskoon pahimman tapauksen mukaan. Pahin tapaus on ristiintaulukointi, joka asettaa kovimmat vaatimukset otoskoolle.

Prosenttiluku

Puolueiden kannatuksia mittaavissa mielipidekyselyissä käytetään tyypillisesti noin 1000 henkilön otoksia. Tällaisella otoksella virhemarginaali on noin kolme prosenttiyksikköä. Tästä huomaat, että prosenttiluvun tarkkaan arviointiin tarvitaan isoja otoksia. Otoskoolla 100 päästään noin kymmenen prosenttiyksikön virhemarginaaliin ja otoskoolla 10000 noin yhden prosenttiyksikön virhemarginaaliin.

Voit kokeilla otoskoon vaikutusta virhemarginaaliin Excel-laskurilla virhemarginaali.xlsx. Huomaa, että prosenttiluvun suuruus vaikuttaa asiaan. Virhemarginaali on suurimmillaan 50 prosentin kohdalla. Tämä on helppo ymmärtää, koska vaihtelu on 50 prosentin kohdalla suurimmillaan (puolet on yhtä mieltä ja puolet vastakkaista mieltä).

Huono otos

Jos vastaamatta jättäneet ovat mielipiteiltään erilaisia kuin vastanneet, niin kato vinouttaa otosta. Suurempi otoskoko ei paranna kadon aiheuttamaa vinoutumista.

Yleensä suuri joukko kyselytutkimukseen valituista jättää vastaamatta. Lopulliseen kyselytutkimuksen otoskokoon lasketaan mukaan ainoastaan vastanneet. Vastaamatta jättäneitä kutsutaan kadoksi. Jos vastaamatta jättäneet ovat mielipiteiltään erilaisia kuin vastanneet, niin kato vinouttaa otosta. Suurempi otoskoko ei paranna kadon aiheuttamaa vinoutumista.

Mahdollinen kato täytyy kuitenkin huomoida otosta valittaessa. Alkuperäinen otos täytyy valita niin suureksi, että kadon jälkeenkin otoskoko jää riittävän suureksi.

Otos voi vinoutua myös silloin, jos otos valitaan joukosta, joka ei täysin vastaa perusjoukkoa. Joukkoa, josta otos valitaan kutsutaan otantakehikoksi.

Esimerkki: Jos ALKOn myymälän asiakastutkimus suoritetaan ovensuukyselynä maanantaina aamupäivällä, niin vastaajat eivät luultavasti edusta myymälän koko asiakaskuntaa. Otantakehikko on tässä liian suppea ja seurauksena on todennäköisesti vinoutunut otos. Vinoutuma ei korjaannu vaikka otosta kasvatetaan maanantai-aamupäivän asiakkailla.

Otos voi olla huono myös johtuen huonosta otantamenetelmästä. Jos otoksen valinnassa ei hyödynnetä asianmukaista otantamenetelmää, niin otosta pitäisi kutsua näytteeksi. Näytteen tuloksien yleistämiseen laajempaan perusjoukkoon täytyy suhtautua varauksella.

Käsitteiden selventämistä

Perusjoukko: Joukko, jota halutaan tutkia.

Kokonaistutkimus: Tutkitaan koko perusjoukko (poislukien kato).

Otantakehikko: Joukko, josta otos valitaan. Käytännön syistä otantakehikosta saattaa puuttua osa perusjoukosta ja otantakehikkoon voi kuulua perusjoukkoon kuulumattomia.

Otos: Otantakehikosta asianmukaista otantamenetelmää käyttäen valittu osa (poislukien kato).

Näyte: Otantakehikosta valittu osa (poislukien kato).