Avainsana-arkisto: Kato

Kato

Päivitetty 21.10.2013

Kato tarkoittaa kyselytutkimuksen tapauksessa niitä otokseen valittuja, jotka eivät syystä tai toisesta vastaa kyselyyn. Kato voi tarkoittaa myös yksittäisiä puuttuvia vastauksia kyselyyn vastanneiden osalta.

Kyselyiden vastausprosentit jäävät usein valitettavan alhaisiksi. Pahimmillaan vastaajia on alle 20 % otokseen valituista. Kato täytyy ennakoida otoskokoa valittaessa. Otoskoko täytyy alunperin valita niin suureksi, että kadon jälkeenkin vastaajia on riittävästi.

Katoa voin pienentää ainakin seuraavilla keinoilla:

  • Motivoin vastaajia selittämällä lyhyesti ja selkeästi kyselyn tarkoituksen ja tärkeyden.
  • Teen kyselyyn vastaamisesta mahdollisimman sujuvan ja miellyttävän tapahtuman.
  • Testaan kyselyä testivastaajilla ja pyydä heidän kommenttejaan.
  • Pidän kyselyn pituuden kohtuullisena (asetu mielessäsi vastaajan asemaan, niin tiedät mikä on kohtuullinen pituus). Testaan kyselyn pituutta testivastaajilla. Jos kaikki kysymykset eivät ole kerralla nähtävillä, niin pidän vastaajan tietoisena siitä kuinka paljon kyselystä on vielä jäljellä.
  • Pidän kyselyn anonyyminä (vastaajan henkilötietoja ei yhdistetä vastauksiin) ja kerron sen myös vastaajalle.
  • Nettikyselyissä lähetän muistutuksen niille, jotka eivät ole vielä vastanneet.
  • Mahdollisesti tarjoan vastanneille mahdollisuuden osallistua arvontaan. Yhteystiedot arvontaa varten kerään erilliselle lomakkeelle, jotta anonyymius säilyy.

Jos vastanneet ovat tutkimuksen kannalta keskeisissä asioissa erilaisia kuin vastaamatta jättäneet, niin kato heikentää tutkimuksen luotettavuutta. Kadon aiheuttaman virheen suuruuden arvioimiseen ei ole varmaa keinoa. Kadon vaikutusta voin arvioida kahdella tavalla:

  • Muodostan oman arvion kadon mahdollisesta vaikutuksesta luotettavuuteen. Voin myös pyytää arvioita tutkittavan ilmiön hyvin tuntevalta asiantuntijalta.
  • Jos perusjoukon taustamuuttujien jakaumat ovat tiedossa, niin vertaan otoksen jakaumia perusjoukon jakaumiin. Jos taustamuuttujien jakaumat ovat likimain samanlaiset perusjoukossa ja otoksessa, niin pidän tätä jonkinasteisena perusteluna sille, että kato ei ole vakava ongelma.

Kadon aiheuttaman virheen korjaamiseen on kehitetty erilaisia korvaamis- ja painottamismenetelmiä. Niiden käyttö vaatii asiaan perehtymistä eikä ehkä tule kyseeseen ensimmäistä kyselyään tekevälle. Lisätietoja aiheesta löydät Kvantitatiivisten menetelmien tietovarannosta:

Usein kysyttyä

Kysymys: Muuttuuko kokonaistutkimus kadon takia otantatutkimukseksi?

Vastaus: Ei muutu. Kokonaistutkimus on kokonaistutkimus kadosta huolimatta. Kato on sekä kokonaistutkimuksen että otantatutkimuksen ongelma.

Kyselytutkimuksen luotettavuus

Päivitetty 30.4.2014

…virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Kyselytutkimuksen tavoitteena on hankkia tutkimuksen tarkoitukseen sopivaa tietoa, joka on todenmukaista ja virheetöntä. Tutkimuksen toteutuksessa virheiden osuus pyritään minimoimaan. Tätä varten keskeiset virhelähteet täytyy tunnistaa. Tutkimusraportissa virhelähteet ja niiden mahdollinen vaikutus tutkimustuloksiin täytyy raportoida kattavasti ja rehellisesti, jotta raportin lukijakin pystyy arvioimaan virheiden vaikutuksen tutkimuksen luotettavuuteen.

Keskeiset virhelähteet ovat selkeästi tunnistettavissa, jos kuvaan kyselytutkimusta seuraavan kuvion mukaisella mallilla (mallin idean olen ottanut kirjasta Groves, Fowler, Couper, Lepkowski, Singer & Tourangeau. Survey Methodology. Second Edition).

Kuvion mukaisesti virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Luotettava mittaaminen

Kyselytutkimuksen tuloksia ei tarkastella yksittäisen vastaajan osalta. On kuitenkin tärkeää, että mittaaminen on suoritettu siten että vastausten perusteella vastaaja pystyttäisiin kuvailemaan todenmukaisesti tutkimuksen kannalta olennaisten ominaisuuksien osalta. Muutoinhan kaikkien vastaajien vastauksista tilastollisesti muodostettu yhteenveto ei anna todenmukaista kuvaa otoksesta. Mittaamisen luotettavuutta heikentäviä tekijöitä ovat ainakin seuraavat:

Heikko validiteetti

Jos kyselylomakkeen kysymykset eivät mittaa sitä mitä niiden on tarkoitus mitata niin seurauksena on heikko validiteetti.

Heikko reliabiliteetti

Vastauksissa esiintyvät satunnaiset virheet heikentävät mittaamisen reliabiliteettia. Esimerkiksi

  • Eri vastaajat ymmärtävät kysymykset eri tavoilla.
  • Kaikki vastaajat eivät vastaa rehellisesti.
  • Kaikki vastaajat eivät muista vastausta oikein. Tämä on ongelma erityisesti mennyttä käytöstä koskevissa kysymyksissä.
  • Vastaukset vaihtelelevat satunnaisten tekijöiden johdosta (vastaajan mielentila, vuorokaudenaika, haastattelijan käytös jne.).
  • Vastaus kirjataan vahingossa väärin.

Jos mittaamisen reliabiliteetti on heikko, niin siitä seuraa myös heikko validiteetti. Eihän virheellisillä vastauksilla voida mitata luotettavasti sitä mitä on tarkoitus mitata. Päinvastainen ei välttämättä pidä paikkansa. Mittaamisen validiteetti voi olla heikko, mutta silti vastaukset voivat olla virheettömiä ja totuuden mukaisia esitettyihin kysymyksiin nähden.

Lisätietoa ja esimerkkejä mittaamisen validiteetista ja reliabiliteetista artikkelissani Mittaamisen luotettavuus.

Oikeat menetelmävalinnat

Yksittäisten vastaajien vastauksista muodostetaan otosta kuvaileva yhteenveto käyttäen taulukoita, tunnuslukuja ja kuvioita. Virheelliset menetelmävalinnat tai laskuvirheet heikentävät luotettavuutta. Tilastollisten menetelmien opiskelulla ja huolellisella työskentelyllä tämän vaiheen virheet voidaan välttää. Jos olet epävarma menetelmävalinnoista, niin kysy asiantuntijalta.

Onnistunut otanta

Otoksen perusteella muodostetaan kuva koko perusjoukosta. Jos otos ei vastaa ominaisuuksiltaan perusjoukkoa, niin otoksen perusteella tehdään virheellisiä päätelmiä perusjoukosta. Tässä yhteydessä käytetään usein nimitystä ulkoinen validiteetti. Jos otoksen tulokset ovat heikosti yleistettävissä perusjoukkoon, niin ulkoinen validiteetti on heikko. Otoksen onnistumista uhkaavat ainakin seuraavat tekijät:

  • Peittovirhe: Otos valitaan usein todellisen perusjoukon sijasta niin kutsutusta otantakehikosta. Otantakehikko ei sisällä välttämättä koko perusjoukkoa ja toisaalta otantakehikkoon saattaa kuulua perusjoukkoon kuulumattomia. Otantakehikosta seuraavaa virhettä kutsutaan peittovirheeksi. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantamenetelmä: Jos otantamenetelmä on jokin muu kuin arvonta tai systemaattinen otanta, niin seurauksena voi olla vino otos, joka ei vastaa perusjoukkoa. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantavirhe: Vaikka otanta valitaan arpomalla tai systemaattisella otannalla, niin otoksen kokoonpano vaihtelee otoksesta toiseen. Tätä vahtelua kutsutaan otantavirheeksi. Otantavirhe on sitä pienempi mitä suurempaa otosta käytän. Tästä asiasta lisää artikkelissani Otoskoko. Tilastollisen päättelyn menetelmät (virhemarginaalin laskeminen, hypoteesin testaus) liittyvät otantavirheen huomioimiseen tulosten esittämisessä.
  • Kato: Vastaamatta jättäneet voivat olla erilaisia kuin vastanneet. Tällöin kadosta seuraa virhettä tuloksiin. Kyselytutkimusten vastausprosentit ovat usein valitettavan alhaisia, joten kato voi aiheuttaa merkittävän virheen tuloksiin. Tästä asiasta lisää artikkelissani Kato.

Edellä mainituista peittovirhe ja kato ovat uhkana myös kokonaistutkimuksessa, jossa tieto pyritään keräämään koko perusjoukolta.

Kannattaa huomata, että tutkimustulokset voivat olla käyttökelpoisia vaikka otanta ei olisikaan kovin onnistunut:

Esimerkki: Oleta, että asiakaskyselyssä iso joukko asiakkaita pitää myymälän siisteyttä tärkeänä, mutta arvioi myymälän epäsiistiksi. Riippumatta otannan onnistuneisuudesta nämä ovat todellisia vastaajia ja todellisia mielipiteitä, joiden pohjalta kannattaa ryhtyä toimenpiteisiin siisteyden parantamiseksi.