Avainsana-arkisto: Ulkoinen validiteetti

Kokeellinen tutkimus

Päivitetty 22.10.2013

Kokeellisen tutkimuksen peruskysymys: Onko vaikutusta?

Esimerkki. Onko alkoholilla vaikutusta reaktioaikaan? Tämä selviää kokeilemalla. Voin suunnitella koeasetelman, jossa mittaan reaktioaikoja ilman alkoholia ja alkoholin vaikutuksen alaisena. Tässä on kyse kokeellisesta tutkimuksesta.

Kokeellisessa tutkimuksessa tutkija aktiivisesti muuttaa oletettua vaikutuksen aiheuttajaa (nautittu alkoholi) ja tarkkailee mahdollista vaikutusta (reaktioajan muutos). Kokeellista tutkimusta käytetään nimenomaan syy-vaikutussuhteiden tutkimiseen.

Syy-vaikutus?

Voin perustellusti väittää, että muuttujan x arvojen muutos vaikuttaaa muuttujan y arvoihin (syy-vaikutussuhde), jos seuraavat kolme ehtoa täyttyvät:

  1. x:n muutos esiintyy ajallisesti ennen y:n muutosta
  2. x:n muutoksen ja y:n muutoksen välillä on riippuvuutta
  3. x:n muutoksen jälkeen havaittua y:n muutosta ei voida selittää millään muilla tekjöillä.

Yllä lueteltujen kolmen ehdon täyttyminen pyritään kokeellisessa tutkimuksessa varmistamaan seuraavasti:

  • Tutkija muuttaa syyksi arvellun muuttujan x arvoja ja mittaa y:n arvot sen jälkeen. Näin taataan, että x:n muutos esiintyy ajallisesti ennen y:n muutosta.
  • Tutkija selvittää tilastollisia menetelmiä käyttäen onko x:n ja y:n välinen riippuvuus tilastollisesti merkitsevää eli suurempaa kuin satunnaisvaihtelun aiheuttama riippuvuus.
  • Koeasetelma pyritään järjestelemään siten että muiden mahdollisesti y:hyn vaikuttavien tekijöiden vaikutus saadaan kontrolloitua.

Klassinen koeasetelma

Jos tutkin alkoholin vaikutusta reaktioaikaan, niin voin toteuttaa klassisen koeasetelman seuraavasti:

  • Valitsen joukon koehenkilöitä.
  • Jaan koehenkilöt satunnaisesti kahteen ryhmään. Satunnaistamisella pyrin takaamaan ryhmät, jotka ovat muiden reaktioaikaan vaikuttavien tekijöiden osalta samankaltaiset.
  • Ensimmäiselle ryhmälle (vertailuryhmä) mittaan reaktioajat ilman alkoholia.
  • Toiselle ryhmälle (koeryhmä) annan nautittavaksi tietyn määrän alkoholia ja mittaan reaktioajat esimerkiksi tunnin kuluttua alkoholin nauttimisesta.
  • Lasken kummallekin ryhmälle reaktioaikojen keskiarvon. Jos keskiarvojen välillä on merkitsevä ero, niin voin pitää tätä alkoholin vaikutuksena.

Pystynkö osoittamaan edellä kuvatulla koeasetelmalla alkoholin mahdollisen vaikutuksen reaktioaikaan? Tarkastellaan asiaa syy-vaikutussuhteen kolmen ehdon pohjalta:

  1. x:n muutos esiintyy ajallisesti ennen y:n muutosta
  2. x:n muutoksen ja y:n muutoksen välillä on riippuvuutta
  3. x:n muutoksen jälkeen havaittua y:n muutosta ei voida selittää millään muilla tekjöillä.

1. Kuvatussa koeasetelmassa on selvää, että syyksi arvellun muuttujan (alkoholi) muutos tapahtuu ajallisesti ennen vaikutusta (reaktioajan mahdollinen muutos).

2. Alkoholin ja reaktioajan välisen riippuvuuden olemassaolon voin varmistaa vertaamalla koeryhmän ja vertailuryhmän reaktioaikojen keskiarvoja. Käytännössä voin testata koeryhmän ja vertailuryhmän eron merkitsevyyden kahden riippumattoman otoksen t-testillä.

3. Muiden reaktioaikaan mahdollisesti vaikuttavien tekijöiden osalta voin tehdä muiden muassa seuraavia huomioita:

  • Jos reaktioajoissa on runsaasti henkilöiden välistä vaihtelua, niin reaktioaikojen ero vertailuryhmän ja koeryhmän välillä voi peittyä henkilöiden välisen vaihtelun alle. Epäkohdan korjaamiseksi voin vakioida vaihtelua mahdollisesti aiheuttavia tekijöitä. Voin esimerkiksi valita koehenkilöiksi vain 30-35 vuotiaita miehiä.
  • Jos reaktioaika ilman alkoholia mitataan heti ja alkoholia nauttineiden vasta tunnin päästä, niin odottelun aiheuttama väsyminen voi vaikuttaa reaktioaikaan. Tämä epäkohta voidaan korjata laittamalla myös alkoholia nauttimattomat odottamaan tunti ennen reaktioajan mittaamista.
  • Jos nesteen nauttiminen vaikuttaa reaktioaikaan, niin mahdollisesti havaittava ero ei välttämättä johdukaan alkoholista. Tämä epäkohta voidaan korjata juottamalla vertailuryhmälle esimerkiksi mehua.
  • Jos alkoholia nauttineilla on ennakkokäsitys alkoholin vaikutuksesta reaktioaikaan, niin he voivat aiheuttaa muutoksen reaktioaikaan omalla asenteellaan. Tämä epäkohta korjaantuisi, jos kyseessä olisi sokkokoe (henkilöt eivät tietäisi kumpaan ryhmään kuuluvat). Käytännössä sokkokoe ei tässä onnistu, koska alkoholia nauttineet luultavasti havaitsevat nauttineensa alkoholia.
  • Jos reaktioajan mittaus perustuu yhteen mittaukseen, niin satunnaisista syistä johtuen joillekin henkilöille saattaa tulla huono reaktioaika (keskittymisen herpaantuminen). Mittaustapahtumaan kannattaa siis kiinnittää erityistä huomiota. Mittauksen voisi toistaa useita kertoja ja eri kerroista voisi laskea keskiarvon.

Yllä kerrotun perusteella muiden mahdollisesti vaikuttavien tekijöiden kontrollointi vaatii paljon ajattelua ja vaivaa. Mitä paremmin muut havaittua vaikutusta selittävät tekijät saadaan kontrolloitua sitä korkeampi on koeasetelman sisäinen validiteetti.

Klassinen koeasetelma etukäteismittauksella

Voin liittää koeasetelmaan myös etukäteismittauksen. Tällöin voin varmistua siitä, että koeryhmä ja vertailuryhmä ovat lähtötilanteessa samankaltaiset. Niidenhän pitäisi olla samankaltaiset, koska kohdejoukko on jaettu satunnaisesti koeryhmään ja vertailuryhmään.

Riippuu tutkittavasta asiasta, onko etukäteismittaus paikallaan. Jos esimerkiksi vertaan kahden erilaisen mainoskirjeen vaikutusta vastaanottajien keskiarvotilaukseen, niin etukäteismittaus ei ole edes mahdollinen. Jos taas tutkin verenpainelääkkeen tehoa, niin mittaan kohdejoukon verenpaineet ennen lääkityksen aloittamista. Kun tutkin alkoholin vaikutusta reaktioaikaan, niin etukäteismittaus on mahdollinen.

Esimerkki. Voin mitata kaikilta koehenkilöiltä reaktioajan. Tämä jälkeen vertailuryhmä juo mehua ja koeryhmä juo alkoholia. Esimerkiksi tunnin kuluttua juomisesta mittaan reaktioajat uudelleen. Kullekin henkilölle lasken reaktioajan muutoksen ensimmäisestä mittauksesta toiseen mittaukseen. Kummallekin ryhmälle lasken reaktioaikojen muutosten keskiarvon. Näiden keskiarvojen eroa voin testata kahden riippumattoman otoksen t-testillä.

Sisäinen ja ulkoinen validiteetti

Mainitsin jo aiemmin sisäisen validiteetin. Sillä tarkoitetaan koeasetelman pätevyyttä syy-vaikutussuhteen osoittamiseen. Mitä paremmin pystyn kontrolloimaan muut mahdollisesti vaikutusta aiheuttavat tekijät, sitä korkeampi on tutkimuksen sisäinen validiteetti.

Ulkoinen validiteetti liittyy tulosten yleistämiseen toiseen paikkaan, toiseen kohdejoukkoon, toiseen ajankohtaan jne. Ulkoinen validiteetti on sitä parempi, mitä paremmin voin yleistää tulokset koeasetelman ulkopuolelle.

Kategorinen muuttuja

Jos mitattava muuttuja on kategorinen, niin keskiarvojen käyttö ei tule kyseeseen. Tällöin en voi testata eron merkitsevyyttä riippumattomien otosten t-testillä. Lue lisää artikkelistani Onko ryhmien välinen ero tilastollisesti merkitsevä.

Toistomittaus

Vaihtoehto edellä kuvatulle asetelmalle on toistomittausasetelma, jossa tutkittavia ei erotella koeryhmään ja vertailuryhmään, vaan mitataan samoille henkilöille reaktioajat ilman alkoholia ja alkoholia nauttineina. Voit lukea lisää artikkelistani Toistomittausasetelma.

Useita ryhmiä

Edellä käsittelin koeasetelmaa, jossa on vertailuryhmä ja koeryhmä. Vertailuryhmään ei kohdisteta mitään käsittelyä tai lumekäsittely. Jos koeastelmassa halutaan tarkastella useita erilaisia käsittelyitä, niin ryhmiä on useampia kuin 2.

Esimerkki. Voin mitata reaktioaikoja kolmelle toisistaan riippumattomalle ryhmälle: ilman alkoholia, kahden alkoholiannoksen jälkeen ja neljän alkoholiannoksen jälkeen. Tällöin käytän reaktioaikojen keskiarvojen erojen testaamiseen yksisuuntaista varianssianalyysiä.

Kyselytutkimuksen luotettavuus

Päivitetty 30.4.2014

…virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Kyselytutkimuksen tavoitteena on hankkia tutkimuksen tarkoitukseen sopivaa tietoa, joka on todenmukaista ja virheetöntä. Tutkimuksen toteutuksessa virheiden osuus pyritään minimoimaan. Tätä varten keskeiset virhelähteet täytyy tunnistaa. Tutkimusraportissa virhelähteet ja niiden mahdollinen vaikutus tutkimustuloksiin täytyy raportoida kattavasti ja rehellisesti, jotta raportin lukijakin pystyy arvioimaan virheiden vaikutuksen tutkimuksen luotettavuuteen.

Keskeiset virhelähteet ovat selkeästi tunnistettavissa, jos kuvaan kyselytutkimusta seuraavan kuvion mukaisella mallilla (mallin idean olen ottanut kirjasta Groves, Fowler, Couper, Lepkowski, Singer & Tourangeau. Survey Methodology. Second Edition).

Kuvion mukaisesti virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Luotettava mittaaminen

Kyselytutkimuksen tuloksia ei tarkastella yksittäisen vastaajan osalta. On kuitenkin tärkeää, että mittaaminen on suoritettu siten että vastausten perusteella vastaaja pystyttäisiin kuvailemaan todenmukaisesti tutkimuksen kannalta olennaisten ominaisuuksien osalta. Muutoinhan kaikkien vastaajien vastauksista tilastollisesti muodostettu yhteenveto ei anna todenmukaista kuvaa otoksesta. Mittaamisen luotettavuutta heikentäviä tekijöitä ovat ainakin seuraavat:

Heikko validiteetti

Jos kyselylomakkeen kysymykset eivät mittaa sitä mitä niiden on tarkoitus mitata niin seurauksena on heikko validiteetti.

Heikko reliabiliteetti

Vastauksissa esiintyvät satunnaiset virheet heikentävät mittaamisen reliabiliteettia. Esimerkiksi

  • Eri vastaajat ymmärtävät kysymykset eri tavoilla.
  • Kaikki vastaajat eivät vastaa rehellisesti.
  • Kaikki vastaajat eivät muista vastausta oikein. Tämä on ongelma erityisesti mennyttä käytöstä koskevissa kysymyksissä.
  • Vastaukset vaihtelelevat satunnaisten tekijöiden johdosta (vastaajan mielentila, vuorokaudenaika, haastattelijan käytös jne.).
  • Vastaus kirjataan vahingossa väärin.

Jos mittaamisen reliabiliteetti on heikko, niin siitä seuraa myös heikko validiteetti. Eihän virheellisillä vastauksilla voida mitata luotettavasti sitä mitä on tarkoitus mitata. Päinvastainen ei välttämättä pidä paikkansa. Mittaamisen validiteetti voi olla heikko, mutta silti vastaukset voivat olla virheettömiä ja totuuden mukaisia esitettyihin kysymyksiin nähden.

Lisätietoa ja esimerkkejä mittaamisen validiteetista ja reliabiliteetista artikkelissani Mittaamisen luotettavuus.

Oikeat menetelmävalinnat

Yksittäisten vastaajien vastauksista muodostetaan otosta kuvaileva yhteenveto käyttäen taulukoita, tunnuslukuja ja kuvioita. Virheelliset menetelmävalinnat tai laskuvirheet heikentävät luotettavuutta. Tilastollisten menetelmien opiskelulla ja huolellisella työskentelyllä tämän vaiheen virheet voidaan välttää. Jos olet epävarma menetelmävalinnoista, niin kysy asiantuntijalta.

Onnistunut otanta

Otoksen perusteella muodostetaan kuva koko perusjoukosta. Jos otos ei vastaa ominaisuuksiltaan perusjoukkoa, niin otoksen perusteella tehdään virheellisiä päätelmiä perusjoukosta. Tässä yhteydessä käytetään usein nimitystä ulkoinen validiteetti. Jos otoksen tulokset ovat heikosti yleistettävissä perusjoukkoon, niin ulkoinen validiteetti on heikko. Otoksen onnistumista uhkaavat ainakin seuraavat tekijät:

  • Peittovirhe: Otos valitaan usein todellisen perusjoukon sijasta niin kutsutusta otantakehikosta. Otantakehikko ei sisällä välttämättä koko perusjoukkoa ja toisaalta otantakehikkoon saattaa kuulua perusjoukkoon kuulumattomia. Otantakehikosta seuraavaa virhettä kutsutaan peittovirheeksi. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantamenetelmä: Jos otantamenetelmä on jokin muu kuin arvonta tai systemaattinen otanta, niin seurauksena voi olla vino otos, joka ei vastaa perusjoukkoa. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantavirhe: Vaikka otanta valitaan arpomalla tai systemaattisella otannalla, niin otoksen kokoonpano vaihtelee otoksesta toiseen. Tätä vahtelua kutsutaan otantavirheeksi. Otantavirhe on sitä pienempi mitä suurempaa otosta käytän. Tästä asiasta lisää artikkelissani Otoskoko. Tilastollisen päättelyn menetelmät (virhemarginaalin laskeminen, hypoteesin testaus) liittyvät otantavirheen huomioimiseen tulosten esittämisessä.
  • Kato: Vastaamatta jättäneet voivat olla erilaisia kuin vastanneet. Tällöin kadosta seuraa virhettä tuloksiin. Kyselytutkimusten vastausprosentit ovat usein valitettavan alhaisia, joten kato voi aiheuttaa merkittävän virheen tuloksiin. Tästä asiasta lisää artikkelissani Kato.

Edellä mainituista peittovirhe ja kato ovat uhkana myös kokonaistutkimuksessa, jossa tieto pyritään keräämään koko perusjoukolta.

Kannattaa huomata, että tutkimustulokset voivat olla käyttökelpoisia vaikka otanta ei olisikaan kovin onnistunut:

Esimerkki: Oleta, että asiakaskyselyssä iso joukko asiakkaita pitää myymälän siisteyttä tärkeänä, mutta arvioi myymälän epäsiistiksi. Riippumatta otannan onnistuneisuudesta nämä ovat todellisia vastaajia ja todellisia mielipiteitä, joiden pohjalta kannattaa ryhtyä toimenpiteisiin siisteyden parantamiseksi.