Avainsana-arkisto: Validiteetti

Mittaamisen luotettavuus

Päivitetty 30.4.2014

Mittaamisen luotettavuuden yhteydessä on tapana puhua validiteetista ja reliabiliteetista:

  • Mittaamisen validiteetti: Validiteetti on hyvä, jos mittari mittaa sitä mitä sen on tarkoituskin mitata.
  • Mittaamisen reliabiliteetti: Mittaustilanteeseen liittyvät satunnaiset virheet heikentävät reliabiliteettia.

Heikosta reliabiliteetista seuraa yleensä myös heikko validiteetti, koska satunnaisia virheitä sisältävä mittaaminen harvemmin pystyy mittaamaan sitä mitä oli tarkoitus mitata. Esimerkiksi kysymyksen satunnainen väärin ymmärtäminen heikentää reliabiliteettia, mutta samalla myös validiteetti heikkenee.

Mittaamisen heikosta validiteetista ei automaattisesti seuraa heikko reliabiliteetti. Vaikka mitataan eri asiaa kuin oli tarkoitus, niin mittaaminen voi silti olla vailla satunnaisia virheitä.

Mittarin validiteetti

Tutkimuksen tarkoitus ilmaistaan yleensä yhtenä tai useampana konkreettisena tutkimuskysymyksenä. Tutkimuskysymyksiin sisältyy keskeisiä käsitteitä, joita täytyy mitata. Seuraavassa mitattavien käsitteiden esimerkkejä eri aloilta:

  • Liimapuupalkin kestävyys
  • Yrityksen kannattavuus
  • Ihmisen hiilijalanjälki
  • Asiakasuskollisuus
  • Asiakkaan kokeman palvelun laatu
  • Suvaitsemattomuus tupakointia kohtaan

Jos pohdit yllä olevien käsitteiden mittaamista, niin havaitset mittaamiseen liittyviä vaikeuksia. Yllä olevista ehkä helpoin mitattava on yrityksen kannattavuus, mutta sillekään ei löydy yksikäsitteistä mittaamistapaa. Johonkin tarkoitukseen riittää liikevoiton suuruus, mutta toisiin tarkoituksiin tarvitaan useammista tunnusluvuista koostuva mittaaminen (omavaraisuusaste, tulos osaketta kohden jne.). Ihmisen hiilijalanjäljen mittaaminen vaatii paljon selvityksiä ja laskelmia. Hiilijalanjäljen mittamisessa tarvitaan aikaisempaa tutkimustietoa ja hiilijalanjälkeen liittyviä malleja ja teorioita. Tarve turvautua teorioihin on tyypillistä teoreettisten käsitteiden mittaamisen yhteydessä.

Esimerkki: Asiakkaan kokeman palvelun laatu on moniulotteinen teoreettinen käsite. Erään teorian (Parasuraman-Zeithaml-Berry) mukaan koettuun asiakaspalvelun laatuun vaikuttavat ulottuvuudet ovat luotettavuus, reagointialttius, pätevyys, saavutettavuus, kohteliaisuus, viestintä, uskottavuus, turvallisuus, asiakkaan ymmärtäminen ja tunteminen sekä fyysinen ympäristö. Jos asiakkaan kokeman palvelun laatua mitataan kyselylomakkeella käyttäen edellä mainittua teoriaa, niin jokaista edellä mainituista ulottuvuuksista täytyy mitata yhdellä tai useammalla kysymyksellä.

Mittarin validiteettia on vaikea perustella ellet perusta mittaria hyvin koetellulle teorialle. Hyvin koeteltu tilanteeseen sopiva teoria on paras tae mittarin validiteetille. Joissain tapauksessa saatat jopa löytää kirjallisuudesta valmiiksi koetellun mittarin, jonka voit pienin muutoksin sopeuttaa omaan tutkimukseesi.

Hyvin koeteltu tilanteeseen sopiva teoria on paras tae mittarin validiteetille.

Reliabiliteetti kyselytutkimuksissa

Itse mittaustilanteessa voi sattua monenlaisia satunnaisia virheitä, jotka täytyy mahdollisuuksien mukaan etukäteen eliminoida. Lue myös Muistilista kyselylomakkeen laatijalle.

Vastaaja ymmärtää kysymyksen eri tavalla kuin kysyjä tarkoittaa

Ongelma liittyy kysymyksen muotoiluun. Kysymysten täytyy olla selkeitä ja yksiselitteisiä. Vastaajalle vieraita käsitteitä täytyy välttää. Testaa kysymyksiä testivastaajilla ja selvitä miten he kysymykset ymmärtävät.

Vastaaja ei vastaa rehellisesti

Ongelma koskee erityisesti vastaajan omaan käyttäytymiseen liittyviä kysymyksiä. Jos vastaaja voi luottaa kyselyn anonyymiuteen (vastauksia ei yhdistetä missään vaiheessa vastaajan henkilötietoihin), niin epärehellisyyden riski pienenee. Jos kysely suoritetaan haastattelemalla, niin haastattelijan käytöksellä ja persoonalla saattaa myös olla osuutta vastausten rehellisyyteen.

Vastaaja ei muista vastausta oikein

Tämä on ongelma erityisesti mennyttä käytöstä koskevissa kysymyksissä. Ongelma esiintyy myös kysyttäessä esimerkiksi vastaajan työpaikan liikevaihtoa tai vastaavia tietoja. On tavallista, että vastaaja yrittää vastata jotain kysymykseen, jonka vastausta ei oikeasti muistakaan. Seurauksena on tyhjien vastausten lisäksi virheellisiä vastauksia. Kysymysten laadintavaiheessa kannattaa harkita tarkkaan muistinvaraisten kysymysten käyttö ja esitysmuoto. Testivastaajien käytöstä on tässäkin apua.

Vastaus vaihtelee satunnaisten tekijöiden johdosta

Vastaajan mielentila, vuorokaudenaika, haastattelijan käytös ja muut ympäristötekijät voivat vaikuttaa vastaajan vastaukseen. Aineiston keräämiseen liittyvät järjestelyt täytyy miettiä sellaisiksi, että ympäristötekijöiden vaikutus jää mahdollisimman vähäiseksi.

Vastaus kirjataan vahingossa väärin

Vastausten kirjaamisessa tapahtuu satunnaisia virheitä. Tällä ei yleensä ole sanottavaa vaikutusta tutkimuksen tuloksiin.

Jos vastaus kirjataan systemaattisesti väärin (esimerkiksi haastattelija kirjaa vastauksen väärää numerokoodia käyttäen), niin tutkimuksen tulokset ovat virheelliset. Kaikki merkinnät ja koodaustavat täytyy miettiä ja sopia niin tarkasti ettei systemaattisia virheitä tule.

Reliabiliteetti muissa tutkimuksissa

Jos mittauksia suoritetaan mittalaitteilla (mittanauha, vaaka, verenpainemittari jne.), niin mittauksen tarkkuus (reliabiliteetti) voi riippua seuraavista tekijöistä:

  • Mittalaitteen tarkkuus. Tämä löytyy monien mittalaitteiden osalta mittalaitteen käyttöohjekirjasta.
  • Mittaajan havaintotarkkuus. Esimerkiksi mittanauhaa luettaessa tarkkuus ei voi olla juurikaan puolta millimetriä parempi. Jos mittalaitteessa on digitaalinen numeronäyttö, niin mittaajan havaintotarkkuus ei pääse vaikuttamaan mittaukseen.
  • Ympäristöön liittyvät tekijät. Esimerkiksi verenpainemittarilla voidaan mitata korkea verenpaine sen takia että mitattava jännittää mittausta.
  • Mittaustulosten kirjaamiseen liittyvät virheet.

Kyselytutkimuksen luotettavuus

Päivitetty 30.4.2014

…virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Kyselytutkimuksen tavoitteena on hankkia tutkimuksen tarkoitukseen sopivaa tietoa, joka on todenmukaista ja virheetöntä. Tutkimuksen toteutuksessa virheiden osuus pyritään minimoimaan. Tätä varten keskeiset virhelähteet täytyy tunnistaa. Tutkimusraportissa virhelähteet ja niiden mahdollinen vaikutus tutkimustuloksiin täytyy raportoida kattavasti ja rehellisesti, jotta raportin lukijakin pystyy arvioimaan virheiden vaikutuksen tutkimuksen luotettavuuteen.

Keskeiset virhelähteet ovat selkeästi tunnistettavissa, jos kuvaan kyselytutkimusta seuraavan kuvion mukaisella mallilla (mallin idean olen ottanut kirjasta Groves, Fowler, Couper, Lepkowski, Singer & Tourangeau. Survey Methodology. Second Edition).

Kuvion mukaisesti virheet vältetään luotettavalla mittaamisella, oikeilla menetelmävalinnoilla ja onnistuneella otannalla.

Luotettava mittaaminen

Kyselytutkimuksen tuloksia ei tarkastella yksittäisen vastaajan osalta. On kuitenkin tärkeää, että mittaaminen on suoritettu siten että vastausten perusteella vastaaja pystyttäisiin kuvailemaan todenmukaisesti tutkimuksen kannalta olennaisten ominaisuuksien osalta. Muutoinhan kaikkien vastaajien vastauksista tilastollisesti muodostettu yhteenveto ei anna todenmukaista kuvaa otoksesta. Mittaamisen luotettavuutta heikentäviä tekijöitä ovat ainakin seuraavat:

Heikko validiteetti

Jos kyselylomakkeen kysymykset eivät mittaa sitä mitä niiden on tarkoitus mitata niin seurauksena on heikko validiteetti.

Heikko reliabiliteetti

Vastauksissa esiintyvät satunnaiset virheet heikentävät mittaamisen reliabiliteettia. Esimerkiksi

  • Eri vastaajat ymmärtävät kysymykset eri tavoilla.
  • Kaikki vastaajat eivät vastaa rehellisesti.
  • Kaikki vastaajat eivät muista vastausta oikein. Tämä on ongelma erityisesti mennyttä käytöstä koskevissa kysymyksissä.
  • Vastaukset vaihtelelevat satunnaisten tekijöiden johdosta (vastaajan mielentila, vuorokaudenaika, haastattelijan käytös jne.).
  • Vastaus kirjataan vahingossa väärin.

Jos mittaamisen reliabiliteetti on heikko, niin siitä seuraa myös heikko validiteetti. Eihän virheellisillä vastauksilla voida mitata luotettavasti sitä mitä on tarkoitus mitata. Päinvastainen ei välttämättä pidä paikkansa. Mittaamisen validiteetti voi olla heikko, mutta silti vastaukset voivat olla virheettömiä ja totuuden mukaisia esitettyihin kysymyksiin nähden.

Lisätietoa ja esimerkkejä mittaamisen validiteetista ja reliabiliteetista artikkelissani Mittaamisen luotettavuus.

Oikeat menetelmävalinnat

Yksittäisten vastaajien vastauksista muodostetaan otosta kuvaileva yhteenveto käyttäen taulukoita, tunnuslukuja ja kuvioita. Virheelliset menetelmävalinnat tai laskuvirheet heikentävät luotettavuutta. Tilastollisten menetelmien opiskelulla ja huolellisella työskentelyllä tämän vaiheen virheet voidaan välttää. Jos olet epävarma menetelmävalinnoista, niin kysy asiantuntijalta.

Onnistunut otanta

Otoksen perusteella muodostetaan kuva koko perusjoukosta. Jos otos ei vastaa ominaisuuksiltaan perusjoukkoa, niin otoksen perusteella tehdään virheellisiä päätelmiä perusjoukosta. Tässä yhteydessä käytetään usein nimitystä ulkoinen validiteetti. Jos otoksen tulokset ovat heikosti yleistettävissä perusjoukkoon, niin ulkoinen validiteetti on heikko. Otoksen onnistumista uhkaavat ainakin seuraavat tekijät:

  • Peittovirhe: Otos valitaan usein todellisen perusjoukon sijasta niin kutsutusta otantakehikosta. Otantakehikko ei sisällä välttämättä koko perusjoukkoa ja toisaalta otantakehikkoon saattaa kuulua perusjoukkoon kuulumattomia. Otantakehikosta seuraavaa virhettä kutsutaan peittovirheeksi. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantamenetelmä: Jos otantamenetelmä on jokin muu kuin arvonta tai systemaattinen otanta, niin seurauksena voi olla vino otos, joka ei vastaa perusjoukkoa. Tästä asiasta lisää artikkelissani Otantamenetelmä.
  • Otantavirhe: Vaikka otanta valitaan arpomalla tai systemaattisella otannalla, niin otoksen kokoonpano vaihtelee otoksesta toiseen. Tätä vahtelua kutsutaan otantavirheeksi. Otantavirhe on sitä pienempi mitä suurempaa otosta käytän. Tästä asiasta lisää artikkelissani Otoskoko. Tilastollisen päättelyn menetelmät (virhemarginaalin laskeminen, hypoteesin testaus) liittyvät otantavirheen huomioimiseen tulosten esittämisessä.
  • Kato: Vastaamatta jättäneet voivat olla erilaisia kuin vastanneet. Tällöin kadosta seuraa virhettä tuloksiin. Kyselytutkimusten vastausprosentit ovat usein valitettavan alhaisia, joten kato voi aiheuttaa merkittävän virheen tuloksiin. Tästä asiasta lisää artikkelissani Kato.

Edellä mainituista peittovirhe ja kato ovat uhkana myös kokonaistutkimuksessa, jossa tieto pyritään keräämään koko perusjoukolta.

Kannattaa huomata, että tutkimustulokset voivat olla käyttökelpoisia vaikka otanta ei olisikaan kovin onnistunut:

Esimerkki: Oleta, että asiakaskyselyssä iso joukko asiakkaita pitää myymälän siisteyttä tärkeänä, mutta arvioi myymälän epäsiistiksi. Riippumatta otannan onnistuneisuudesta nämä ovat todellisia vastaajia ja todellisia mielipiteitä, joiden pohjalta kannattaa ryhtyä toimenpiteisiin siisteyden parantamiseksi.