Vaikka tämä artikkeli keskittyy erityisesti markkinatutkimukseen internet-haastattelujen näkökulmasta, ovat monet asiat yleistettävissä myös henkilöstö- ja asiakastutkimuksiin sekä muihin tiedonkeruumenetelmiin.
Pohjapiirroksesta rakennusvaiheeseen
Vaikka ajallisesti kohderyhmän määrittäminen, otannan suunnittelu ja varsinainen tiedonkeräys voivat tapahtua eri vaiheissa projektia, on niitä tässä luontevaa käsitellä yhdessä.
Jos lomakesuunnittelussa tehtiin käytettävissä olevalle datalle pohjapiirros, siirrytään nyt varsinaiseen rakennusvaiheeseen. Kun data on kerätty ovat mahdollisuudet vaikuttaa sen luotettavuuteen hyvin rajalliset. Siksi otannan suunnittelu ja varsinainen tiedonkeräys on suoritettava erityistä huolellisuutta noudattaen.
Tässä kirjoituksessa pyritään nostamaan esiin muutamia onnistumisen edellytyksiä ja kompastuskiviä.
Kohderyhmän valitseminen: vältä tarpeettomia rajauksia
Tutkimuksen kohderyhmän määrittely on tärkeä vaihe, sillä tutkimuksen tuloksia ei voi yleistää tutkitun kohderyhmän ulkopuolelle. Jos tutkimukseen lähdettäessä rajaat jonkin olennaisen kohderyhmän tutkimuksen ulkopuolelle, olet tehnyt ison virheen – etkä välttämättä koskaan saa tietää sitä. Siksi tutkittavan kohderyhmän on mieluummin oltava liian laaja kuin liian rajattu.
Jos haluat varmistua siitä, että kaikki tärkeät vastaajaryhmät tulevat mukaan, kannattaa tutkimuksen kohderyhmän rajaus suorittaa tutkimuslomakkeella. Käytännössä lomakkeen alkuun suunnitellaan pieni joukko kysymyksiä, jolla varsinaiseen tutkimukseen mukaan otettavat vastaajat saadaan kartoitettua.
Tätä lähestymistapaa kannattaa usein käyttää siitäkin syystä, että sillä ei ole tiedonkeruun suhteen juurikaan aikataulullisia tai kustannuksellisia vaikutuksia. Lopputuloksena saat mukaan varmasti kaikki relevantit vastaajaryhmät ja pystyt helposti muuttamaan tulokset väestötason estimaateiksi.
Otoksen rakentaminen: satunnaisotanta on edustavuuden perusta
Kun kohderyhmä on valittu, on tilanne yleensä sellainen, että kaikkia siihen kuuluvia on mahdotonta haastatella. Tällöin on turvauduttava otokseen. Ja jotta otoksen perusteella saadut tulokset voidaan yleistää koskemaan koko tutkittavaa perusjoukkoa, on otoksen oltava satunnaisesti poimittu.
Yksinkertainen satunnaisotanta tarkoittaa sitä, että kaikilla tutkittavan perusjoukon jäsenellä on yhtä suuri mahdollisuus päästä mukaan otokseen. Käytännössä siis mukaan tulevat vastaajat arvottaisiin kaikista kohderyhmään kuuluvista. Kun otos on poimittu satunnaisotannalla, voidaan sen tulokset yleistää koskemaan koko perusjoukkoa ja saaduille tuloksille voidaan laskea luotettavuusmittareita.
Esimerkiksi omaan ystäväpiiriin, omaan sosiaalisen median verkostoon tai tietyn sivuston kävijäkuntaan perustuvat otokset eivät täytä satunnaisotannan määritelmää. Näin kerätyillä tutkimusdatoilla onkin useimmiten lähinnä viihdearvoa.
Tiedonkeräys: älä hätäile!
Tiedonkeräysvaiheessa on tärkeää varmistua siitä, että asetettu kohderyhmä tavoitetaan mahdollisimman edustavasti. Yleinen tapa epäonnistua tässä on käyttää tiedonkeräysvaiheeseen liian vähän aikaa.
Internet-paneeleista on helppoa kerätä isojakin otoksia muutamissa tunneissa, mutta olennainen kysymys onkin ovatko nopeimmin vastaavat muilta taustatekijöiltään ja asenteiltaan samanlaisia kuin ne, jotka eivät mukaan ehdi? Tämä on usein epärealistinen oletus. Siksi on hyvä muistaa, että pelkästään se onko datassa edustavan näköisesti eri taustaryhmiä ei kerro siitä, onko data luotettava ja laadukas.
Liian nopea tiedonkeräys voi synnyttää dataan paljon harhoja. Ongelmallista on se, että näitä harhoja on vaikeaa tai jopa mahdotonta jälkikäteen tunnistaa. Siksi varmin keino saada kohderyhmää edustavaa dataa on varata tiedonkeräämiseen riittävästi aikaa – usein noin viikko, mutta haastavammissa kohderyhmissä jopa pitempikin aika.
Otoskoko: paljonko vastaajia tarvitaan?
Datan laatu on tärkeämpi asia kuin datan määrä. Otoskoon vaikutusta tulosten luotettavuuteen voidaan miettiä vasta siinä vaiheessa, kun tiedämme että kerätty data on edustava ja harhaton. Jos datan laadussa on ongelmia, on otoskoko triviaali asia – sen kasvattaminen vähentää toki satunnaisvaihtelua, mutta ei poista harhaa.
Usein suurta otoskokoa kunnioitetaan siksi, että sen avulla on helppo löytää enemmän tilastollisesti merkitseviä eroja. Tällöin ei kuitenkaan nähdä metsää puilta. Tapa, jossa löydökset jaetaan tietyn raja-arvon mukaan merkitseviin ja ei-merkitseviin ei olekaan enää aivan tätä päivää, sillä jokaiselle yksittäiselle tulokselle on nykyään helppo laskea oma luotettavuusarvionsa. Tärkeämpää kuin tuijottaa yksittäisiä merkitsevyyksiä onkin keskittyä löydösten sisällölliseen merkitsevyyteen.
Otantateoriaan perehtymättömälle voi olla haastavaa hyväksyä, että tutkittavan perusjoukon koolla on yllättävän pieni merkitys tarvittavaan otoskokoon. Mutta ajatellaanpa tilannetta, jossa haluamme selvittää sekä oululaisten että kiinalaisten mielipiteitä tietystä asiasta. Voi tuntua hurjalta, että molemmissa tapauksissa samalla otoskoolla päästään yhtä luotettaviin tuloksiin, mutta näin tilanne käytännössä on. (Oululaisille kuitenkin tiedoksi, että tämä johtuu otantateoriasta, eikä sitä voi yleistää muihin asioihin siten, että yksi oululainen vastaisi kaikissa tilanteissa seitsemäätuhatta kiinalaista.)
Kun tutkimusotos on edustava ja harhaton, tarkentaa isompi otos toki estimaattien tarkkuutta. Tarkentuminen ei kuitenkaan tapahdu lineaarisesti, vaan luottamusvälin puolittaminen vaatii aina otoskoon nelinkertaistamista. Siksi tulosten kokonaisluotettavuuden kannalta isoissa perusjoukoissa on huomattava ero sillä, onko haastateltu sata vai tuhat vastaajaa, mutta sillä onko haastateltu tuhat vai kaksituhatta vastaajaa on jo yllättävän vähän merkitystä.
Luotettavien kokonaistason tulosten saamiseen riittää usein varsin pieni vastaajamäärä. Markkinatutkimuksissa tilanne on kuitenkin usein se, että kokonaistason tulosten tarkastelu ei riitä, vaan tuloksia halutaan tarkastella myös taustaryhmissä. Tarvittava otoskoko määräytyykin tavallisimmin pienimmän tarkasteltavaksi halutun osajoukon mukaan. Siksi on tiedettävä etukäteen, missä taustaryhmissä tuloksia halutaan tarkastella.
Tyypillisesti pienimpään tarkasteltavaan taustaryhmään halutaan minimissään 30 vastaajaa. Laskennallisena esimerkkinä, jos arvioimme etukäteen, että tutkimuksessa tämä joukko edustaa viittä prosenttia kohderyhmästä, täytyy kokonaisotoksessa olla 600 vastaajaa jotta taustaryhmään saadaan tarpeeksi vastaajia.
Otoskoon optimointi on tutkimuksia ostavalle asiakkaalle tärkeää erityisesti kustannusnäkökulmasta, sillä markkinatutkimuksissa laadukkaan otoksen hankinta on suurimpia kustannukseen vaikuttavia tekijöitä.
Datan siivoaminen: usein tekemättä jätetty vaihe
Ennen kuin datasta ryhdytään tekemään tarkempia analyysejä ja johtopäätöksiä, on se vielä siivottava. Selvästi virheelliset/asiattomat vastaukset on poistettava, sillä niiden mukana pitäminen voi vääristää lopputulosta suurestikin. Poistamista varten käytössä on hyvä olla selkeitä mittareita, joiden kautta vastausten todenmukaisuutta voidaan arvioida.
Datan laaduntarkkailuun käytettävät mittarit kannattaa aina suunnitella etukäteen. Näitä voivat olla esimerkiksi käytetty vastausaika, epärealistiset vastausyhdistelmät tai datamatriiseissa vastausten epäilyttävän pieni keskihajonta. Yleinen käytäntö on se, että hylätyksi vastaajaksi päätyminen vaatii ”kiinni jäämistä” vähintään kahdessa mittarissa.
Siivoaminen on tärkeä, mutta usein väliin jätetty vaihe. Tyypillisessä paneeliotoksessa poistettavia vastaajia löytyy noin 3-5 prosenttia, mutta tämä määrä voi olla huomattavasti suurempikin riippuen lomakkeen vastaajaystävällisyydestä. Jos tämä joukko jätetään mukaan tutkimusotokseen, voivat tulokset olla jotain ihan muuta kuin mitä niiden todellisuudessa pitäisi olla.
Jos kerätty data ei edusta halutuilta taustoiltaan tavoiteltua kohderyhmää, sitä voidaan myös painottaa. Yksinkertaistettuna – jos väestöä edustavassa otoksessa tietty ikäryhmä jää aliedustetuksi, voidaan siihen kuuluville vastaajille antaa suurempi painoarvo kuin muille. On kuitenkin hyvä tiedostaa, että datan painotustarve on usein signaali hätäisesti tai muuten huolimattomasti suoritetusta tiedonkeruusta. Se ei poista vastauskadosta tai esimerkiksi liian nopeasti suoritetusta kenttätyöstä aiheutuneita harhoja.
MUISTA NÄMÄ ASIAT KOHDERYHMÄÄN, OTANTAAN JA TIEDONKERUUSEEN LIITTYEN:
- Älä rajaa tutkimuksen kohderyhmää epävarmoihin oletuksiin perustuen
- Jos otoksesta saatuja tuloksia halutaan yleistää laajempaan kohderyhmään, on otoksen oltava kohderyhmästä satunnaisesti poimittu
- Varaa tiedonkeräysvaiheeseen riittävästi aikaa. Muuten datasi tulee mitä luultavimmin olemaan harhainen
- Datan määrällä on merkitystä vasta kun datan laatu on kunnossa. Tehokkain tapa optimoida tutkimukseen kuluvaa rahamäärää on välttää ylisuuren datan keräämistä.
- Data on siivottava aina ennen analysointiin ryhtymistä, sillä mukana on aina joukko vastaajia, jotka eivät ole suhtautuneet asiaan tosissaan.
Artikkeli perustuu alunperin vuonna 2020 julkaistuun materiaaliin.
