Sanonnan mukaan mätä omena voi pilata koko korillisen. Sama ajatus pätee myös kvantitatiiviseen markkinatutkimukseen: jo pieni määrä huolimattomasti annettuja vastauksia voi heikentää tutkimuksen luotettavuutta ja vääristää tuloksia.
Datan laatuun vaikutetaan jo ennen kuin ensimmäinenkään vastaaja on vastannut. Siksi paneelintarjoajan valinnalla on iso merkitys. Tutkimuksen pohjaksi tarvitaan luotettava toimija, joka huolehtii oman paneelinsa laadusta, seuraa vastauskäyttäytymistä ja pyrkii tunnistamaan epäilyttäviä vastaajia jo omissa prosesseissaan.
Luotettava paneelintarjoaja antaa tutkimukselle hyvän lähtökohdan, mutta aineiston laadunvarmistus ei pääty siihen. Riippumatta siitä, kuka tiedonkeruun ja datan tarkistuksen käytännössä tekee, pitäisi olla selvää, miten aineiston laatua on arvioitu, millä perusteilla vastauksia on poistettu ja miten siivous on toteutettu.
Miksi data kannattaa tarkistaa?
Lähes jokaisessa paneeliaineistossa on mukana pieni joukko vastaajia, joiden vastaustapa herättää kysymyksiä. Kysely saatetaan klikata läpi poikkeuksellisen nopeasti, pitkiin väittämäpatteristoihin vastataan samalla vaihtoehdolla alusta loppuun tai vastaukset ovat muuten keskenään ristiriitaisia. Joskus motivaationa voi olla lähinnä vastaamisesta saatava palkkio, jolloin itse kysymyksiin ei välttämättä uhrata kovin paljon ajatusta.
Muutama tällainen vastaaja ei vielä kaada tutkimusta. Silti datan tarkistamiselle ja siivoamiselle kannattaa varata aikaa, ja jo vastaajamäärää suunniteltaessa on varauduttava siihen, että osa vastauksista voidaan joutua poistamaan laaduntarkastuksessa. Ennen tulosten tulkintaa onkin hyvä pysähtyä katsomaan, mitä aineistossa oikeastaan on ja ovatko kaikki vastaukset sellaisia, joiden varaan johtopäätöksiä halutaan rakentaa.
Mitä datasta sitten siivotaan?
Datan siivouksessa ei etsitä vääriä mielipiteitä, vaan epäluotettavaa vastauskäyttäytymistä.
Katse kiinnittyy esimerkiksi poikkeuksellisen nopeasti vastanneisiin, saman vastausvaihtoehdon toistuvaan valitsemiseen, keskenään epäjohdonmukaisiin vastauksiin sekä mahdollisiin duplikaatteihin. Myös avoimet vastaukset ja erilaiset tarkistuskysymykset voivat kertoa paljon. Satunnainen kirjainjono avoimessa kentässä tai vastaus, jolla ei ole mitään tekemistä kysymyksen kanssa, antaa hyvän syyn tarkastella myös vastaajan muuta toimintaa hieman tarkemmin.
Yksi epäilyttävä havainto ei silti automaattisesti tarkoita, että vastaaja pitäisi poistaa aineistosta. Nopeasti vastaava ihminen voi vain olla nopea lukija. Myös saman vastausvaihtoehdon valitseminen monta kertaa peräkkäin voi olla täysin perusteltua, jos se todella kuvaa vastaajan mielipidettä.
Siksi yksittäistä mittaria tärkeämpää on kokonaisuus. Jos sama vastaaja on poikkeuksellisen nopea, vastaa pitkään väittämäpatteristoon samalla tavalla ja antaa lisäksi ristiriitaisia tai sisällöttömiä vastauksia, epäilylle on jo enemmän perusteita.
Aina syy ei löydy vastaajasta
Heikkolaatuisesta datasta on helppo syyttää vastaajaa, mutta myös kyselylomakkeella on iso merkitys. Jos kysely on liian pitkä, kysymykset epäselviä tai samankaltaisia väittämiä on paljon peräkkäin, huolellinenkin vastaaja alkaa helposti väsyä.
Paljon ratkaistaan jo ennen ensimmäistäkään vastausta: siinä, miten kysely on rakennettu. Selkeät kysymykset, sopiva kyselyn pituus ja looginen eteneminen tekevät huolellisesta vastaamisesta helpompaa. Datan siivous ei siis korjaa huonosti rakennettua tutkimusta, vaan on yksi osa tutkimuksen laadunvarmistusta.
Tuloksia ei siivota mieleisiksi
Datan siivouksessa on yksi periaate, josta ei kannata tinkiä: aineistoa ei muokata siihen suuntaan, miltä tulosten haluttaisiin näyttävän. Vastaajaa ei pidä poistaa siksi, että hänen mielipiteensä poikkeaa muiden mielipiteistä tai tutkimuksen alkuperäisestä oletuksesta. Poistamiselle täytyy löytyä peruste vastauskäyttäytymisestä, ei vastauksen sisällöstä.
Hyvä siivous perustuu mahdollisuuksien mukaan jo ennen varsinaisten tulosten tarkastelua määriteltyihin kriteereihin, joita sovelletaan aineistoon johdonmukaisesti. Kaikkea ei tietenkään aina osata ennakoida etukäteen, mutta logiikan pitäisi pysyä samana koko aineistossa.
Myös ylisiivoamista kannattaa varoa. Jos vastaajia poistetaan runsaasti esimerkiksi pelkän vastausajan perusteella, voidaan samalla muuttaa otoksen rakennetta huomaamatta. Siivouksen jälkeen kannattaakin tarkistaa paitsi se, kuinka paljon vastauksia poistui, myös se, muuttuiko aineiston koostumus olennaisesti tärkeiden taustatekijöiden osalta.
Hyvä analyysi ei pelasta huonoa dataa
Datan siivous voi tuntua tutkimusprosessissa tekniseltä välivaiheelta, mutta sen merkitys näkyy suoraan lopputuloksessa. Huolimattomat vastaukset lisäävät aineistoon epävarmuutta ja voivat peittää alleen aidosti kiinnostavia ilmiöitä. Silloin hienokaan analyysimenetelmä ei pelasta tilannetta.
Kun aineisto on kerätty huolellisesti, tarkistettu systemaattisesti ja siivottu perusteltujen kriteerien mukaisesti, myös sen pohjalta tehtyihin johtopäätöksiin voi luottaa enemmän. Datan laadun tarkistaminen ei siis ole tutkimuksen sivuvaihe, vaan olennainen osa hyvää markkinatutkimusta. Jokaisen tutkimuksen tilaajan kannattaakin kysyä, miten aineiston laatu on varmistettu, millä perusteilla vastauksia on poistettu ja miten siivouksen vaikutuksia tuloksiin on arvioitu. Luotettavassa tutkimuksessa näihin kysymyksiin pitäisi löytyä selkeät vastaukset.
