OSINT ja kyselytutkimukset: tarkista väitteiden pohja
Kyselytutkimuksen tulos ei yksin todista otsikon väitettä. Opi tarkistamaan otanta, kysymykset, painotukset ja epävarmuus avoimista lähteistä OSINT-työssä.
Kyselytutkimuksiin perustuvat väitteet näyttävät helposti täsmällisiltä. Otsikossa kerrotaan, mitä kansalaiset haluavat, asiakkaat arvostavat tai työntekijät pelkäävät. Luku voi kuitenkin kuvata aivan muuta joukkoa tai kapeampaa kysymystä kuin lukija olettaa.
OSINT-tutkijan tehtävä ei ole hyväksyä tai hylätä kyselyä pelkän julkaisijan perusteella. Tehtävä on selvittää, mitä tutkimuksessa todella kysyttiin, keneltä vastaukset saatiin ja millaisia johtopäätöksiä aineisto tukee. Tämä onnistuu usein julkisen raportin, menetelmäkuvauksen, kyselylomakkeen ja taulukkoliitteiden avulla.
Rajaa ensin tarkistettava väite
Kirjaa tutkittava väite sanatarkasti ja merkitse, missä se esitettiin. Erota toisistaan tutkimusraportin johtopäätös, tiedotteen muotoilu ja uutisen otsikko. Ne eivät välttämättä tarkoita samaa asiaa.
Pura väite neljään osaan:
- Kohdejoukko: keitä väite koskee?
- Mitattu asia: mielipidettä, kokemusta, aikomusta vai toimintaa?
- Ajankohta: milloin vastaukset kerättiin?
- Vertailu: mihin muutosta tai eroa verrataan?
Esimerkiksi ostoaikomus ei ole toteutunut ostos, eikä vastaajan arvio organisaationsa toiminnasta ole organisaation tilinpäätöstieto. Jos uutinen muuttaa aikomuksen toiminnaksi, ongelma voi olla tulkinnassa eikä itse kyselyssä.
Pidä tarkistus riittävän kapeana. Yhden otsikkoväitteen arviointi on eri tehtävä kuin koko tutkimusasetelman tieteellinen arviointi.
Etsi raportti ja menetelmäkuvaus
Aloita julkaisijan tai toteuttajan viralliselta verkkosivulta. Etsi tiedotteen lisäksi varsinainen raportti, liitteet, kyselylomake ja mahdollinen tekninen seloste. Hakusanoina voivat toimia tutkimuksen nimi sekä sanat ”menetelmä”, ”otanta”, ”kyselylomake” ja ”taulukot”.
Kirjaa erikseen tilaaja, rahoittaja, toteuttaja ja julkaisija. Ne voivat olla eri organisaatioita. Kaupallinen tai edunvalvonnallinen rahoitus ei yksin tee tutkimuksesta virheellistä, mutta sidonnaisuudet kuuluvat lähteen arviointiin.
Tarkista myös, onko saatavilla koko aineistoa kuvaava raportti vai vain valikoituja tuloksia. Tiedote voi nostaa esiin kiinnostavimman havainnon kertomatta kysymyksistä, joissa eroja ei löytynyt.
Jos menetelmätietoja ei löydy, merkitse puute täsmällisesti. ”Julkisesta raportista ei löytynyt vastaajien rekrytointitapaa” on perusteltu havainto. ”Tutkimus on epäluotettava” vaatii enemmän näyttöä.
Selvitä, ketä vastaajat edustavat
Perusjoukko tarkoittaa sitä joukkoa, josta halutaan tehdä päätelmiä. Vastaajajoukko puolestaan koostuu niistä, jotka todella vastasivat. Näiden väliin voi jäädä merkittäviä aukkoja.
Tarkista ainakin seuraavat asiat:
- Miten osallistujat tavoitettiin ja valittiin?
- Oliko osallistuminen avointa kaikille vai kutsuun perustuvaa?
- Mitkä ikä-, kieli- tai aluerajaukset olivat käytössä?
- Keitä tiedonkeruutapa saattoi jättää ulkopuolelle?
- Onko otos todennäköisyysotos vai esimerkiksi kiintiöihin perustuva otos?
Verkkosivun avoin äänestys kuvaa ensisijaisesti siihen osallistuneiden vastauksia. Sitä ei pidä automaattisesti tulkita koko väestön mielipiteeksi, vaikka osallistujia olisi paljon.
Myöskään sana ”paneeli” ei vielä kerro edustavuudesta. Olennaista on, miten paneeli on muodostettu ja miten kyseisen kyselyn vastaajat valittiin siitä.
Lue kysymys vastausvaihtoehtoineen
Tuloksen merkitystä ei voi arvioida kunnolla ilman kysymyksen tarkkaa sanamuotoa. Pyydä tai etsi myös vastausvaihtoehdot, ohjetekstit ja tarvittaessa edeltävät kysymykset.
Huomioi erityisesti johdattelevat määreet, kaksi asiaa yhdistävät kysymykset ja epätarkat aikavälit. ”Usein”, ”turvallinen” ja ”kohtuullinen” voivat tarkoittaa eri vastaajille eri asioita.
Tarkista, saiko vastaaja valita yhden vai useita vaihtoehtoja. Monivalintakysymyksen prosenttien ei tarvitse summautua sataan. Selvitä myös, oliko tarjolla neutraali vaihtoehto tai mahdollisuus vastata ”en osaa sanoa”.
Jos raportissa yhdistetään esimerkiksi kaksi myönteistä vastausluokkaa, varmista yhdistämisen peruste. Tiivistäminen voi olla järkevää, mutta se saattaa peittää eron vahvan kannatuksen ja varovaisen hyväksynnän välillä.
Kysymysten järjestys voi vaikuttaa siihen, mitä vastaaja ajattelee vastatessaan. Siksi irrotettu kysymyskuva ei aina riitä koko mittaustilanteen arviointiin.
Tarkista prosenttien nimittäjä
Jokainen prosenttiosuus tarvitsee nimittäjän: mistä joukosta osuus on laskettu? Koko kyselyn vastaajamäärä ei välttämättä ole sama kuin yksittäisen tuloksen vastaajamäärä.
Osa kysymyksistä voidaan esittää vain tietylle ryhmälle. Lisäksi puuttuvat vastaukset ja ”en osaa sanoa” -vastaukset saatetaan jättää laskennan ulkopuolelle. Tällöin tulos kuvaa vastanneiden osajoukkoa, ei kaikkia osallistujia.
Etsi taulukosta havaintomäärä sekä selite siitä, onko luku painotettu vai painottamaton. Pieniin alaryhmiin perustuvia prosentteja kannattaa käsitellä erityisen varovasti: yksittäiset vastaukset voivat vaikuttaa niihin paljon.
Älä päättele pyöristetyistä prosenteista tarkkoja vastaajamääriä ilman lisätietoja. Painotukset, puuttuvat vastaukset ja pyöristys voivat estää yksiselitteisen laskennan.
Arvioi painotukset ja vastauskato
Painotuksella voidaan korjata vastaajajoukon rakennetta vastaamaan tunnettuja väestötietoja esimerkiksi iän tai alueen suhteen. Painotus ei kuitenkaan automaattisesti korjaa kaikkia valikoitumisen ongelmia.
Jos vastaamiseen liittyy tutkimuksen aiheeseen kytkeytyvä tekijä, jota painotuksessa ei huomioida, vinoumaa voi jäädä jäljelle. Pelkkä maininta ”aineisto on painotettu edustavaksi” ei siksi korvaa menetelmäselostetta.
Selvitä, mitä muuttujia painotuksessa käytettiin ja mistä vertailutiedot ovat peräisin. Jos painojen vaihtelua tai niiden vaikutusta epävarmuuteen kuvataan, ota tieto mukaan arvioon.
Vastauskato tarkoittaa vastaamatta jäämistä. Vastausaste on hyödyllinen tieto, mutta ei yksin ratkaise tutkimuksen laatua. Olennaista on myös, poikkeavatko vastaamatta jättäneet vastaajista juuri tutkittavan asian suhteen. Tätä eroa ei aina voida julkisista tiedoista selvittää.
Tulkkaa epävarmuutta menetelmän ehdoilla
Virhemarginaali ei kata kaikkia mahdollisia virheitä. Se ei sellaisenaan huomioi esimerkiksi johdattelevaa kysymystä, väärin ymmärrettyä vastausvaihtoehtoa tai kaikkia vastaajajoukon valikoitumisen vaikutuksia.
Tarkista, mille tulokselle ilmoitettu epävarmuusarvio on laskettu. Koko aineistolle esitettyä virhemarginaalia ei pidä siirtää sellaisenaan pieniin alaryhmiin. Myös otanta-asetelma ja painotus voivat vaikuttaa laskentaan.
Jos kyseessä ei ole todennäköisyysotos, tavanomaisen otantavirheen esittäminen vaatii erityistä huolellisuutta ja oletusten avaamista. Älä laske raporttiin omaa virhemarginaalia pelkän vastaajamäärän perusteella ymmärtämättä asetelmaa.
Kahden prosenttiluvun ero ei myöskään automaattisesti osoita merkityksellistä muutosta. Epävarmuuden lisäksi on arvioitava eron käytännöllinen merkitys ja vertailun menetelmällinen kelvollisuus.
Varmista ajallinen vertailukelpoisuus
Toistuva kysely voi näyttää trendin, mutta vertailu edellyttää riittävän samanlaista mittausta. Tarkista kysymyksen sanamuoto, vastausasteikko, kohdejoukko, tiedonkeruutapa ja painotus eri kierroksilla.
Puhelinhaastattelun vaihtuminen verkkokyselyksi voi vaikuttaa vastaamiseen. Samoin vastausvaihtoehdon lisääminen tai kysymyksen paikan muuttaminen voi heikentää vertailukelpoisuutta.
Kirjaa tiedonkeruun ajankohta, ei vain raportin julkaisupäivää. Vastaukset voivat kuvata tilannetta ennen myöhempää päätöstä tai tapahtumaa, vaikka uutinen julkaistaisiin vasta sen jälkeen.
Kysely voi osoittaa samanaikaisia eroja tai yhteyksiä, mutta ei yleensä yksin todista niiden syytä. Väite siitä, että jokin tapahtuma muutti mielipiteitä, vaatii enemmän perustelua kuin ennen ja jälkeen julkaistut luvut.
Dokumentoi tarkistus tietoja minimoiden
Tee jokaiselle olennaiselle havainnolle jäljitettävä lähdemerkintä. Tallenna raportin nimi, verkko-osoite, tarkistuspäivä sekä sivu tai taulukko, johon havainto perustuu. Erota lähteessä kerrottu tieto omasta arviostasi.
Käytännöllinen tarkistusmuistio sisältää:
- tarkistettavan väitteen ja sen julkaisupaikan;
- kysymyksen sanamuodon ja kohdejoukon;
- tiedonkeruuajan, rekrytointitavan ja vastaajamäärän;
- prosenttien laskentaperustan ja painotukset;
- tunnistetut rajoitukset ja puuttuvat menetelmätiedot;
- johtopäätöksen siitä, tukeeko aineisto juuri kyseistä väitettä.
Julkinen tutkimusaineisto ei välttämättä ole henkilötiedotonta. Avovastaukset ja pienet taustatietoryhmät voivat mahdollistaa tunnistamisen. Älä yritä tunnistaa vastaajia tai yhdistää vastauksia henkilöprofiileihin.
Jos käsittelet henkilötietoja, arvioi käsittelyperuste, käyttötarkoitus, tarpeellisuus ja säilytysaika. Julkinen saatavuus ei poista GDPR:n velvoitteita. Otsikkoväitteen tarkistus onnistuu usein ilman vastaajakohtaisten tietojen keräämistä.
Yhteenveto
Kyselytutkimuksen tarkistuksessa tärkein kysymys ei ole, näyttääkö luku vakuuttavalta, vaan mitä se todella mittaa. Etsi alkuperäinen raportti, tarkista vastaajajoukko ja kysymys sekä selvitä prosenttien laskentaperusta.
Hyvä OSINT-johtopäätös voi myös olla rajattu: tulos tukee väitettä vain tietystä vastaajaryhmästä tai saatavilla olevat menetelmätiedot eivät riitä laajempaan arvioon. Täsmällinen rajaus on hyödyllisempi kuin perusteeton hyväksyntä tai hylkäys.