OSINT-analyysi: testaa hypoteesit ja vältä vahvistusharha

Avoimista lähteistä löytyy usein aineistoa, joka näyttää tukevan tutkijan ensimmäistä ajatusta. Juuri siksi OSINT-analyysi tarvitsee muutakin kuin tehokkaita hakuja. Sen on erotettava havainto tulkinnasta ja kestettävä myös yritys osoittaa alkuperäinen tulkinta vääräksi.

Vahvistusharha tarkoittaa taipumusta etsiä, huomata ja painottaa omaa käsitystä tukevaa tietoa. OSINT-työssä se voi ohjata hakusanoja, lähdevalintoja ja raportin sanamuotoja huomaamatta. Ratkaisu ei ole täydellinen puolueettomuus, vaan työprosessi, joka tekee oletukset näkyviksi ja pakottaa tarkastelemaan vaihtoehtoja.

Tässä oppaassa rakennetaan käytännöllinen menetelmä hypoteesien testaamiseen. Esimerkit koskevat kuvitteellisia organisaatioita ja verkkopalveluja, eivät yksityishenkilöitä.

Muotoile kysymys ennen ensimmäistä hakua

Epämääräinen tehtävä tuottaa helposti epämääräisen johtopäätöksen. Kysymys ”onko tässä jotain epäilyttävää?” ohjaa etsimään poikkeamia ilman selvää arviointiperustetta. Parempi tutkimuskysymys kertoo, mikä väite pitäisi pystyä arvioimaan ja miltä ajanjaksolta näyttöä tarvitaan.

Kuvitellaan, että kahden verkkopalvelun sivuilla näkyy samankaltainen virheilmoitus. Tutkimuskysymys voisi olla: ”Tukevatko julkiset tiedot arviota, että palvelujen häiriöillä oli yhteinen tekninen syy?” Kysymys ei vielä oleta yhteistä omistajaa, hyökkäystä tai muuta selitystä.

Kirjaa ennen hakua:

• tutkittava väite ja ajallinen rajaus
• havainto, josta tutkimus alkoi
• mitä voidaan selvittää avoimilla lähteillä
• mitä tutkimuksessa ei selvitetä
• millainen näyttö voisi muuttaa alustavaa arviota.

Rajaus ehkäisee myös tarpeetonta tiedonkeruuta. Teknisen häiriön syyn arviointi ei yleensä edellytä työntekijöiden henkilökohtaisten tilien tutkimista.

Rakenna aidosti kilpailevat hypoteesit

Hypoteesi on mahdollinen selitys, ei valmiiksi hyväksytty tulos. Kirjoita vaihtoehdot ennen laajaa aineistonkeruuta. Näin ensimmäinen kiinnostava löydös ei yksin määrää tutkimuksen suuntaa.

Häiriöesimerkissä vaihtoehdot voisivat olla:

• H1: Palveluilla oli yhteinen tekninen riippuvuus, joka aiheutti molemmat häiriöt.
• H2: Häiriöillä oli erilliset syyt, mutta ne tapahtuivat lähekkäin.
• H3: Julkaistut tiedot eivät kuvaa samanaikaisia häiriöitä, vaikka ne aluksi näyttävät siltä.

Hyödyllinen vaihtoehto eroaa muista siinä, millaista näyttöä sen pitäisi tuottaa. Pelkkä ”H1 on väärä” ei auta suunnittelemaan hakuja.

Hypoteesit eivät aina kata kaikkia mahdollisuuksia. Säilytä siksi myös avoin huomio siitä, että jokin vielä tunnistamaton selitys voi sopia aineistoon. Vaihtoehtoja saa muuttaa tutkimuksen edetessä, kun muutoksen syy kirjataan.

Päätä, mikä havainto erottaisi vaihtoehdot

Kaikki löydökset eivät auta valitsemaan selitysten välillä. Samankaltainen virhesivu voi sopia sekä yhteiseen tekniseen vikaan että toisistaan riippumattomiin häiriöihin. Yleisesti käytetty ulkoasu on tällöin heikosti erotteleva havainto.

Kysy jokaisesta suunnitellusta hausta: jos löydän tämän tiedon, minkä hypoteesin arvio muuttuu ja miksi?

Hyödyllisiä erottavia havaintoja voisivat olla julkinen häiriöseloste, joka nimeää yhteisen palveluntarjoajan, tai tapahtuma-aikojen tarkennus, joka osoittaa häiriöiden tapahtuneen eri päivinä. Jälkimmäinen ei välttämättä ratkaise syytä, mutta se voi heikentää oletusta yhdestä samanaikaisesta tapahtumasta.

Laadi pieni hakusuunnitelma, jossa jokaisella haulla on tarkoitus. Kirjaa haettava tieto, mahdolliset lähteet ja vaikutus hypoteeseihin. Näin tutkimus ei muutu loputtomaksi kiinnostavien mutta epäolennaisten yksityiskohtien keräämiseksi.

Erota havainto, tulkinta ja johtopäätös

OSINT-analyysin tavallinen virhe on kirjoittaa tulkinta havaintona. ”Palveluilla on yhteinen taustajärjestelmä” kuulostaa faktalta, vaikka aineistossa näkyisi vain kaksi samanlaista virheilmoitusta.

Pidä muistiinpanoissa erillään kolme tasoa:

• Havainto: Molemmilla julkisilla sivuilla näkyi sama virheteksti tallennushetkellä.
• Tulkinta: Virheteksti voi liittyä samaan ohjelmistoon tai yleiseen sivupohjaan.
• Johtopäätös: Virheteksti yksin ei osoita yhteistä häiriön syytä.

Erottelu helpottaa myös työn tarkastamista. Toinen tutkija voi hyväksyä havainnon mutta päätyä erilaiseen tulkintaan ilman, että koko aineistosta tarvitsee kiistellä.

Liitä havaintoon lähde ja ajankohta. Jos kyse on lähteen esittämästä väitteestä, kirjoita se sellaiseksi: ”Palvelun tiedote kertoo” on täsmällisempi ilmaus kuin väitteen esittäminen suoraan varmennettuna tapahtumana.

Etsi vastanäyttöä järjestelmällisesti

Vastanäyttö ei tarkoita vain vastakkaista mielipidettä. Se on tietoa, jonka pitäisi saada tutkija muuttamaan arviotaan. Sen etsimiseen kannattaa varata oma työvaihe sen sijaan, että sitä odotetaan löytyvän sattumalta.

Jos johtava hypoteesi on yhteinen tekninen syy, etsi esimerkiksi tietoa erillisistä huoltotöistä, erilaisista häiriöajoista tai toisistaan riippumattomista vikakuvauksista. Tarkista myös, onko ensimmäinen havainto voinut syntyä välimuistista, vanhasta kuvakaappauksesta tai väärin tulkitusta aikavyöhykkeestä.

Käytä neutraaleja hakusanoja. Pelkästään oletettua syytä sisältävä haku voi nostaa esiin juuri sitä toistavia julkaisuja. Hae myös tapahtuman nimellä, ajankohdalla, oireella ja vaihtoehtoisella selityksellä.

Kirjaa näkyviin vahvin omaa tulkintaasi vastaan puhuva havainto. Jos raportista ei löydy yhtään arviota heikentävää seikkaa, tarkista, onko niitä aidosti etsitty.

Älä laske toistoa riippumattomaksi tueksi

Useat julkaisut voivat näyttää vahvalta tuelta, vaikka ne perustuvat samaan alkuperäiseen tiedotteeseen. Hakutulosten määrä ei silloin kerro riippumattomien havaintojen määrästä.

Ryhmittele samaan alkuperään perustuvat väitteet. Organisaation tiedote, sitä referoiva uutinen ja uutista jakava päivitys voivat muodostaa yhden tietoketjun, eivät kolmea erillistä vahvistusta. Uutinen voi kuitenkin tuoda itsenäistä lisätietoa, jos siinä on omaa havainnointia tai erikseen hankittua aineistoa.

Arvioi myös lähteen laatu ja havainnon merkitys erikseen. Luotettava lähde voi kertoa asian, joka sopii kaikkiin hypoteeseihin eikä auta erottamaan niitä. Vastaavasti heikkolaatuinen julkaisu voi sisältää tarkistettavan vihjeen, jota ei pidä vielä käsitellä näyttönä.

Tavoitteena ei ole kerätä eniten viitteitä yhdelle selitykselle, vaan tunnistaa, mikä aineisto todella erottaa sen kilpailijoista.

Käytä hypoteesitaulukkoa ajattelun tukena

Yksinkertainen taulukko tekee arvioinnista näkyvää. Merkitse riveille havainnot ja sarakkeisiin hypoteesit. Kuvaa jokaisen havainnon suhde kuhunkin vaihtoehtoon sanoilla ”tukee”, ”ristiriidassa”, ”sopii mutta ei erottele” tai ”ei arvioitavissa”.

Lisää jokaisen merkinnän yhteyteen lyhyt perustelu. Esimerkiksi sama virheteksti voi sopia yhteiseen riippuvuuteen, mutta se ei erottele vaihtoehtoja, jos teksti on yleinen. Julkinen selvitys kahdesta erillisestä vikasyystä puolestaan voi olla ristiriidassa yhteistä syytä koskevan hypoteesin kanssa.

Älä tee taulukosta automaattista pistekonetta. Monta heikkoa tukevaa havaintoa ei välttämättä paina enemmän kuin yksi vahva ristiriita. Havaintojen riippuvuus toisistaan estää myös yksinkertaisen yhteenlaskun.

Taulukon arvo on perustelujen näkyvyydessä. Se auttaa huomaamaan, jos samaa aineistoa arvioidaan eri säännöillä sen mukaan, tukeeko se omaa suosikkiselitystä.

Käsittele puuttuva tieto varovasti

Hakutuloksen puuttuminen ei yleensä osoita tapahtuman puuttumista. Sisältöä ei ehkä ole julkaistu, sitä ei ole indeksoitu tai se on poistettu. Myös hakutapa ja käytetty kieli vaikuttavat siihen, mitä löytyy.

Puuttuva havainto voi heikentää hypoteesia silloin, kun havainto olisi perustellusti odotettavissa ja käytettävissä oleva aineisto kattaa kyseisen asian riittävän hyvin. Tämäkin arvio pitää perustella.

Jos palvelu julkaisee tilasivulla vain suurimmat häiriöt, merkinnän puuttuminen ei sulje pois lyhyttä katkosta. Jos taas julkinen, ajallisesti kattava tapahtumaloki kuvaa palvelun tilan tarkasti, puuttuvalla merkinnällä voi olla enemmän merkitystä.

Kirjoita ”rajatuissa lähteissä ei löytynyt tietoa” mieluummin kuin ”tietoa ei ole”. Ensimmäinen ilmaus kertoo tutkimuksen tuloksen; jälkimmäinen väittää enemmän kuin haku tavallisesti osoittaa.

Raportoi arvio ja sen rajat

Hyvä loppuarvio vastaa tutkimuskysymykseen ja kertoo, kuinka pitkälle aineisto kantaa. Sen ei tarvitse valita voittavaa hypoteesia, jos vaihtoehtoja ei pystytä erottamaan.

Käytännöllinen raportointirakenne on:

• Arvio: Mikä selitys saa vahvimman tuen tai miksi ratkaisu jää avoimeksi?
• Keskeinen näyttö: Mitkä havainnot vaikuttavat arvioon eniten?
• Vastanäyttö: Mikä puhuu arviota vastaan?
• Rajoitteet: Mitä lähteitä, ajanjaksoja tai tietoja puuttuu?
• Muutoskriteeri: Millainen uusi tieto muuttaisi johtopäätöstä?

Vältä perusteettomia prosentteja. Jos käytät varmuutta kuvaavia sanoja, selitä niiden perusteet. ”Arvio on alustava, koska häiriöiden tarkat alkamisajat puuttuvat” auttaa lukijaa enemmän kuin pelkkä ”todennäköisesti”.

Sovi myös lopetusehto. Tutkimus voidaan päättää, kun kysymykseen on riittävä vastaus tai kun olennaista epävarmuutta ei voida kohtuullisesti vähentää käytettävissä olevilla avoimilla lähteillä.

Yhteenveto

Kestävä OSINT-analyysi ei etsi vain vahvistusta ensimmäiselle ajatukselle. Se rakentaa vaihtoehtoiset selitykset, etsii niitä erottavia havaintoja ja käsittelee vastanäyttöä samoilla säännöillä kuin tukevaa aineistoa.

Aloita seuraava tutkimus kirjoittamalla kysymys, kilpailevat hypoteesit ja tieto, joka saisi sinut muuttamaan mieltäsi. Näin lopputulos perustuu paremmin näyttöön, ja avoimeksi jäävä kysymys voidaan raportoida ilman perusteetonta varmuutta.