OSINT-hakukoneet: tarkat haut ja tulosten katveet

Hakukone on OSINT-tutkimuksen aloituspiste, ei kattava luettelo verkon sisällöstä. Se näyttää valikoiman sivuja oman indeksinsä, hakutulkintansa ja järjestysperiaatteidensa perusteella. Ensimmäinen tulos ei siksi välttämättä ole alkuperäinen lähde, eikä tyhjä tulossivu osoita, ettei tietoa ole olemassa.

Tehokas OSINT-haku alkaa rajatusta kysymyksestä. Sen jälkeen rakennetaan vaihtoehtoisia hakulausekkeita, tarkistetaan löydöt alkuperäisiltä sivuilta ja kirjataan myös haun rajoitukset. Näin tiedonhaku tuottaa perusteltavia havaintoja pelkän linkkilistan sijaan.

Tässä oppaassa keskitytään julkisia organisaatioita, palveluita ja julkaisuja koskevaan tutkimukseen. Samat hakutekniikat eivät anna lupaa kerätä tarpeettomia henkilötietoja tai kiertää käyttörajoituksia.

Muuta tutkimuskysymys hakusuunnitelmaksi

Liian laaja kysymys tuottaa helposti sekalaisen aineiston. Esimerkiksi ”mitä tästä palvelusta tiedetään” ei kerro, millainen löytö olisi tutkimuksen kannalta merkityksellinen. Parempi kysymys on: ”Missä organisaation julkisissa aineistoissa kuvataan palvelun saavutettavuutta?”

Kirjoita ennen ensimmäistä hakua kolme asiaa:

• Kohde: mitä organisaatiota, palvelua tai julkaisua tutkit?
• Tietotarve: mitä täsmällistä väitettä tai ominaisuutta selvität?
• Rajaus: mitkä kielet, julkaisutyypit ja verkkosivustot kuuluvat tutkimukseen?

Määrittele myös, mikä riittää vastaukseksi. Etsitkö yhtä voimassa olevaa selostetta vai kaikkia julkisia mainintoja tietystä käytännöstä? Näiden tehtävien kattavuusvaatimukset ovat erilaiset.

Hyvä hakusuunnitelma sisältää alustavan lopetusehdon. Tutkimusta voidaan esimerkiksi jatkaa, kunnes organisaation pääsivusto, erillinen ohjekeskus ja keskeiset asiakirjatyypit on käyty läpi sovituilla hakusanaryhmillä. Tämä ei takaa täydellisyyttä, mutta tekee työstä hallittavaa.

Rakenna hakusanat käsitteistä, älä yhdestä ilmauksesta

Tutkijan käyttämä sana ei välttämättä esiinny lähteessä. Organisaatio voi puhua saavutettavuuden sijaan esteettömyydestä, palvelun käytettävyydestä tai englanniksi accessibility-käsitteestä. Termit voivat olla läheisiä, vaikka ne eivät tarkoita täsmälleen samaa.

Tee pieni hakusanakartta, jossa erotat toisistaan:

• viralliset nimet ja vakiintuneet lyhenteet
• aihetta kuvaavat termit ja rinnakkaiskäsitteet
• lähteessä mahdollisesti käytetyt vieraskieliset ilmaukset
• asiakirjatyypit, kuten seloste, ohje, raportti tai päätös.

Älä yhdistä kaikkea heti yhdeksi pitkäksi hakulausekkeeksi. Aloita muutamalla käsitteellä ja vaihda yksi osa kerrallaan. Näin näet, mikä muutos toi uuden hyödyllisen löydön.

Säilytä käsitteiden erot myös tulkinnassa. Käytettävyyttä käsittelevä sivu voi auttaa löytämään saavutettavuusohjeen, mutta se ei automaattisesti vastaa saavutettavuutta koskevaan kysymykseen. Hakusanojen laajentaminen on löytämisen apuväline, ei lupa laajentaa johtopäätöstä.

Käytä hakuoperaattoreita harkitusti

Hakuoperaattorit auttavat rajaamaan aineistoa, mutta niiden tuki ja toiminta vaihtelevat hakukoneittain. Tarkista käyttämäsi palvelun ajantasaiset ohjeet. Älä oleta, että sama lauseke käyttäytyy kaikkialla samalla tavalla.

Seuraavat esimerkit käyttävät havainnollistavaa verkkotunnusta `example.org`:

• `site:example.org saavutettavuus` kohdistaa haun tiettyyn verkkotunnukseen.
• `"saavutettavuusseloste" "palvelun nimi"` etsii tarkkoja ilmauksia yhdessä.
• `site:example.org filetype:pdf saavutettavuus` rajaa hakua PDF-aineistoon, jos hakukone tukee rajausta.
• `"palvelun nimi" saavutettavuus -rekrytointi` pyrkii poistamaan rekrytointiin liittyviä tuloksia.

Lainausmerkit ovat hyödyllisiä otsikoiden ja erottuvien ilmausten etsimisessä. Liian aikaisin käytettyinä ne voivat kuitenkin piilottaa taivutusmuodot, kirjoitusvariantit ja hieman eri tavalla muotoillut otsikot.

Myös poissulkeva miinusmerkki voi poistaa hyödyllisiä sivuja. Jos sana ”rekrytointi” esiintyy jokaisen sivun navigaatiossa, rajaus saattaa vaikuttaa odottamattomasti. Vertaa siksi rajattua hakua aina myös versioon, jossa poissulku puuttuu.

`site:`-haun tuloksia ei pidä käsitellä sivuston täydellisenä sisältöluettelona. Hakukone voi tuntea vain osan sivuista, ja tuloksia voidaan ryhmitellä tai jättää näyttämättä.

Etene laajasta hausta tarkkaan ja takaisin

Toimiva hakukierros etenee kolmessa vaiheessa. Ensin kartoitat sanaston ja keskeiset julkaisupaikat. Sitten rajaat hakua. Lopuksi avaat rajauksia tarkistaaksesi, mitä ne mahdollisesti sulkivat pois.

Ensimmäisellä kierroksella etsi organisaation tai palvelun nimi yhdessä aiheen kanssa. Tarkastele, millä termeillä aihetta kuvataan ja missä sisältö sijaitsee. Hyödyllinen aineisto voi löytyä pääsivuston sijaan erillisestä ohjekeskuksesta tai julkaisupalvelusta.

Toisella kierroksella käytä löydettyä sanastoa ja kohdista haut tunnistettuihin julkaisupaikkoihin. Kokeile erikseen verkkosivuja ja asiakirjoja. Älä oleta tiedostomuotorajauksen löytävän kaikkea: sama sisältö voi olla julkaistu tavallisena verkkosivuna.

Kolmannella kierroksella poista tarkka ilmaus, verkkotunnusrajaus tai kielirajaus yksi kerrallaan. Tarkoitus on tunnistaa oman hakutavan katveita, ei kasvattaa tulosmäärää sen itsensä vuoksi.

Jos tutkimuskysymys koskee organisaation omaa kantaa, ulkopuolinen maininta voi johdattaa lähteelle. Se ei kuitenkaan korvaa organisaation julkaisua ilman erillistä perustelua.

Käsittele hakutuloskatkelmaa vihjeenä

Hakutuloksen otsikko ja tekstikatkelma eivät välttämättä vastaa sivun nykyistä otsikkoa tai yhtenäistä tekstijaksoa. Hakukone voi muodostaa esityksen sivun eri osista, ja näkyvä tieto voi olla vanhentunutta.

Avaa siksi varsinainen sivu ennen kuin käytät löytöä väitteen tukena. Tarkista ainakin:

• löytyykö väitetty tieto sivun varsinaisesta sisällöstä
• mihin palveluun tai versioon teksti viittaa
• sisältääkö ympäröivä teksti ehtoja, poikkeuksia tai rajauksia
• onko kyse organisaation omasta tekstistä vai lainatusta aineistosta.

Hakutuloskatkelmassa näkyvä päivämäärä ei yksin osoita julkaisuajankohtaa. Vastaavasti katkelmaan nostettu kielteinen tai myönteinen ilmaus voi saada eri merkityksen kokonaisessa kappaleessa.

Jos sivu ei avaudu, kirjaa havainto rajatusti: hakukone näytti kyseisen otsikon tai katkelman tarkistushetkellä. Älä esitä sitä varmennettuna kuvauksena sivun sisällöstä. Etsi seuraavaksi julkinen rinnakkaisjulkaisu tai muu lähde, josta väite voidaan tarkistaa.

Tunnista indeksoinnin ja kattavuuden katveet

Kaikki julkisesti luettavat sivut eivät näy hakukoneissa. Sivusto voi rajoittaa indeksointia, sisältö voi olla uutta tai linkitys voi tehdä sivuista vaikeasti löydettäviä. Myös sivuston tekninen toteutus voi vaikuttaa siihen, mitä hakukone pystyy käsittelemään.

Sisältöä voi lisäksi olla sivuston omassa hakupalvelussa, julkisessa tietokannassa tai käyttöliittymässä, jonka näkymiä yleinen hakukone ei kata hyvin. Tällöin seuraava askel on käyttää palvelun julkisia hakutoimintoja ja ohjeita, ei kiertää rajoituksia.

Kokeile tarvittaessa toista hakukonetta. Eri palvelut voivat tuoda esiin erilaisia sivuja, mutta sama julkaisu kahdessa hakukoneessa on edelleen yksi lähde. Hakukoneiden lukumäärä ei siis tee havainnosta riippumattomasti vahvistettua.

Myöskään hakukoneen ilmoittama tulosmäärä ei ole luotettava mittari ilmiön yleisyydelle. Sitä ei pidä käyttää julkaisujen, tapausten tai organisaatioiden määränä ilman erillistä aineiston keruuta ja tarkistusta.

Kirjaa haut niin, että niiden rajat näkyvät

Hakupäiväkirjan tarkoitus ei ole tallentaa jokaista klikkausta. Sen avulla toisen tutkijan pitäisi ymmärtää, mitä etsittiin, millä tavalla ja mistä löydöt syntyivät.

Kirjaa merkittävistä hakukierroksista:

• tutkimuskysymys ja käytetty hakukone
• hakulauseke täsmällisessä muodossaan
• haun ajankohta sekä olennaiset kieli- ja aluerajaukset
• hyödylliset lähdeosoitteet
• seuraava hakumuutos ja sen peruste.

Hakutulokset voivat muuttua, joten sama lauseke ei takaa myöhemmin samaa näkymää. Tämän vuoksi raportin varsinainen näyttö kannattaa perustaa tarkistettuun lähdesisältöön, ei tulosten järjestykseen.

Kirjaa myös tulokseton haku täsmällisesti. ”Tietoa ei löytynyt näillä hauilla” on perusteltavampi ilmaus kuin ”tietoa ei ole julkaistu”. Jälkimmäinen vaatii paljon kattavampaa näyttöä.

Pidä tiedonhaku tarkoituksenmukaisena

Julkinen hakutulos voi johtaa vahingossa julkaistuun henkilötietoon tai muuten arkaluonteiseen aineistoon. Löydettävyys ei itsessään ratkaise käsittelyn lainmukaisuutta eikä tee tiedon levittämisestä perusteltua.

Älä laajenna organisaatiota koskevaa tutkimusta yksittäisten työntekijöiden tietoihin ilman välttämätöntä, lainmukaista tarkoitusta. Jos vastaan tulee ilmeinen tietoturvapoikkeama, vältä aineiston tarpeetonta kopiointia ja käytä organisaation ilmoituskanavaa.

Huomioi myös hakupalvelulle lähettämäsi tiedot. Älä syötä hakulausekkeisiin salassa pidettäviä asiakirjakatkelmia, tunnuksia tai muuta aineistoa, jota ei ole tarkoitus luovuttaa palveluntarjoajalle. Hakusuunnitelmaan kuuluu siis löydösten lisäksi myös hakujen oman tietosisällön arviointi.

Yhteenveto

Hyvä OSINT-hakukoneiden käyttö yhdistää täsmällisen kysymyksen, muunneltavat hakulausekkeet ja lähdesivujen tarkistamisen. Operaattorit nopeuttavat työtä, mutta jokainen rajaus voi myös peittää olennaista aineistoa.

Pidä hakutulos vihjeenä, tarkistettu lähdesisältö näyttönä ja tulokseton haku rajallisena havaintona. Näin tutkimuksen johtopäätökset pysyvät oikeassa suhteessa siihen, mitä todella löysit.