OSINT ja avoin data: tulkitse taulukoita oikein

Avoin taulukko näyttää helposti yksiselitteisemmältä kuin se on. Sarakkeissa on nimet, riveillä havaintoja ja soluissa tarkkoja lukuja. Silti aineisto voi kuvata vain osaa ilmiöstä, sisältää saman tapahtuman useita kertoja tai käyttää käsitteitä eri tavalla kuin lukija olettaa.

OSINT-tutkimuksessa avoin data on hyödyllistä esimerkiksi julkisten hankintojen, ympäristöhavaintojen ja organisaatioiden toiminnan tarkastelussa. Luotettava tulkinta vaatii kuitenkin muutakin kuin tiedoston lataamisen ja suurimpien lukujen etsimisen. Ensin on selvitettävä, mitä aineisto mittaa, mitä siitä puuttuu ja millaisia vertailuja se kestää.

Tässä artikkelissa käydään läpi käytännöllinen työnkulku avointen taulukkoaineistojen tutkimiseen. Tavoitteena ei ole tehdä jokaisesta tutkijasta tilastotieteilijää, vaan ehkäistä virheitä, jotka muuttavat oikeat luvut vääriksi johtopäätöksiksi.

Rajaa kysymys ennen aineiston käsittelyä

Aloita kirjoittamalla tutkimuskysymys yhdeksi lauseeksi. Esimerkiksi: miten tietyn palveluluokan julkaistut hankintapäätökset jakautuvat alueittain valitulla ajanjaksolla? Tämä on tarkempi kysymys kuin se, mikä alue käyttää eniten rahaa.

Kysymys määrittää tarvittavan havaintoyksikön, ajanjakson ja vertailuperusteen. Hankintapäätös, sopimus ja maksettu lasku eivät ole sama asia. Päätöksen enimmäisarvo ei myöskään välttämättä kerro toteutuneista menoista.

Kirjaa ennen laskentaa:

• Mitä ilmiötä haluat tarkastella?
• Mitä yksi havainto tarkoittaa?
• Mitkä alueet, organisaatiot tai ajanjaksot kuuluvat mukaan?
• Millainen tulos vastaisi kysymykseen?
• Mitä aineiston perusteella ei voi päätellä?

Viimeinen kohta ehkäisee tutkimuskysymyksen huomaamatonta laajenemista. Julkaistujen päätösten aineistolla ei pidä vastata toteutunutta kulutusta koskevaan kysymykseen ilman lisätietoa.

Lue aineiston kuvaus ennen ensimmäistä laskua

Etsi julkaisijan aineistokuvaus, kenttien selitteet ja mahdollinen menetelmäohje. Tarkista myös käyttöehdot, lisenssi sekä päivityskäytäntö. Julkisesti ladattava tiedosto ei automaattisesti ole vapaasti uudelleenjulkaistava kaikissa käyttötarkoituksissa.

Aineistokuvauksesta pitäisi selvitä, kuka tiedot kerää, mistä järjestelmästä ne tulevat ja millä perusteella havainto päätyy mukaan. Hallinnollinen rekisteri syntyy yleensä tietyn tehtävän hoitamista varten, ei kaikkien mahdollisten tutkimuskysymysten ratkaisemiseksi.

Tarkista erityisesti käsitteiden määritelmät. Sarake nimeltä ”vuosi” voi tarkoittaa tapahtumavuotta, kirjausvuotta tai päätösvuotta. ”Arvo” voi olla verollinen summa, veroton summa tai arvioitu enimmäismäärä. Jos määritelmä jää epäselväksi, säilytä epäselvyys myös omassa raportissasi.

Tallenna aineistokuvauksen osoite ja käytetty versio. Pelkkä tiedosto ei riitä tulkinnan perustaksi, jos kenttien merkitys ei kulje sen mukana.

Selvitä, mitä yksi rivi edustaa

Taulukon rivimäärä ei yleensä ole suoraan ilmiön tapausten määrä. Yksi sopimus voi näkyä usealla rivillä, jos aineisto on jaettu tuoteryhmittäin, toimituspaikoittain tai muutospäätöksittäin.

Tutki mahdolliset tunnistekentät. Onko jokaisella tapahtumalla pysyvä tunniste? Voiko sama tunniste esiintyä useasti perustellusta syystä? Eroavatko toistuvat rivit toisistaan jossakin olennaisessa kentässä?

Kuvitteellisessa harjoitusaineistossa sama hankintapäätös voi esiintyä kolmella rivillä, joista jokainen kuvaa eri osa-aluetta. Jos koko päätöksen arvo toistuu jokaisella rivillä, summan laskeminen sellaisenaan kolminkertaistaa kokonaisarvon. Jos riveillä taas ovat osa-alueiden omat arvot, niiden yhteenlaskeminen voi olla perusteltua.

Älä siis poista toistuvia tunnisteita automaattisesti. Selvitä ensin aineiston rakenne ja määritä, mikä muodostaa yksilöllisen havainnon juuri tässä analyysissä.

Tarkista kattavuus ja puuttuvat havainnot

Avoin aineisto kuvaa sitä, mitä on kerätty ja julkaistu. Se ei välttämättä kata kaikkia tapahtumia. Mukaan voivat päästä vain tietyn rajan ylittävät hankinnat, tiettyyn järjestelmään ilmoitetut havainnot tai julkaisuhetkellä valmiiksi käsitellyt tapaukset.

Kysy, onko kattavuus sama kaikilla vertailtavilla alueilla ja kaikkina ajankohtina. Järjestelmän käyttöönotto tai raportointivelvollisuuden muutos voi kasvattaa havaintomäärää, vaikka itse ilmiö ei olisi yleistynyt.

Erota toisistaan ainakin nämä tilanteet:

• Ilmiötä ei ole havaittu.
• Havaintoja ei ole kerätty.
• Tietoa ei ole toimitettu.
• Tieto on salattu tai jätetty julkaisematta.
• Tieto tulee aineistoon viiveellä.

Tyhjä solu ei kerro, mikä näistä selityksistä on oikea. Älä korvaa puuttuvia arvoja nollilla ilman aineiston määritelmiin perustuvaa syytä. Muuten esimerkiksi keskiarvo voi pienentyä vain siksi, että osa tiedoista puuttuu.

Varmista tietotyypit ja mittayksiköt

Taulukkolaskentaohjelma voi muuttaa tietoja avaamisen yhteydessä. Etunollat voivat kadota tunnisteista, päivämäärät tulkittua väärässä järjestyksessä ja pitkät numerosarjat muuttua esitysmuodoltaan. Siksi alkuperäinen tiedosto kannattaa säilyttää muuttamattomana ja käsitellä erillistä työkopiota.

Tarkista ennen laskentaa, että numerot ovat numeroita ja tunnisteet pysyvät tunnisteina. Desimaalipilkku, desimaalipiste ja tuhaterottimet voivat aiheuttaa tuontivirheitä. Myös tiedoston merkistökoodaus ja sarake-erotin kannattaa tarkistaa.

Mittayksikkö on yhtä tärkeä kuin arvo. Eurot ja tuhannet eurot eivät saa päätyä samaan summaan. Sama koskee esimerkiksi massaa, pinta-alaa ja energiankulutusta.

Tee pieni pistokoe: vertaa muutamaa työkopion solua alkuperäiseen tiedostoon ja tarkista myös poikkeuksellisen suuret, pienet ja negatiiviset arvot. Poikkeama voi olla virhe, mutta myös esimerkiksi hyvitys tai korjauskirjaus.

Valitse vertailulle oikea nimittäjä

Suuri havaintomäärä ei yksin osoita poikkeavaa toimintaa. Suurella alueella, organisaatiolla tai palveluntuottajalla voi olla enemmän tapahtumia yksinkertaisesti toimintansa laajuuden vuoksi.

Mieti, tarvitsetko lukumäärän rinnalle suhteutetun mittarin. Mahdollinen vertailuperuste voi olla asukasluku, toimipaikkojen määrä, tuotantomäärä tai kokonaismenot. Valinnan pitää liittyä tutkimuskysymykseen, ei siihen, mikä tuottaa näyttävimmän eron.

Myös nimittäjän on vastattava osoittajaa. Saman alueen ja ajanjakson tiedot kuuluvat yhteen. Vuoden aikana muuttuneet aluerajat tai organisaatiorakenteet voivat tehdä näennäisesti yksinkertaisesta suhteutuksesta harhaanjohtavan.

Pienissä ryhmissä yksittäinen tapaus voi muuttaa suhteellista lukua paljon. Esitä siksi mahdollisuuksien mukaan sekä havaintomäärä että suhteutettu tulos. Kerro myös, miksi valittu vertailuperuste on tarkoituksenmukainen ja mitä se ei huomioi.

Yhdistä aineistoja vain perustelluilla avaimilla

Kahden taulukon yhdistäminen voi tuoda hyödyllistä kontekstia, mutta myös monistaa rivejä huomaamatta. Jos sama yhdistämisavain esiintyy useasti kummassakin aineistossa, tuloksena voi olla monta yhdistelmää yhtä alkuperäistä havaintoa kohti.

Suosi vakaita, dokumentoituja tunnisteita nimitekstien sijaan. Organisaation nimi voi vaihtua, lyhentyä tai esiintyä eri kirjoitusasuissa. Nimen samankaltaisuus ei yksin osoita, että kyse on samasta toimijasta.

Tarkista jokaisen yhdistämisen jälkeen:

• Kuinka monta riviä oli ennen yhdistämistä ja sen jälkeen?
• Kuinka moni havainto jäi ilman vastinetta?
• Syntyikö odottamattomia moninkertaisia osumia?
• Muuttuiko summattavan kentän kokonaismäärä?

Jos yhdistät eri vuosien tietoja, tarkista myös tunnisteiden ajallinen voimassaolo. Tekninen osuma ei vielä takaa sisällöllisesti oikeaa yhteyttä.

Dokumentoi muunnokset ja testaa tuloksen kestävyys

Kirjaa suodatukset, poistetut rivit, luokitusten muutokset ja laskentakaavat. Säilytä alkuperäinen aineisto erillään puhdistetusta versiosta. Pelkkä lopullinen kuvaaja ei kerro toiselle tutkijalle, miten tulokseen päädyttiin.

Toistettavuus ei edellytä tiettyä työkalua. Pienen aineiston voi käsitellä taulukkolaskennalla, kun työvaiheet dokumentoidaan. Toistuvaan tai laajaan käsittelyyn tallennettu ohjelmakoodi voi olla helpompi tarkistaa kuin joukko käsin tehtyjä muutoksia.

Testaa, muuttuuko johtopäätös kohtuullisilla vaihtoehtoisilla rajauksilla. Mitä tapahtuu, jos keskeneräinen vuosi jätetään pois? Entä jos epäselvät luokat raportoidaan erikseen? Jos tulos riippuu ratkaisevasti yhdestä tulkinnanvaraisesta valinnasta, tämä kuuluu keskeisiin havaintoihin.

Pidä tarkistustaulukossa vähintään rivimäärät, puuttuvien arvojen määrät ja olennaiset summat ennen tärkeimpiä käsittelyvaiheita ja niiden jälkeen.

Raportoi havainto erillään selityksestä

Aineistosta laskettu ero on havainto. Väite eron syystä on erillinen tulkinta, joka tarvitsee lisänäyttöä. Kasvanut ilmoitusmäärä voi liittyä ilmiön yleistymiseen, mutta myös parempaan raportointiin tai muuttuneisiin kirjauskäytäntöihin.

Kerro raportissa käytetty aineisto, rajaus, laskentatapa ja tärkeimmät epävarmuudet. Kuvaajassa nimeä yksiköt ja ajanjakso. Vältä otsikkoa, joka väittää enemmän kuin analyysi osoittaa.

Arvioi myös julkaisemisen vaikutukset. Avoimien tietojen yhdistäminen voi paljastaa henkilötietoja, vaikka yksittäiset taulukot näyttäisivät harmittomilta. Julkisuus ei poista henkilötietojen käsittelyyn liittyviä velvoitteita. Älä julkaise tarpeettomia rivitason tietoja, ja arvioi pienten ryhmien tunnistamisriski ennen tulosten jakamista.

Yhteenveto

OSINT ja avoin data toimivat yhdessä parhaiten, kun taulukkoa käsitellään rajattuna kuvauksena todellisuudesta, ei todellisuutena itsenään. Tarkista havaintoyksikkö, kattavuus, puuttuvat tiedot, mittayksiköt ja yhdistämisavaimet ennen johtopäätöksiä.

Hyvä lopputulos ei ole vain oikein laskettu numero. Se on perusteltu vastaus selkeään kysymykseen sekä ymmärrettävä selostus siitä, mitä aineisto tukee ja mitä se jättää avoimeksi.