OSINT ja OCR: varmista kuvasta poimitun tekstin tarkkuus
OCR helpottaa OSINT-tutkimusta, mutta tunnistusvirhe voi muuttaa johtopäätöksen. Opi tarkistamaan kuvateksti, numerot ja hakusanat alkuperäisestä aineistosta.
Kuvakaappaus, skannattu ilmoitus tai valokuva kyltistä voi sisältää tutkimuksen kannalta olennaista tekstiä. Optinen tekstintunnistus eli OCR muuttaa kuvassa näkyvät merkit koneellisesti käsiteltäväksi tekstiksi. Sen avulla aineistosta voi etsiä sanoja, kopioida viitteitä ja muodostaa uusia hakulausekkeita.
OSINT-tutkimuksessa OCR on kuitenkin apuväline, ei itsenäinen lähde. Tunnistusohjelma voi tuottaa sujuvalta näyttävän tekstin, joka poikkeaa kuvasta juuri ratkaisevan merkin kohdalla. Väärin luettu päivämäärä, tuotekoodi tai verkkotunnus voi ohjata tutkimuksen kokonaan sivuraiteelle.
Luotettava työnkulku pitää alkuperäisen kuvan, koneellisen tulkinnan ja tutkijan tarkistukset erillään. Näin tekstintunnistuksen hyöty säilyy ilman, että sen virheet muuttuvat huomaamatta tutkimuksen faktoiksi.
Mitä OCR-tulos oikeastaan todistaa?
OCR-tulos kertoo, miten ohjelma tulkitsi sille annetun kuvan. Se ei yksin osoita, mitä alkuperäisessä asiakirjassa luki, kuka tekstin kirjoitti tai onko kuvassa näkyvä sisältö aito.
Erota siksi kolme kysymystä:
- Mitä merkkejä tässä kuvassa näkyy?
- Vastaako kuva alkuperäistä julkaisua tai asiakirjaa?
- Onko julkaisun esittämä väite totta?
Tekstintunnistus auttaa ensimmäisessä kysymyksessä. Kaksi muuta vaativat erillistä lähteen ja sisällön tarkistamista. Täydellisesti tunnistettu teksti voi olla peräisin muokatusta kuvasta, vanhentuneesta ilmoituksesta tai virheellisestä lähteestä.
Tämä ero kannattaa kirjata myös muistiinpanoihin. Ilmaus ”kuvakaappauksessa lukee” on usein perustellumpi kuin ”organisaatio ilmoitti”, jos alkuperäistä julkaisua ei ole tavoitettu.
Valitse aineisto ennen tunnistustyökalua
Aloita parhaasta saatavilla olevasta lähdeversiosta. Viestisovelluksessa pakattu kuva tai hakutuloksen esikatselu voi hävittää pieniä merkkejä. Jos alkuperäinen kuvatiedosto tai julkaisusivu on avoimesti saatavilla, käytä sitä ensisijaisena tarkistuspohjana.
Tarkista myös, onko aineistossa jo kopioitavaa tekstiä. Digitaalisessa asiakirjassa voi olla tekstikerros, jolloin kaikkea ei tarvitse tunnistaa uudelleen. Tekstikerroskin voi kuitenkin olla aiemman OCR-käsittelyn tulos, joten sen vastaavuus näkyvään sisältöön on tarkistettava.
Säilytä alkuperäinen tiedosto muuttamattomana. Tee rajaukset, käännöt ja kontrastin säädöt erilliseen työkopioon. Kirjaa, mistä aineisto saatiin ja milloin se tallennettiin. Näin myöhempi tarkistaja tietää, mitä versiota käsiteltiin.
Tunnista tavallisimmat merkkivirheet
OCR-virheet eivät aina näytä kirjoitusvirheiltä. Ohjelma saattaa vaihtaa merkin toiseen uskottavaan merkkiin tai yhdistää kaksi merkkiä yhdeksi. Tuloksena voi olla täysin mahdollinen mutta väärä hakusana.
Erityistä huomiota vaativat:
- kirjain O ja numero 0
- pieni l, iso I ja numero 1
- kirjainyhdistelmä rn ja kirjain m
- yhdysmerkki, ajatusviiva ja alaviiva
- pisteet, pilkut ja kaksoispisteet
- ääkköset ja muut tarkkeet.
Verkkotunnuksessa yksi merkki voi viitata aivan eri kohteeseen. Summassa pilkun katoaminen voi muuttaa arvon olennaisesti. Tuotekoodissa taas välilyönti saattaa olla merkityksetön tai olennainen riippuen tunnuksen rakenteesta.
Älä siis oikolue vain sanojen luettavuutta. Tarkista myös merkit, joihin seuraava tutkimusvaihe perustuu.
Tarkista lukujärjestys ja tekstin rakenne
Merkit voivat olla oikein, vaikka niiden järjestys olisi väärä. Monipalstaisessa aineistossa OCR voi jatkaa rivin lukemista viereiseen palstaan. Taulukossa sarakeotsikko saattaa irrota arvoistaan, ja kuvan päälle sijoitettu huomautus voi päätyä keskelle leipätekstiä.
Vertaa tunnistettua tekstiä kuvan rakenteeseen ennen sisällön tulkintaa. Selvitä, mikä otsikko kuuluu mihinkin kappaleeseen ja mikä selite koskee mitäkin lukua. Tarkista erityisesti taulukoiden rivit, yksiköt ja alaviitteet.
Jos rakenne on monimutkainen, tunnista alueet erikseen. Rajaa esimerkiksi yksi palsta tai taulukon osa kerrallaan. Säilytä silti myös koko sivu, sillä pelkkä rajaus voi jättää pois tulkinnan kannalta ratkaisevan varauksen.
Esikäsittele kuvaa ilman uusia oletuksia
Kuvan suoristaminen, maltillinen kontrastin säätö ja tekstialueen rajaus voivat helpottaa tunnistusta. Myös oikean kieliasetuksen valitseminen voi parantaa tulosta. Näitä toimia kannattaa kokeilla hallitusti, yksi muutos kerrallaan.
Esikäsittely ei kuitenkaan palauta tietoa, jota kuvassa ei ole. Voimakas terävöitys tai kohinanpoisto voi hävittää pisteen, yhdistää vierekkäisiä viivoja tai tehdä epäselvästä merkistä näennäisesti selvän.
Generatiivisesti parannettua kuvaa ei pidä käyttää todisteena alkuperäisistä kirjainmuodoista. Tällainen käsittely voi tuottaa uskottavia yksityiskohtia, jotka eivät perustu lähdekuvan näkyvään informaatioon.
Jos käsittely auttaa lukemisessa, vertaa tulosta aina muuttamattomaan alkuperäiseen. Kirjaa käytetty käsittely ja jätä ratkaisematon kohta avoimeksi sen sijaan, että täydentäisit sen odotustesi mukaiseksi.
Kohdista tarkistus vaikutuksen mukaan
Kaikkia sanoja ei tarvitse käsitellä samalla tarkkuudella, jos OCR-tulosta käytetään vain laajan aineiston alustavaan lajitteluun. Johtopäätöksiä kannattelevat kohdat on silti tarkistettava suoraan kuvasta.
Määritä ennen analyysia, mitkä kentät ovat kriittisiä. Niitä voivat olla esimerkiksi:
- päivämäärä ja kellonaika
- asiakirjan tai tuotteen tunniste
- summa, prosentti tai mittayksikkö
- verkkotunnus ja sähköpostiosoitteen rakenne
- kielto, poikkeus tai muu väitteen merkitystä muuttava sana.
Yksittäinen puuttuva ”ei” voi kääntää virkkeen merkityksen. Samoin otsikon päivämäärä ja tekstissä mainittu tapahtumapäivä voivat tarkoittaa eri asioita, vaikka molemmat olisi tunnistettu oikein.
Laajassa aineistossa käytä pistokokeita työnkulun laadun arvioimiseen, mutta älä korvaa niillä ratkaisevien kohtien tarkistusta. Toistuva virhe pistokokeessa on syy arvioida uudelleen myös jo käsiteltyjä osia.
Käytä OCR-tekstiä hakuvihjeenä
Tunnistettu teksti on hyödyllinen alkuperäisen julkaisun etsimisessä. Valitse lyhyt, erottuva sanajakso ja kokeile sitä hakulausekkeena. Jos tulosta ei löydy, tarkista ensin tekstintunnistus ennen kuin päättelet julkaisun kadonneen.
Kokeile tarvittaessa muutamaa perusteltua merkkivaihtoehtoa. Poista rivinvaihdosta syntynyt tavutus ja tarkista, onko yhdysmerkki osa sanaa vai pelkkä rivin lopun merkintä. Älä kuitenkaan muokkaa hakuvihjettä rajattomasti, kunnes jokin tulos näyttää sopivalta.
Hakutuloksen löytyminen ei vielä vahvista oikeaa osumaa. Vertaa sisältöä, ulkoasua, ajankohtaa ja asiayhteyttä. Samankaltainen sanamuoto voi esiintyä useissa eri julkaisuissa.
Pidä löydetty lähde ja OCR:stä johdettu hakuvihje erillisinä muistiinpanoina. Näin on nähtävissä, miten hakupolku rakentui.
Dokumentoi epäselvät kohdat näkyvästi
Älä korvaa raakaa OCR-tulosta hiljaisesti korjatulla tekstillä. Säilytä erikseen koneellinen tulos ja tarkistettu versio. Merkitse olennaiset korjaukset sekä niiden peruste.
Yksinkertainen tarkistusmerkintä voi sisältää seuraavat tiedot:
- lähdekuvan tiedostonimi ja sivu tai alue
- OCR:n tuottama merkkijono
- kuvasta tarkistettu lukutapa
- epäselväksi jäänyt kohta
- tarkistuksen tekijä ja ajankohta.
Kuvitteellisessa tuotekoodissa viimeinen merkki voi näyttää sekä O-kirjaimelta että nollalta. Kirjaa silloin esimerkiksi ”viimeinen merkki epäselvä: O/0”. Älä valitse vaihtoehtoa vain siksi, että toisella löytyy enemmän hakutuloksia.
Toinen tunnistusohjelma tai toinen tarkistaja voi auttaa havaitsemaan eroja. Kahden ohjelman yhtenevä tulos ei silti ole riippumaton vahvistus, jos molemmat tulkitsevat samaa epäselvää kuvaa.
Huomioi henkilötiedot ja palveluun siirto
Julkisesti saatavilla oleva kuva voi sisältää henkilötietoja. OCR muuttaa ne helposti haettavaksi ja yhdisteltäväksi tekstiksi, mikä voi lisätä käsittelyn vaikutuksia. Julkisuus ei yksin poista tietosuojavelvoitteita.
Arvioi ennen käsittelyä käyttötarkoitus, tarpeellisuus ja soveltuva oikeusperuste. Rajaa tarpeeton sisältö pois työkopiosta ja vältä sivullisten tietojen keräämistä varmuuden vuoksi.
Jos käytät pilvipalvelua, selvitä, miten palvelu käsittelee ladattua aineistoa: missä sitä säilytetään, kuinka kauan, ketkä sitä käsittelevät ja käytetäänkö sitä muihin tarkoituksiin. Tarkista tarvittaessa myös henkilötietojen siirtoihin liittyvät ehdot ja velvoitteet.
Paikallinen käsittely voi vähentää tarvetta luovuttaa aineistoa ulkopuoliselle palvelulle. Sekään ei poista säilytysajan, käyttöoikeuksien ja turvallisen poistamisen suunnittelua. OCR-tiedosto voi olla yhtä arkaluonteinen kuin alkuperäinen kuva.
Yhteenveto: tarkista ennen kuin päättelet
OCR nopeuttaa OSINT-tutkimusta, kun sitä käytetään tekstin poimintaan ja hakuvihjeiden muodostamiseen. Sen tulos ei korvaa lähdekuvaa eikä vahvista lähteen väitteitä.
Säilytä alkuperäinen aineisto, tarkista ratkaisevat merkit ja dokumentoi epävarmuus. Kun kuvan sisältö, koneellinen tulkinta ja tutkijan korjaukset pysyvät erillään, yksittäinen tunnistusvirhe ei pääse huomaamatta ohjaamaan koko tutkimusta.