OSINT-verkkoarkistot: tutki verkkosivujen historiaa

Verkkosivu muuttuu, mutta tutkimuskysymys voi koskea sen aiempaa sisältöä. Milloin organisaatio esitteli uuden palvelun? Miten toimitusehdot ovat muuttuneet? Oliko tietty väite näkyvissä jo ennen tiedotteen julkaisemista? Verkkoarkistot auttavat tutkimaan tällaisia kysymyksiä avoimista lähteistä.

Arkistotallenne ei kuitenkaan ole täydellinen kopio menneisyydestä. Sivun teksti, kuvat ja tekniset osat voivat olla tallentuneet eri aikoina, eikä jokaista versiota välttämättä ole saatavilla. Luotettava OSINT-tutkimus erottaa toisistaan sen, mitä arkisto näyttää, ja sen, mitä havainnosta voidaan päätellä.

Tässä oppaassa rakennetaan käytännöllinen työskentelytapa verkkosivujen historian tutkimiseen. Painopiste on organisaatioiden julkisissa sivuissa, ajallisen epävarmuuden hallinnassa ja johtopäätösten rajaamisessa.

Mitä verkkoarkisto voi osoittaa?

Verkkoarkisto tallentaa verkkosisältöä myöhempää tarkastelua varten. Tunnettu esimerkki on Internet Archiven Wayback Machine. Myös kansalliskirjastoilla ja muilla muistiorganisaatioilla on verkkoaineistoja, joiden kattavuus ja käyttöehdot vaihtelevat.

Arkistosta löytyvä sivuversio voi tukea havaintoa siitä, että tietty sisältö oli saatavilla kyseisen tallennuksen yhteydessä. Se ei yksin todista tekstin alkuperäistä julkaisupäivää, väitteen paikkansapitävyyttä tai sitä, kuinka moni näki sivun.

Erota kolme asiaa:

• Sisältöhavainto: mitä tallenteessa näkyy?
• Ajallinen havainto: mihin tallennushetkeen havainto liittyy?
• Tulkinta: mitä havainto kertoo tutkimuskysymyksestä?

Jos arkistoitu palvelusivu sisältää lupauksen tietystä toimitusajasta, voit kirjata lupauksen esiintymisen tallenteessa. Et voi päätellä pelkän sivun perusteella, että organisaatio todella noudatti lupausta. Historiallinen verkkosisältö on lähde viestinnästä, ei automaattisesti toiminnan toteutumisesta.

Rajaa kysymys ennen arkistohakua

Laaja tavoite, kuten organisaation koko verkkohistorian selvittäminen, tuottaa helposti paljon aineistoa mutta vähän käyttökelpoisia vastauksia. Rajaa sen sijaan tutkittava väite, sivusto ja ajanjakso.

Käyttökelpoinen kysymys voisi olla: miten kuvitteellisen ohjelmistoyrityksen julkisella hinnastosivulla kuvattu irtisanomisaika muuttui kevään aikana? Tällöin tutkimuksen kohteena ovat hinnastosivu, mahdolliset ehdot ja niiden olennaiset versiot.

Kirjaa ennen hakua:

• tutkittava kysymys ja sen käyttötarkoitus
• tunnetut verkkotunnukset ja sivuosoitteet
• tarkasteltavan ajanjakson alku ja loppu
• muutos, jonka haluat havaita
• tiedot, joita et tarvitse tutkimukseen.

Rajaus auttaa myös lopettamaan ajoissa. Jos tarkoitus on selvittää sopimusehdon sanamuoto, sivuston henkilöstösivujen tai yksittäisten yhteystietojen kerääminen ei tavallisesti edistä tavoitetta. Määritä lisäksi etukäteen, millainen aineisto riittää vastaukseen ja milloin tulos on jätettävä avoimeksi.

Etsi oikea osoite ja sen historialliset muodot

Arkistohaku kannattaa aloittaa täsmällisestä URL-osoitteesta. Jos tallenteita ei löydy, tarkista osoitteen tavalliset vaihtoehdot: HTTP ja HTTPS, www-etuliite sekä mahdollinen loppukauttaviiva. Arkistopalvelu voi käsitellä tai yhdistää näitä eri tavoin.

Sivun polku on voinut muuttua. Nykyinen `/hinnoittelu` on saattanut aiemmin olla `/hinnasto`, ja kieliversio on voinut sijaita omassa hakemistossaan. Vanhan etusivun navigaatio, arkistoitu sivukartta ja aikaisemmat sisäiset linkit voivat auttaa löytämään alkuperäisen osoitteen.

Etene järjestelmällisesti:

• Hae tunnettu tarkka sivuosoite.
• Tarkista saman osoitteen tekniset vaihtoehdot.
• Avaa ajanjakson arkistoitu etusivu.
• Etsi siitä linkki tavoiteltuun sisältöön.
• Kirjaa löytyneet osoitteet ja niiden väliset suhteet.

Älä oleta, että samanniminen sivu tarkoittaa samaa asiakirjaa. Organisaatio on voinut korvata yleisen hinnaston tuotekohtaisella sivulla. Vastaavasti verkkotunnuksen omistus tai käyttötarkoitus on voinut vaihtua, joten nykyinen toimija ei automaattisesti vastaa kaikesta saman osoitteen historiasta.

Tulkitse aikaleimat ja tallennusaukot oikein

Arkiston aikaleima kertoo tyypillisesti tallennusajasta, ei sisällön ensimmäisestä julkaisuhetkestä. Sivulla näkyvä julkaisupäivä on puolestaan sivun oma väite, joka on erotettava arkistopalvelun ilmoittamasta ajasta.

Pidä tarvittaessa erillään neljä ajankohtaa: sivulla ilmoitettu julkaisu, sivulla ilmoitettu päivitys, arkistotallennus ja oma tarkasteluhetkesi. Merkitse myös aikavyöhyke silloin, kun se on tiedossa ja tulkinnan kannalta olennainen.

Jos vanha sanamuoto näkyy helmikuun tallenteessa ja uusi huhtikuun tallenteessa, havainto voi rajata muutoksen näiden tallennusten väliseen aikaan. Se ei yksin osoita tarkkaa muutospäivää. Päätelmä edellyttää lisäksi, että tarkastelet vertailukelpoista sivua etkä esimerkiksi eri kieliversioita.

Tallenteiden puuttuminen ei osoita sisällön puuttumista verkosta. Syynä voi olla harva tallennus, tekninen epäonnistuminen, käyttörajoitus tai se, ettei sivua löydetty keräyksessä. Myöskään ensimmäinen löytämäsi tallenne ei välttämättä ole sivun ensimmäinen arkistointi kaikissa palveluissa.

Muotoile tulos havaintojen tasolla: ”Uusi sanamuoto näkyy viimeistään tarkastetussa huhtikuun tallenteessa.” Se on täsmällisempi kuin väite, jonka mukaan muutos julkaistiin juuri tuona päivänä.

Tarkista, onko tallenne teknisesti ehjä

Arkistoitu sivu voi näyttää uskottavalta, vaikka osa sen sisällöstä puuttuu. Erityisesti selaimessa muodostuvat näkymät, kirjautumista edellyttävät osat ja ulkoisista palveluista haetut tiedot voivat jäädä tallentumatta.

Sivun eri osat eivät aina edusta samaa hetkeä. HTML-sivu voi olla yhdeltä päivältä, mutta siihen liittyvä kuva, tyylitiedosto tai muu resurssi voi arkiston toistossa tulla toisesta tallennuksesta. Siksi ulkoasun yhtenäisyys ei takaa ajallista yhtenäisyyttä.

Tarkista ainakin seuraavat asiat:

• Näkyykö varsinainen sisältö vai pelkkä latausnäkymä?
• Puuttuuko tekstin keskeltä osia, taulukoita tai liitteitä?
• Vastaavatko otsikko, kieli ja sisältö odotettua sivua?
• Ohjaako linkki arkistoituun aineistoon vai nykyiseen verkkoon?
• Onko virheilmoitus arkiston vai alkuperäisen sivuston tuottama?

Tarkastele olennaista liitettä omana lähteenään. Arkistoidulla sivulla näkyvä PDF-linkki ei vielä osoita, että PDF:n sisältö on tallessa. Jos asiakirja löytyy, kirjaa sen oma arkisto-osoite ja ajallinen yhteys sivuun. Jos se puuttuu, sano tämä suoraan.

Vertaa versioita sisällön, ei vain ulkoasun perusteella

Valitse vertailuun aluksi yksi tallenne ennen oletettua muutosta ja yksi sen jälkeen. Jos ero on olennainen, tarkenna tarkastelua niiden välisiin saatavilla oleviin versioihin. Näin vältät kaikkien tallenteiden läpikäynnin ilman selvää tarkoitusta.

Vertaa ensisijaisesti tutkimuskysymykseen liittyvää tekstiä. Navigaation uudistus, evästeilmoitus tai alatunnisteen vuosiluku voi aiheuttaa suuren visuaalisen eron muuttamatta tutkittavaa ehtoa lainkaan.

Hyödyllinen vertailumuistio sisältää:

• molempien tallenteiden osoitteet ja aikaleimat
• saman sisältökohdan sanamuodon kummassakin versiossa
• lyhyen kuvauksen merkityksellisestä erosta
• tiedon puuttuvista osista ja vertailun rajoituksista.

Jos käytät tekstivertailutyökalua, tarkista tulos alkuperäisistä tallenteista. Tekstin poiminta voi muuttaa lukujärjestystä, jättää taulukon otsikot pois tai yhdistää eri palstojen sisältöä. Automaattinen erotus on apuväline, ei itsenäinen todiste muutoksen merkityksestä.

Säilytä lainauksen ympäriltä riittävä asiayhteys. Yhden sanan muutos voi näyttää ratkaisevalta, vaikka seuraava kappale rajaisi ehdon koskemaan vain tiettyä palvelua.

Vahvista historiallinen tulkinta muilla aineistoilla

Kun muutoksen ajoitus tai merkitys on tärkeä, etsi rinnalle muita ajallisesti sopivia lähteitä. Organisaation päivätty tiedote, julkinen asiakirja tai aikakauden riippumaton uutinen voi auttaa ymmärtämään, mihin muutos liittyi.

Pidä kuitenkin lähteiden roolit erillään. Tiedote voi kertoa aiotusta käyttöönotosta, kun taas arkisto näyttää verkkosivulla esiintyneen sanamuodon. Ne voivat tukea toisiaan ilman, että kumpikaan yksin todistaa toteutunutta toimintaa.

Myös ristiriita on tulos. Jos tiedote ilmoittaa muutoksen alkavan myöhemmin mutta verkkosivu käyttää jo uutta sanamuotoa, älä väkisin yhdenmukaista havaintoja. Kirjaa molemmat ja selitä, miksi ajankohtien suhde jää epävarmaksi.

Huomioi käyttöehdot, henkilötiedot ja julkaiseminen

Vanha julkinen sisältö ei ole automaattisesti vapaasti uudelleenjulkaistavaa. Tekijänoikeus, arkistopalvelun käyttöehdot ja henkilötietojen käsittelyä koskevat velvoitteet voivat vaikuttaa siihen, miten aineistoa saa kerätä, säilyttää ja jakaa.

Jos tallenteissa on henkilötietoja, arvioi käsittelyn oikeusperuste ja tarpeellisuus. Julkinen saatavuus ei poista GDPR:n vaatimuksia. Rajaa keruu tutkimuskysymykseen ja vältä tarpeettomien yhteystietojen kopioimista raporttiin.

Älä kierrä pääsynrajoituksia tai käytä arkistoa keinona levittää tarpeettomasti poistettua arkaluonteista sisältöä. Suosi raportissa olennaista, asiayhteyden säilyttävää lainausta ja lähdeviitettä kokonaisen sivun julkaisemisen sijaan. Noudata myös palvelun rajoituksia mahdollisessa automatisoidussa haussa.

Yhteenveto

Verkkoarkistot auttavat selvittämään, miten julkinen verkkosisältö on muuttunut. Niiden arvo syntyy täsmällisestä kysymyksestä, oikeiden osoitteiden löytämisestä ja tallenteiden kriittisestä vertailusta.

Pidä tallennushetki erillään julkaisupäivästä, tarkista tekniset puutteet ja ilmaise aikarajat rehellisesti. Hyvä historiallinen OSINT-tulos ei täytä arkiston aukkoja oletuksilla, vaan näyttää sekä löydetyn sisällön että sen, mikä jäi selvittämättä.