Završeno je prvo automatizirano harvestiranje sadržaja iz .hr internetske domene

Nacionalna i sveučilišna knjižnica u Zagrebu u suradnji sa Sveučilišnim računskim centrom završila je proces harvestiranja sadržaja na hrvatskom Internetu, točnije na internetskom prostoru .hr domene, kojeg smo ljetos najavili.

Činjenica da je harvestiran, odnosno pobran domaći Internet znači da su sve stranice koje se nalaze na .hr domeni sada arhivirane na stranicama NSK-a (trenutno se arhiva nalazi na serverima računskog centra, a planira se prebacivanje na servere NSK-a).

Svrha ovog arhiviranja, koji traje od 2002. godine u sklopu projekta Mapiranje web prostora jest prikupiti i arhivirati sve online publikacije, što je obaveza NSK-a prema publikacijama. Od 2003. godine SRCE je ostvarilo suradnju sa NSK-om kada je pokrenut Hrvatski arhiv weba. Ljetos je taj proces u potpunosti automatiziran i trajao je mjesec dana, od 18. srpnja do 18. kolovoza.

Predmet ovog arhiviranja bili su svi elektronički resursi dostupni putem HTTP(S) protokola koji se nalaze pod .hr domenom. Kada se govori o dubini arhiviranja, sačuvani su svi dokumenti koji se nalaze četiri razine “ispod” naslovnice. Ukupno je prikupljeno više od 56 milijuna datoteka koji “teže” preko 3,1 terabajt, što i nije jako velika količina (diskovno gledano) u današnje vrijeme.

Zanimljivo je kako su prikupljeni čak i komentari na člancima na mnogim portalima, uključujući i one s Facebooka. Dakle, pazite što, kako i gdje komentirate, u suprotnom biste mogli požaliti.

Po uzoru na popularni Wayback Machine, zahvaljujući NSK-u i Sveučilišnom računskom centru sada i Hrvatska ima svoju automatiziranu tražilicu arhive stranica iz .hr domene. Rezultati će u HAW-u biti dostupni uskoro, za sad su uključeni samo neke internetske stranice. Ako već niste do sad, isprobajte Hrvatski arhiv weba i prisjetite se kako je to bilo prije HTML5 i CSS3 😉