Flytting av metadata og indekseringsdata for skanna bilder
De gamle lÞsningene for sÞk og visning av skannet arkivmateriale ble opprettet for mange Är siden. Det som da var Digitalarkivet (som vi nÄ kaller Gamle Digitalarkivet) var en tjeneste som ble utviklet av Jan Oldervoll og ble driftet av Universitetet i Bergen. Tjenestene for skannet arkivmateriale var utviklet av Riksarkivet i Oslo, og driftes pÄ servere som stÄr ved Statsarkivet i Bergen. Det to tjenestene var helt uavhengige av hverandre, men sammenlenking ved hjelp av hyperlenker gjorde at det hele fremsto som ett Digitalarkiv.
Tre databaser
Etterhvert som bilder blir skannet mÄ de indekseres fÞr de kan gjÞres tilgjengelig. Dvs. Ä pÄfÞre informasjon om innholdet til hver enkelt side, f.eks Ärstall, dato, eiendom, listetype o.l. Denne informasjonen blir lagret i en database som ogsÄ brukes til Ä gjÞre sÞk for Ä finne igjen bildene. Denne databasen har fungert greit til skannet materiale. Gamle Digitalarkivet hadde ingen samlet database men var basert pÄ "flatfiler" uten noen samordnet og standardisert struktur. Det vanskeliggjorde gode, globale sÞk i transkribert materiale.
Da vi i 2009 begynte Ä utvikle nye Digitalarkivet i forbindelse med folketellingen 1910, var det klart at en ny database mÄtte etableres fra bunnen av, for at vi skulle kunne fÄ til den funksjonaliteten vi Þnsket oss, og for at vi pÄ sikt skulle kunne integrere sÞkbart og skanna materiale i én tjeneste. Fordi verken Gamle Digitalarkivet eller de gamle tjenestene for skanna arkivmateriale er nedlagt ennÄ, har vi i 5-6 Är hatt data for de samme kildene pÄ tre forskjellige steder, med de utfordringene og ekstraarbeidet det innebÊrer.
DatarÄte
NĂ„r data blir lagt inn i en database,  er det viktig at visse regler fĂžlges. Hvis ikke fĂ„r man det som kalles "rĂ„tne data". Dette kan f.eks. vĂŠre at datoer er fĂžrt pĂ„ forskjellig format, eller at verdier som burde ligget i forskjellige felt i databasen, er samlet i ett felt, eventuelt som kommaseparerte verdier. NĂ„r flere mennesker legger inn data er det derfor viktig at programvaren som brukes, har innebyggede kontrollmekanismer som ser til at dataene fĂžlger en og samme standard. I tillegg mĂ„ databasen vĂŠre satt opp slik at den stĂžtter flere verdier der hvor det er behov. Det har vi dessverre ikke hatt. Derfor finnes det mye ârare dataâ som er en stor utfordring Ă„ flytte.
Veien til Ă©n database
Arbeidet med Ă„ legge inn alle transkriberingsdataene som finnes i Gamle Digitalarkivet over i Nye Digitalarkivet nĂŠrmer seg nĂ„ slutten, sĂ„ i praksis er vi nĂ„ nede i to databaser. Men vi gir oss ikke der! MĂ„let er Ă„ fĂ„ alle data om det skannede arkivmaterialet inn i samme database. Det gir en betydelig fordel ved at lĂžsningene kan integreres pĂ„ helt nye mĂ„ter, og ved at vi slipper Ă„ vedlikeholde data flere steder.Â
Alle som har jobbet med data vet at migrering av data fra ett system til et annet er noe av vanskeligste man kan gjÞre, ikke minst nÄr datamodellene er til dels svÊrt ulike, og nÄr det finnes mye rÄtne data. NÄr vi i tillegg skal forholde oss til forskjellige administrative inndelinger og andre samfunnsstrukturer som har forandret seg gjennom flere hundre Är i tillegg til endret datamodell, sÄ har vi en utfordring.
Etter hvert som vi lager nye brukergrensesnitt for skannet arkivmateriale, flytter vi ogsÄ metadataene for disse kildene til den nye databasen. Det gir nye og spennende muligheter for fremtidig funksjonalitet. Det viktigste i fÞrste omgang er at alle kildene som kun er skannet, ogsÄ blir tilgjengelige i Finn kilde (bla-lenken) pÄ linje med de sÞkbare materialet. Det er allerede en rekke kilder som er tilgjengelige pÄ denne mÄten, men mÄlet er Ä fÄ alle kildene tilgjengelig for sÞk i Finn kilde.
Migreringsscript
For Ä lÞse disse utfordringene har vi laget et migreringsscript. Dette er et stort og komplisert PHP-script pÄ over 5000 linjer kode. Dette mÄ utvides og vedlikeholdes etterhvert som vi oppdager nye former for datarÄte, og ikke minst etterhvert som vi etablerer nye sÞkeinnganger for skannet materiale og skal migrere dataene.
Mye arbeid gjenstÄr
NÄr vi nÄ er i ferd med Ä fornye brukergrensesnittene for skannet materialet, er dette bare begynnelsen pÄ en stÞrre omlegging. Vi mÄ ogsÄ bytte ut all programvaren vi bruker til Ä indeksere de skannede bildene slik at de kan jobbe mot databasen i det nye Digitalarkivet. I tillegg mÄ vi erstatte programvaren som behandler de skannede bildene og lager nettutgaver av hvert bilde. Dette er en betydelig jobb.
Inntil dette er pÄ plass mÄ vi leve med to systemer, og etterhvert som vi skanner og indekserer nytt arkivmateriale mÄ vi ogsÄ migrere dem over til Digitalarkivet.
