Den foreliggende beskrivelsen av standard formater og instrukser for registrering og utveksling av folketellingsdata i Norge er utarbeidet etter initiativ fra Landslaget for lokalhistorie. På et møte i Riksarkivet den 19 februar 1993, der de fleste institusjonene med interesser innenfor dette feltet var representert, ble det ytret sterke ønsker om å etablere en slik standard. Til å utarbeide denne ble det besluttet å nedsette en komite med følgende sammensetning:
Til møtet i Riksarkivet den 19.2.1993 forelå følgende utkast til mandat, som det ikke kom alvorlige innvendinger mot:
"Komiteens mandat er å utarbeide et forslag til standarder som kan anbefales fulgt ved edb-registrering av opplysninger fra folketellinger og kirkebøker i Norge. Det skal både utarbeides standarder for selve registreringen og standarder til bruk ved utveksling av data som allerede er eller vil bli registrert.
Registreringsstandardene skal bestå av en fastlagt post- og feltstruktur (ofte kalt logisk format) for datafilene fra de ulike kildetypene, og et sett med anbefalte registreringsinstrukser. Disse standardene må ta hensyn til kildetrohet og effektivitet i registreringsarbeidet, og samtidig legge data godt til rette for videre bearbeiding.
Utvekslingsstandardene skal også bestå av en fastlagt post- og feltstruktur for hver kildetype, ikke nødvendigvis identisk med den tilsvarende i registreringsstandardene, samt regler for visse dataverdiers utseende. Utvekslingsstandardene bør være mer generelle og gjøre det enkelt å bruke anskaffede data sammen med ulike typer programvare (både kommersiell og egenutviklet) som er i bruk blant norske historikere. Samtidig skal denne standarden gjøre det lettere å utnytte ulike datasett i komparativ forskning."
Som grunnlag for utformingen av formater og instrukser har komiteen benyttet en mengde fotokopier av kildene, Statistisk Sentralbyrås instrukser for folketellingsarbeidet da det ble utført, og dokumentasjon av hvordan folketellingsmateriale siden er blitt registrert, lagret og viderebehandlet med datamaskin ved forskjellige institusjoner her i landet. Dette skriftlige materialet er blitt sendt ut til hele komiteen. Den indre gruppa har også drevet ytterligere kildegransking ved arkivene.
Komiteen har i sitt arbeid trukket betydelige veksler på de erfaringer som er gjort med profesjonell registrering av historiske kilder ved bl a Registreringssentral for historiske data. Komiteen innehar også erfaringer fra slik dataregistrering i mindre målestokk, som f eks innenfor historielag, bygdebokarbeid og mindre universitetsprosjekter. Ulik tilgang på ressurser, ulikt personell, ulikt maskinutstyr og programvare, og ulike ønsker og mål for anvendelsene medfører naturlig ulike hensyn og krav til registreringen og den videre bearbeidelsen av de historiske dataene. Komiteen har etter beste evne forsøkt å forene disse, og i tråd med mandatet forsøkt å utarbeide enhetlige formater og instrukser som alle prosjekter kan følge i framtida.
Selv om forslaget til standard inneholder detaljerte, feltvise registreringsinstrukser for hver folketelling, er ikke denne dokumentasjonen skrevet for helt uerfarne registratorer. For disse vil det være nødvendig å utarbeide tilleggsinstrukser som forklarer de detaljene som er spesifikke for den maskin- og programvaren som blir brukt i hvert enkelt prosjekt. Dokumentasjonen er mer myntet på dem som skal lede prosjektene og eventuelt utvikle programvare. Dokumentasjonen av utvekslingsformatet bør imidlertid kunne forstås og benyttes direkte av historikere som ønsker å utnytte tilsendte data. Alle mottakere av data og andre brukere av standarden anbefales å lese den faglige innledningen nøye.
For enkelt å kunne referere til den nye standarden i ulike sammenhenger, har komiteen ønsket å gi den et kort og lettfattelig navn. Valget falt på "Histform". Forstavelsen "Hist" henspiller på at standarden gjelder historiske data. Endelsen "form" forteller at det kun er dataenes form som skal standardiseres, ikke deres innhold. Det er meningen at det så raskt som mulig også skal utarbeides en tilsvarende Histform-standard for data fra norske kirkebøker.
Komiteen hadde våren 1993 to samlede video-møter og ett video-møte for den indre gruppa. I tillegg hadde Nygaard, Thorvaldsen og Tovmo et arbeidsmøte i Stange 22-24 april. Dyrvik kommenterte tilsendte utkast skriftlig. Det meste av standarden ble utarbeidet i en intensiv periode mellom april og juli 1993.
En rapport inneholdende et foreløpig forslag til standard ble i august 1993 sendt ut til høring blant 47 institusjoner og enkeltpersoner innenfor de norske historiker-, slektsgransker- og arkivmiljøene. Komiteen mottok 12 skriftlige svar. Ingen av disse inneholdt fundamentale innvendinger mot standardens innhold og utforming, men en rekke detaljer ble kommentert og endringsforslag lansert. Alle disse er blitt nøye gjennomgått og vurdert av komiteen. Stadig tilbakevendende var ønsket om enda bedre ivaretakelse av kildetroheten, ofte på bekostning av effektiviserende innslag i registreringsinstruksene. Dette er i utgangspunktet å betrakte som et sunnhetstegn, og flere endringer er blitt foretatt til fremme av kildetroheten. Men komiteen har også måttet ta hensyn til legitime krav til effektiv registrering ved profesjonelle registreringsinstitusjoner som RHD og TeleSlekt. Også andre fornuftige endringsforslag for enkelte folketellinger har måttet vike for ønsket om mest mulig enhetlige løsninger for alle tellingene. Komiteen vil uansett takke alle innsenderne av høringssvar for deres verdifulle bidrag.
Nødvendige og anbefalte endringer og utvidelser av høringsforslaget er blitt foretatt i løpet av høsten 1993 og vinteren 1994. Blant annet er folketellingen i byene den 31.12.1870 tatt med på lik linje med de andre tellingene, formater og instrukser for de resterende skipslistene er utarbeidet, og et nytt kapittel med teknisk og overordnet spesifikasjon av datafilene er føyd til. Fordi flere av medlemmene i den indre gruppa i lengre perioder har hatt begrenset arbeidstid til disposisjon, har dette arbeidet dratt ut.
Den daglige kontakten i den indre gruppa, og de aller fleste diskusjoner og utsendelser av utkast og arbeidsdokumenter innenfor denne, har i hele arbeidsperioden foregått ved hjelp av elektronisk post. Over 250 interne "brev" er blitt sendt på denne måten mellom 15.3.1993 og 30.4.1994, og denne tjenesten har således vært til uvurderlig nytte i komitéarbeidet. Alle fire iden indre gruppa har deltatt aktivt i den faglige utarbeidelsen av alle delene av standarden. Lars Nygaard har hatt hovedansvaret for den endelige skriftlige fremstillingen. I sluttfasen har RHD tatt seg av korrektur, tekstbehandling, layout, trykking og distribusjon av rapporten.
Komiteen vil takke Marianne Erikstad ved RHD for verdifulle bidrag i arbeidet med de felles registreringsinstruksene, listen over forkortelser og enkelte av formatutkastene. Vi vil også takke Tor Breivik ved Riksarkivet og Yngve Nedrebø ved Statsarkivet i Bergen for henholdsvis uunnværlige kildekopier og uuttømmelige kildekunnskaper.
Når alle brikkene i puslespillet nå er på plass, må vi få innrømme at de tilsynelatende enkle folketellingene viste seg å inneholde en helt annen kompleksitet og detaljrikdom, spesielt i føringspraksisen, enn det vi hadde forventet, selv etter 15 års arbeid med dem.
26. januar 1995
Lars Nygaard Gunnar Thorvaldsen Ola Tovmo Terje Holtet
Ståle Dyrvik Bjørg Fjellbakk Ivar Fonnes