Morfologisk tagging og lemmaseleksjon
Humit-taggeren er basert på et nevralt nettverk, nærmere bestemt den forhåndstrente NorBERT-modellen (huggingface.co) for norsk som er utviklet ved Institutt for Informatikk ved UiO. Taggeren utfører fire oppgaver ved å finjustere denne basismodellen: Såkalte tokenklassifikatører identifiserer setningsgrense, velger korrekt målform (bokmål eller nynorsk) og korrekte morfologiske tagger. For lemmaseleksjonen brukes et hybridsystem der Humit-taggeren benytter fullformsleksikonet Norsk ordbank sammen med den nevrale modellen.
Den morfologiske taggingen gjøres først, deretter sendes ordform og morfologisk tagg til fullformsleksikonet. Om taggeren finner en match for ordform pluss morfologisk tagg, blir ordformen tildelt lemmaet fra leksikonet. Finnes det flere mulige lemmaer (for eksempel kan både "list" og "liste" kan være lemma til "lister" som substantiv flertall), avgjør den nevrale modellen hvilket av dem som skal velges. Den nevrale modellen finner også lemmaet til nyord og sammensetninger som ikke står i ordbanken.
Evaluering
Humit-taggeren for bokmål og nynorsk er trent og testet på Norsk dependenstrebank. For testsettet får taggeren en samlet accuracy score på 98, 27 % på de morfologiske taggene.
For lemmatiseringsdelen er utregningen mer komplisert. Både bokmåls- og nynorsknormen gir rom for stor variasjon. For presensformen «kjem» er for eksempel både "kome", "koma", "komme" og "komma" korrekte lemmaformer. I testsettet til Norsk dependenstrebank er bare én av lemmaformene satt som korrekt form. Likevel oppnår lemmamodellen en accuracy på 99,2 % for bokmål pg 98,5 % for nynorsk på dette testsettet. Ser man nærmere på feilene, er mange av dem rett og slett ikke feil, men for eksempel normvariasjon eller feil i fasiten (NDT). Etter feilananlysen er accuracy-tallene 99,5 % for bokmål og 99,3 % for nynorsk. Les den detaljerte feilanalysen i artikkelen "Automatic Lemmatisation for Norwegian" (Yıldırım, Hagen, Haug 2026).
Finansiering
Humit-taggeren er utviklet med støtte fra infrastrukturprosjektet Clarino+ (clarin.w.uib.no) og ILN.
Referer til Humit-taggeren slik:
Haug, D. T. T., Yildirim, A., Hagen, K., & Nøklestad, A. (2023). I Rules and neural nets for morphological tagging of Norwegian - Results and challenges. NEALT Proceedings Series, 425-435.
Yildirim, A., Hagen, K., & Haug, D. T. T. (2026). Automatic Lemmatisation for Norwegian. I Proceedings of the Workshop in Structured Linguistic Data and Evaluation, pages 93-103 May 11, 2026.
Ved registrering i NVA skal følgende finansieringskilder registreres:
CLARINO: Norges Forskningsråd 29 57 00