Den kalles for SoundTracer. Appen er utviklet av Olivier Lartillot ved Institutt for musikkvitenskap (IMV) og gjør at du kan søke etter musikk på biblioteket på en helt ny måte.
Tenk deg at du er på jakt etter en bestemt type musikk. Alt du behøver å gjøre, er å «herme» etter musikken ved å bevege hånden. Da vil appen lete opp den musikken som passer med håndbevegelsene.
Appens utvikler, Olivier Lartillot gir en liten demonstrasjon. Han finner frem iPhonen og åpner SoundTracer-appen. Så beveger han hånden opp og ned i luften.
– Appen er i stand til å gjenkjenne et musikkstykke som inneholder den samme bevegelsen eller tonehøyden, forklarer han, mens appen leter etter musikk som kan passe med Lartillots håndbevegelser. Den lager en lyd som stiger og synker etter som Lartillot beveger hånden opp eller ned.
Finner musikk til håndbevegelsene
Noen sekunder senere har appen funnet et musikkstykke som passer med de bevegelsene Lartillot har gjort. Fra appen lyder slåtten Tjugedalaren. På skjermen vises to grafer, en øverst og en nederst. Den øverste viser de bevegelsene Lartillot har gjort med mobilen. Den nederste viser musikken som spilles.
– For mennesker er det naturlig å uttrykke eller etterligne musikk med håndbevegelser. Dette har IMV-forskere jobbet med i mange år. Med den nye appen er det mulig å bruke denne kunnskapen også til å søke etter musikk, sier Lartillot.
– Appen lar deg se avtegningene av dine bevegelser, og tonehøyden til musikken. Når vi spiller av musikkstykket, beveger det seg en rød strek over begge grafene, slik at man kan se hvordan de to grafene matcher hverandre, forklarer Lartillot.
Tusenvis av melodier
SoundTracer-prosjektet er et samarbeid mellom Institutt for musikkvitenskap og Nasjonalbiblioteket. Forskerne har fått tilgang til en stor samling lydfiler med folkemusikk som Nasjonalbiblioteket har i sin katalog. Til sammen dreier det seg om 14 000 melodier. Så langt har Lartillot lagt inn 50 av disse i appen – men flere skal det bli.
– Disse er lagt inn manuelt. Men jeg har nå utviklet algoritmer som gjør at dette kan gjøres automatisk. Det gjør at vi kan legge inn tusenvis av nye melodier fremover, forklarer han.
Under arbeidet med prototypen har forskerne jobbet med folkemusikk. Det har bydd på noen spesielle utfordringer.
– Å overføre sang er ikke så vanskelig. Det er verre med hardingfele. Tonene fra hardingfele er veldig komplekse og det er derfor vanskelig å trekke ut tonehøyden. Jeg jobber nå med å automatisere dette også, sier Lartillot.
Utvikler appen videre
For øyeblikket er appen basert på vertikale håndbevegelser – jo høyere du beveger hånden, jo lysere er tonen. Men fremtidige versjoner av appen vil også inkludere andre egenskaper, som rytmiske bevegelser, sier Lartillot.
SoundTracer-prosjektet ble avsluttet med en workshop på Nasjonalbiblioteket fredag 4. mai. Da introduserte prosjektleder Alexander Refsum Jensenius prosjektet, mens Olivier Lartillot fortalte om hvordan han har jobbet med å utvikle appen og de underliggende systemene. I tillegg holdt den verdensledende tyske forskeren Meinard Müller en inspirasjonsforelesning om musikkinformatikk.
– SoundTracer-prosjektet er et godt eksempel på hvordan humanistisk grunnforskning kan lede til teknologisk innovasjon, avslutter Jensenius.