Musikk er mer enn lydbølger: Hva du ser og gjør påvirker hva du hører

Når du hører Beyoncé synge, hvor lang tid tar det før du ser henne for deg, dansende over scenen? Eller når gitarsoloene til Jimi Hendrix dundrer ut av høyttalerne – kan du ikke se for deg hvordan Hendrix poserer med gitaren? 

Enten du mimer foran speilet med hårbørsten som mikrofon, eller du lytter med et halvt øre mens du rydder i huset, spiller bevegelser du knytter til musikken en rolle for hva du egentlig hører. 

Det er fordi musikk ikke bare er en god tekst eller en melodi, men et samspill mellom alt du kan sanse. 

– Bare tenk på når du føler at noen synger de virkelige høye tonene, sier musikkforsker Tejaswinee Kelkar, og fortsetter: 

– Det vi legger merke til er egentlig anstrengelsen hos vokalisten. Det finnes ikke akustisk, men vi kjenner det igjen fordi det er kroppslig. Vi trenger ikke en gang å se den som synger, fordi vi er så fininnstilte på å tolke nyanser i stemmen – som for eksempel forteller oss om vokalistens følelser. 

Kelkar forsker på hvilke former vi forbinder med musikk, og har blant annet undersøkt det gjennom å studere hvordan folk gestikulerer til musikk. Ansiktsuttrykk og beinstilling er bare noe av det hun mener påvirker en lytteopplevelse.  

Når du synger, bruker du også armene 

Tejaswinee Kelkar er selv utøvende sanger, og interessen for gestikulering kom da hun ble klar over at det er forskjell på hvordan man bruker hendene når man synger vestlig og indisk musikk.  

– Som barn lærte jeg å synge nordindisk musikk. Der er det vanlig å bruke håndbevegelser for å hjelpe barn å lære sang. Når du står på scenen skal du synge på samme måte som når du øver, du fokuserer på at sangen skjer mellom deg og rommet, i stedet for å tenke på publikum.  

Da hun senere skulle lære vestlig klassisk sang, begynte hun å bruke lignende håndbevegelser. 

– Men jeg fikk streng beskjed om at det ikke er slik det gjøres.  

Hun ble nysgjerrig: Hva handlet håndbevegelsene egentlig om? 

– Du kan jo tenke deg at bevegelsene gir en slags anatomisk hjelp, at de former stemmebruken din. Da kan noen håndbevegelser passe til den indiske musikken og ikke til den vestlige.  

For Kelkar var de ulike reglene for gestikulering også beviset på noe mer: For å forstå musikk, må man tenke på hvordan den tar plass i rommet.  

Melodier kan ha forskjellige fasonger 

At musikk spiller på alle sansene våre, handler om at den er multimodal – den foregår i ulike modus. Det viktigste moduset for Kelkar er det romlige. Hun viser til matematikeren René Thom som sier «For å forstå noe, må det være en geometri for det.» 

– Jeg tror det stemmer: alt har en romlighet. Tid, som er viktig i musikk, er et godt eksempel. Vi relaterer fortid og fremtid til kroppen vår – at noe ligger foran eller bak oss.  

For å forstå mer om hvordan musikken oppfattes romlig, har Kelkar gjort flere eksperimenter. I det ene ba hun deltagerne lytte til samme musikkstykke flere ganger, og tegne eller forklare hva de så for seg.  

– Folk oppfatter gjerne noen konkrete fasonger eller bruker bevegelsesmetaforer. Flere beskrev eller tegnet musikken som en bølge som passerte forbi dem – som lydbølger eller EKG (elektrokardiografi), forteller hun. 

– Mens andre så for seg en sirkel, særlig hvis de oppfattet at et motiv i melodien kom igjen og igjen. 

I et annet eksperiment ba forskeren deltagerne om å bevege armene på en måte de syntes passet til musikken. Hun dokumenterte alt med sporingsteknologien «motion capture», for å se etter mønstre.  

– Flere forsøkte å tegne konturene av at musikken gikk opp eller ned. Det reflekterte tonehøyde, men også andre egenskaper i musikken, som klang, motiver og mønstre. 

Språkforskere vet at ansiktet påvirker lydene du hører 

At det skjer en krysskobling i hjernen mellom hva du ser og hva du hører, er noe språkforskere allerede har studert.  

– Det har blitt observert som lingvistiske fenomener, blant annet et som kalles McGurk-effekten, forteller Kelkar. 

Den går ut på at hvis man hører én lyd mens man ser et ansikt som uttaler en annen lyd, vil man høre en slags mellomting. Et klassisk eksempel er når du hører en B og ser et ansikt uttrykke G, så oppfatter du en D.  

Kelkar har nylig gjennomført en studie sammen med kollegaene Bruno Laeng og Sarjo Kuyateh, for å se om det samme skjer når vi synger: 

– Vi finner faktisk indikasjoner på at hva sangeren gjør med ansiktet sitt, påvirker hvordan folk oppfatter en melodi. Intervallet mellom to toner kan høres ulikt ut, hvis vokalistens mimikk varierer.  

Shazam for bevegelser 

På samme måte som melodi og rytme gjør at vi kan kjenne igjen musikk, kan formene vi assosierer med en melodi hjelpe oss med det samme. I forskningen sin har Tejaswinee Kelkar foret kunstig intelligens med dokumentasjon av de ulike bevegelsene fra eksperimentene, slik at teknologien kan bruke bevegelsene til å kjenne igjen musikk. Dette er teknologi som kan brukes til å utvikle nye verktøy. 

– Se for deg låtgjenkjenningsappen «Shazam», bare at den skanner bevegelser i stedet for lyd. Hvis du gjør bevegelser som passer til Happy Birthday, så kunne en slik app funnet sangen for deg. 

Selv om teknologien er relativt ny, er det å søke opp melodier basert på form, en gammel idé. I 1975 ga Denys Parsons ut «The Directory of Tunes and Musical Themes», hvor han systematiserte rundt 15 000 klassiske stykker basert på melodisk kontur – hvordan tonehøyden gikk opp og ned. Å identifisere musikk basert på form kalles derfor Parsons-koden.  

Kelkars metode ligner også andre verktøy som er tilgjengelige på nett.  

– I dag har du for eksempel musipedia.org, som lar deg søke opp musikk basert på konturer, forteller hun. 

Dansefoten endrer musikken 

Lyd, tekst og rom er blant de modusene som inngår i musikken. Det samme gjør handling, eller tanken på den.  

– Hvis du ser for deg dans, høres antagelig musikken annerledes ut enn når du ikke gjør det. 

Musikkforskeren trekker også frem konsertopplevelsen, som har endret seg mye opp gjennom årene.  

– Du har musikksjangre der folk sitter stille og lytter respektfullt, men det er noe nytt, for mange av komponistene i de klassiske periodene lagde dans. Nå spiller vi mazurka og menuett i konserthuset mens et respektabelt publikum sitter ærbødig og ser på. Det samme gjelder jazz, som var en klubbmusikksjanger, ment for å danse til.  

Hun påpeker at dette sier noe grunnleggende om det multimodale ved musikken. 

– En ting er at din oppfatning av musikken formes av hva du ser og gjør, men det er også motsatt – hva du gjør vil påvirke musikken. 

Kilder: 

Kelkar, Tejaswinee (2019): Computational Analysis of Melodic Contour and Body Movement. Phd.avhandling ved Institutt for musikkvitenskap, Universitetet i Oslo.  

Bruno Laeng, Sarjo Kuyateh & Tejaswinee Kelkar (2021): Substituting facial movements in singers changes the sounds of musical intervals i Scientific Reports.

Om forskeren 

Tejaswinee Kelkar er musikkforsker, dataanalytiker, musiker og underviser. Hun jobber med dataanalyse for Universal Music Norway, og underviser på masterprogrammet i Music, Communication and Technology (MCT). Hun har sin doktorgrad fra Institutt for musikkvitenskap og RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse.  

Les mer

• Kunstig intelligens kan hjelpe deg å forstå musikk bedre

• Med ny teknologi kan musikere spille sammen fra hver sin verdensdel

Interessert i forskning fra Det humanistiske fakultet?

Meld deg på vårt månedlige nyhetsbrev!