English version of this page

MIRAGE - Et integrert AI-basert system for avansert musikkanalyse

Et hovedmål i prosjektet er å videreutvikle datamaskiners evne til å lytte til og forstå musikk. Dette vil nødvendiggjøre utvikling av banebrytende teknologi som også vil kunne hjelpe menneskelige lyttere til å bedre forstå og verdsette musikk. En viktig anvendelse av denne teknologien vil være å gjøre musikk mer tilgjengelig og engasjerende.

Bildet kan inneholde: himmel, strand, tre, horisont, farger og nyanser.

KOMMENDE: MIRAGE Avslutningsseminar: Digitalisering og datamaskinstøttet musikkanalyse av folkemusikk – Apr. 26, Nasjonalbiblioteket, Oslo

Om prosjektet

Vi skal videreutvikle vårt datateknologiske rammeverk slik at vi kan hente ut store mengder informasjon om musikkens elementer som klang, toner, rytme, og form. Musikk kan ofte være kompleks, og for å kunne trekke ut mening fra denne subtile kunstformen, må flere musikkvitenskapelige elementer innarbeides i det datateknologiske rammeverket. Gjentakelser er ofte et viktig element i musikk; motiver kan bli gjentatt mange ganger i løpet av et musikkverk, og flere musikkverk kan ligne hverandre slik at de danner særegne stilkategorier. Å kunne avdekke gjentakelser er krevende men også helt avgjørende for prosjektet. Prosjektet vil ta for seg et stort utvalg musikalske stilarter fra tradisjonsmusikk, klassisk musikk og populærmusikk, akustisk så vel som elektronisk, og fra ulike kulturer. Denne omfattende kartleggingen av musikkelementer ved hjelp av disse dataredskapene, vil også bli brukt til å utforske lytteres affektive og kroppslige musikk-relaterte forestillinger.

Foruten å bidra til musikkvitenskap, musikkteknologi og musikkognisjon, vil dette prosjektet også levere ny teknologi som kan brukes av et bredt publikum. Formidling av musikk ved hjelp a musikkvideoer har stort potensiale, særlig når det lydlige og det visuelle er godt integrert, og prosjektets teknologier vil gjøre det mulig å generere interessante videoer fra mange forskjellige musikktyper. Vi tror slike maskingenererte visualiseringer av lyd-data vil kunne berike musikkopplevelsen og gjøre musikk mer tilgjengelig. Slike visualiseringer av musikk kan også lette søk i store musikksamlinger og vil i tillegg kunne ha anvendelser i musikkterapi.

Prosjektet er et samarbeid med musikkseksjonen på Nasjonalbiblioteket, verdensledende innen digitalisering og tilgjengeliggjøring av kulturar.

Mer informasjon på engelsk her.

Publikasjoner

  • Lartillot, Olivier; Johansson, Mats Sigvard; Elowsson, Anders; Monstad, Lars Løberg & Cyvin, Mattias Storås (2023). A Dataset of Norwegian Hardanger Fiddle Recordings with Precise Annotation of Note and Beat Onsets. Transactions of the International Society for Music Information Retrieval. ISSN 2514-3298. 6(1), s. 186–202. doi: 10.5334/TISMIR.139.
  • Thedens, Hans-Hinrich & Lartillot, Olivier (2023). AudioSegmentor: Et verktøy for formidling av arkivopptak på nettet. Studia Musicologica Norvegica. ISSN 0332-5024. 49(1), s. 92–101. doi: 10.18261/smn.49.1.7. Fulltekst i vitenarkiv
  • Szorkovszky, Alexander; Veenstra, Frank; Lartillot, Olivier Serge Gabriel; Jensenius, Alexander Refsum & Glette, Kyrre (2023). Embodied Tempo Tracking with a Virtual Quadruped, Proceedings of the Sound and Music Computing Conference 2023. SMC Network . ISSN 978-91-527-7372-7. doi: 10.5281/zenodo.10060970.
  • Bishop, Laura; Høffding, Simon; Lartillot, Olivier Serge Gabriel & Laeng, Bruno (2023). Mental Effort and Expressive Interaction in Expert and Student String Quartet Performance. Music & Science. ISSN 2059-2043. 6. doi: 10.1177/20592043231208000.
  • Maidhof, Clemens; Müller, Viktor; Lartillot, Olivier; Agres, Kat; Bloska, Jodie & Asano, Rie [Vis alle 8 forfattere av denne artikkelen] (2023). Intra- and inter-brain coupling and activity dynamics during improvisational music therapy with a person with dementia: an explorative EEG-hyperscanning single case study. Frontiers in Psychology. ISSN 1664-1078. 14. doi: 10.3389/fpsyg.2023.1155732.
  • Juslin, Patrik N.; Sakka, Laura S.; Barradas, Gonçalo T. & Lartillot, Olivier (2022). Emotions, mechanisms, and individual differences in music listening: A stratified random sampling approach. Music Perception. ISSN 0730-7829. 40(1), s. 55–86. doi: 10.1525/mp.2022.40.1.55. Fulltekst i vitenarkiv
  • Lartillot, Olivier; Elovsson, Anders; Johansson, Mats Sigvard; Thedens, Hans-Hinrich & Monstad, Lars Alfred Løberg (2022). Segmentation, Transcription, Analysis and Visualisation of the Norwegian Folk Music Archive. I Pugin, Laurent (Red.), DLfM '22: 9th International Conference on Digital Libraries for Musicology. Association for Computing Machinery (ACM). ISSN 978-1-4503-9668-4. s. 1–9. doi: https:/doi.org/10.1145/3543882.3543883. Fulltekst i vitenarkiv
  • Elovsson, Anders & Lartillot, Olivier (2021). A Hardanger Fiddle Dataset with Performances Spanning Emotional Expressions and Annotations Aligned using Image Registration, Proceedings of the 22nd International Society for Music Information Retrieval Conference, Online, Nov 7-12, 2021. International Society for Music Information Retrieval. ISSN 978-1-7327299-0-2. s. 174–181. Fulltekst i vitenarkiv
  • Weisser, Stéphanie; Lartillot, Olivier & Sechehaye, Hélène (2021). Investiguer la grésillance. Pour une approche ethno-acoustique du timbre musical. Cahiers d'ethnomusicologie. ISSN 2235-7688. 34, s. 37–58.
  • Lartillot, Olivier (2021). Computational Musicological Analysis of Notated Music: a Brief Overview. Nota Bene. ISSN 1891-4829. 15, s. 142–161. Fulltekst i vitenarkiv
  • Haugen, Mari Romarheim (2021). Investigating Music-Dance Relationships. A Case Study of Norwegian Telespringar. Journal of music theory. ISSN 0022-2909. 65(1), s. 17–38. doi: 10.1215/00222909-9124714.
  • Lartillot, Olivier; Nymoen, Kristian; Câmara, Guilherme Schmidt & Danielsen, Anne (2021). Computational localization of attack regions through a direct observation of the audio waveform. Journal of the Acoustical Society of America. ISSN 0001-4966. 149(1), s. 723–736. doi: 10.1121/10.0003374.
  • Lartillot, Olivier & Bruford, Fred (2020). Bistate reduction and comparison of drum patterns, Proceedings of the 21st International Society for Music Information Retrieval (ISMIR) Conference. McGill-Queen's University Press. ISSN 978-0-9813537-0-8. s. 318–324. Fulltekst i vitenarkiv
  • Bruford, Fred & Lartillot, Olivier (2020). Multidimensional similarity modelling of complex drum loops using the GrooveToolbox, Proceedings of the 21st International Society for Music Information Retrieval (ISMIR) Conference. McGill-Queen's University Press. ISSN 978-0-9813537-0-8. s. 263–270. Fulltekst i vitenarkiv
  • Lartillot, Olivier; Cancino-Chacón, Carlos & Brazier, Charles (2020). Real-Time Visualisation Of Fugue Played By A String Quartet. I Spagnol, Simone & Valle, Andrea (Red.), Proceedings of the 17th Sound and Music Computing Conference. Axea sas/SMC Network. ISSN 978-88-945415-0-2. s. 115–122. Fulltekst i vitenarkiv
  • Elovsson, Karl Anders (2020). Polyphonic pitch tracking with deep layered learning. Journal of the Acoustical Society of America. ISSN 0001-4966. 148(1), s. 446–468. doi: 10.1121/10.0001468.

Se alle arbeider i Cristin

  • Monstad, Lars Alfred Løberg (2023). KI kan demokratisere musikkbransjen. VG : Verdens gang. ISSN 0805-5203.
  • Lartillot, Olivier (2023). Towards a Comprehensive Modelling Framework for Computational Music Transcription/Analysis.
  • Lartillot, Olivier (2023). Towards a comprehensive model for computational music transcription and analysis: a necessary dialog between machine learning and rule-based design?
  • Lartillot, Olivier (2023). Computational audio and musical features extraction: from MIRtoolbox to the MiningSuite.
  • Lartillot, Olivier (2023). Dynamic Visualisation of Fugue Analysis, Demonstrated in a Live Concert by the Danish String Quartet.
  • Christodoulou, Anna-Maria; Lartillot, Olivier & Anagnostopoulou, Christina (2023). Greek Folk Music Dataset.
  • Christodoulou, Anna-Maria; Lartillot, Olivier & Anagnostopoulou, Christina (2023). Computational Analysis of Greek Folk Music of the Aegean.
  • Lartillot, Olivier & Monstad, Lars Løberg (2023). MIRAGE - A Comprehensive AI-Based System for Advanced Music Analysis.
  • Maidhof, Clemens; Agres, Kat; Fachner, Jörg & Lartillot, Olivier (2023). Intra- and inter-brain coupling during music therapy.
  • Wosch, Thomas; Vobig, Bastian; Lartillot, Olivier & Christodoulou, Anna-Maria (2023). HIGH-M (Human Interaction assessment and Generative segmentation in Health and Music).
  • Lartillot, Olivier (2023). Music Therapy Toolbox, and prospects.
  • Lartillot, Olivier; Swarbrick, Dana; Upham, Finn & Cancino-Chacón, Carlos Eduardo (2023). Video visualization of a string quartet performance of a Bach Fugue: Design and subjective evaluation.
  • Bishop, Laura; Høffding, Simon; Laeng, Bruno & Lartillot, Olivier (2023). Mental effort and expressive interaction in expert and student string quartet performance.
  • Monstad, Lars Alfred Løberg (2023). Demonstrasjon av Kunstig Intelligens som verktøy for komponister.
  • Monstad, Lars Løberg (2023). Kunstig Intelligens i kunst og kultur. [TV]. NRK Dagsrevyen.
  • Monstad, Lars Løberg; Silje Larsen, Borgan & Vegard, Waske (2023). AI i musikken: konsekvenser og muligheter.
  • Monstad, Lars Løberg & Lartillot, Olivier (2023). Automatic Transcription Of Multi-Instrumental Songs: Integrating Demixing, Harmonic Dilated Convolution, And Joint Beat Tracking.
  • Monstad, Lars Alfred Løberg; Baden, Peter & Wærstad, Bernt Isak Grave (2023). Kan kunstig intelligens brukes i låtskriverprosessen?
  • Lartillot, Olivier & Monstad, Lars Løberg (2023). Computational music analysis: Significance, challenges, and our proposed approach.
  • Lartillot, Olivier (2023). MIRAGE Symposium #2: Music, emotions, analysis, therapy ... and computer.
  • Lartillot, Olivier; Thedens, Hans-Hinrich; Mjelva, Olav Luksengård; Elovsson, Anders; Monstad, Lars Løberg & Johansson, Mats Sigvard [Vis alle 8 forfattere av denne artikkelen] (2023). Norwegian Folk Music & Computational Analysis.
  • Lartillot, Olivier & Thedens, Hans-Hinrich (2022). Online Norwegian Folk Music Archive.
  • Danielsen, Anne; Câmara, Guilherme Schmidt; Lartillot, Olivier; Leske, Sabine Liliana & Spiech, Connor (2022). Musical rhythm. Behavioural, computational and neurophysiological perspectives.
  • Lartillot, Olivier; Elovsson, Anders; Johansson, Mats Sigvard; Thedens, Hans-Hinrich & Monstad, Lars Alfred Løberg (2022). Segmentation, Transcription, Analysis and Visualisation of the Norwegian Folk Music Archive.
  • Lartillot, Olivier; Godøy, Rolf Inge & Christodoulou, Anna-Maria (2022). Computational detection and characterisation of sonic shapes: Towards a Toolbox des objets sonores.
  • Tidemann, Aleksander; Lartillot, Olivier & Johansson, Mats Sigvard (2021). Towards New Analysis And Visualization Software For Studying Performance Patterns in Hardanger Fiddle Music.
  • Lartillot, Olivier & Johansson, Mats Sigvard (2021). Automated beat tracking of Norwegian Hardanger fiddle music.
  • Lartillot, Olivier; Elovsson, Anders & Mjelva, Olav Luksengård (2021). A new software for computer-assisted annotation of music recordings, with a focus on transcription.
  • Lartillot, Olivier; Guldbrandsen, Erling Eliseus & Cancino-Chacón, Carlos Eduardo (2021). Dynamics analysis, and application to a comparative study of Bruckner performances.
  • Dalgard, Joachim; Lartillot, Olivier; Vuoskoski, Jonna Katariina & Guldbrandsen, Erling Eliseus (2021). Absorption - Somewhere between the heart and the brain.
  • Tidemann, Aleksander & Lartillot, Olivier (2021). Interactive tools for exploring performance patterns in hardanger fiddle music.
  • Lartillot, Olivier (2021). Presentation of MIRAGE project.
  • Danielsen, Anne (2021). Opening remarks, presentation of RITMO.
  • Lartillot, Olivier & Johansson, Mats Sigvard (2021). Tracking beats in Hardanger fiddle tunes .
  • Elovsson, Anders & Lartillot, Olivier (2021). HF1: Hardanger fiddle dataset.
  • Lartillot, Olivier & Lilleslåtten, Mari (2021). Kunstig intelligens kan hjelpe deg å forstå musikk bedre. [Internett]. RITMO News.
  • Lartillot, Olivier & Lilleslåtten, Mari (2021). Olivier Lartillot utvikler verktøy for å forstå musikk bedre. [Internett]. Det humanistiske fakultet UiO YouTube account.
  • Elovsson, Anders & Lartillot, Olivier (2021). A Hardanger Fiddle Dataset with Performances Spanning Emotional Expressions and Annotations Aligned using Image Registration.
  • Lartillot, Olivier; Cancino-Chacón, Carlos & Brazier, Charles (2020). Real-Time Visualisation Of Fugue Played By A String Quartet.
  • Bruford, Fred & Lartillot, Olivier (2020). Multidimensional similarity modelling of complex drum loops using the GrooveToolbox.
  • Lartillot, Olivier & Toiviainen, Petri (2020). Read about the Matlab MIRtoolbox. Young Acousticians Network (YAN) Newsletter. s. 4–10.
  • Lartillot, Olivier & Bruford, Fred (2020). Bistate reduction and comparison of drum patterns.
  • Christodoulou, Anna-Maria; Anagnostopoulou, Christina & Lartillot, Olivier (2022). Computational Analysis of Greek folk music of the Aegean islands. National and Kapodistrian University of Athens.

Se alle arbeider i Cristin

Publisert 12. mai 2019 23:45 - Sist endret 21. mars 2024 16:01

Deltakere

Detaljert oversikt over deltakere