Automatisch een soundtrack voor je video (video)

Pianiste en promovenda Cynthia Liem, werkzaam in de Multimedia Computing Group aan de Delftse faculteit Elektrotechniek, Wiskunde en Informatica (EWI), houdt zich bezig met Music Information Retrieval: technieken voor analyse, indexering en doorzoekbaarheid van digitale muziekgegevens. Het is haar doel om gedigitaliseerde muziek toegankelijker en beter doorzoekbaar te maken door middel van slimme technologie.

"Muziek prikkelt alle zintuigen en heeft vele facetten", zegt Liem. "Muziek staat ook verschillende manieren van interpretatie toe: hetzelfde muzikale werk kan op verschillende manieren worden uitgevoerd, en verschillende toehoorders hebben verschillende interpretaties van en reacties op muziek. Als je digitale muziek wilt analyseren, moet dit allemaal in acht worden genomen, en moet muziek niet als een losstaand audiobestand worden beschouwd."

Artistieke vrijheid

Een belangrijke deel van het promotieonderzoek was de analyse van verschillende uitvoeringen van hetzelfde stuk, allereerst gericht op pianostukken. "We hebben onder meer gekeken of we iets te weten kunnen komen over de artistieke vrijheid in een muzikaal werk. Hierna hebben we een analyse van orkestopnamen gemaakt, waarbij we aangeven hoe verschillen tussen orkestuitvoeringen kunnen worden gevisualiseerd, uitgelegd en aan elkaar kunnen worden gerelateerd. Waar zit het hem in dat het ene orkest anders klinkt dan het andere?"

Soundtrack

Een ander deel van het onderzoek ging over het automatisch vinden van passende soundtracks voor zelfgemaakte video’s van ‘gewone’ gebruikers. "In mijn voorgestelde aanpak wordt op een nieuwe manier met de zoekmachine omgegaan: in plaats van muziektechnische zoektermen wordt het bedoelde verhaal voor de video als zoekterm gebruikt", zegt Liem. "Door informatie uit grote online databanken over muziek en films te koppelen, leggen we verbindingen tussen dit verhaal en muzikale beschrijvingen. Het gevonden resultaat verbeteren we vervolgens nog op grond van audiovisuele signaalanalyse."

Concertgebouworkest

Het concept van ‘muziek met vele facetten’ leidde nog tijdens het promotieonderzoek van Liem tot een Europees onderzoeksproject, Phenicx, waarin onderzoekers uit Delft, Spanje en Oostenrijk met het Conservatorium van Barcelona, Videodock BV en het Koninklijk Concertgebouworkest samenwerken om klassieke symfonische concerten toegankelijker te maken. Afgelopen februari vond een live Phenicx-proef plaats in het Concertgebouw in Amsterdam, waarbij het publiek via een web-app de muziekpartijen van de verschillende instrumenten real-time kon volgen (zie bijvoorbeeld De Ingenieur en het TV-programma ‘Bloed, Zweet en Snaren’). De TU Delft houdt zich binnen het project bezig met visuele analyse van orkestmusici en technieken om digitale betrokkenheid van bredere publieken te vergroten.

Bredere publieken

Als disseminatie-coördinator van het Phenicx-project heeft Liem zich veel ingezet voor de publieke vertegenwoordiging van het project. "Het heeft erg geholpen dat ik tussen twee vakgebieden in zit, en dat we in ons project een serieuze eindgebruiker als het Koninklijk Concertgebouworkest konden aantrekken. Inmiddels begint het in de muziekwereld duidelijker te worden dat technologie niet onverenigbaar is met uitvoeringspraktijk, maar ook tot nuttige inzichten en producten kan leiden. Verder heeft bijna iedereen wel iets met muziek. Ons werk blijkt dus ook nog heel geschikt om data-analyse op een aantrekkelijke manier aan een breed publiek uit te leggen."

Ook meteen na haar promotie ging ze hiermee verder. Op 27 november presenteerde ze op de Brainwaves Technology Stage van de Buma Classical Conferentie haar werk aan de muziekwereld en op zondagmiddag 29 november gaf ze in de Amsterdamse North Sea Jazz Club op het Eureka! Festival het algemene publiek inzicht in de wetenschap achter multimedia- en muziekzoekmachines.

Het promotie-onderzoek van Cynthia Liem – Multifaceted Approaches to Music Information Retrieval – werd deels gefinancierd door de Google European Doctoral Fellowship in Multimedia. Deze promotie is ook in dichtvorm gevangen, zie dit Poetic Engineering sonnet van Jan Beuving ‘Daar zit muziek in’: http://delta.tudelft.nl/blog/poetic-engineering/daar-zit-muziek-in/89