Wanneer er nieuwe technologieen beschikbaar komen, vinden die altijd haar weg naar de muziek. Denk aan de opkomst van de synthesizers die de akoestische piano’s vervingen. En wat te denken van de hedendaagse dance. Google denkt graag mee met de digitale muzikant en heeft code beschikbaar gesteld die helpt bij het creatieve proces.
Magenta, de rockende muziekmachine op Google I/O
Op het Google I/O event in mei 2019 werd een nieuwe technologie gebruikt door twee bands. Zij lieten zien hoe ze machine learning en AI gebruikten in de totstandkoming van nieuwe songs. Dit deden ze met behulp van het ‘open source onderzoekzoeksproject Magenta’ dat de rol van machine learning onderzoekt als hulpmiddel in het creatieve proces.
De band YACHT heeft van 82 nummers iedere partij (baslijn, zang, drums, etc.) apart geisoleerd en in stukken van 4 maten geknipt. Deze fragmenten zijn in het machine learning model van Google gestopt en daar kwamen nieuwe melodieen uit op basis van hun nieuwe werk.
Ze volgden hetzelfde proces met hun teksten.
Uiteindelijk was het de taak van de band om teksten en melodieeen uit te kiezen en hier een song van te maken.
Volgens de zangeres is Machine Learning nog niet op het niveau om een perfecte song met een goede structuur, een begin, een midden en een eind te maken. “The melody was the model’s job, but the arrangement and performance was entirely our job.”
The melody was the model’s job, but the arrangement and performance was entirely our job.
Van Piano Genie tot fruitschaal
Een tweede band Flaming Lips gebruikte het programma Piano Genie (https://magenta.tensorflow.org/pianogenie) dat door een stagiair binnen Google was gemaakt. Ze gebruikten Piano Genie als basis voor een nieuwe song welke op I/O voor het eerst ten gehore werd gebracht.
Van 88 naar 8 toetsen
Piano Genie distilleert 88 noten op een piano tot slechts acht knoppen, die je naar hartenlust kunt indrukken om pianomuziek te maken. Deze knoppen werden ook nog eens vervangen door 8 stukken fruit. Volgens zanger Wayne Coyne was dit de ultieme manier om out of the box te denken.
De muzikale fruitmand
Met de hulp van Magenta ontstond zo het nieuwe nummer “Strawberry Orange”

Flaming Lips kreeg tijdens het optreden ook nog hulp van het publiek. Er werd een opblaasbanaan in de zaal gegooid met een aanraaksensor. Wanneer iemand de banaan aanraakte werd er ook een trigger uitgevoerd en bedacht het machine learning algoritme een toevoeging bij de muziek.

Zelf aan de slag met Machine Learning?
Ook een eigen Fruit Genie maken? Ga naar https://magenta.tensorflow.org/fruitgenie
Heb je iets cools gemaakt? Deel je ervaringen met ons!
bron: https://www.blog.google/technology/ai/behind-magenta-tech-rocked-io/