Futureverse stellt mit Text-zu-Musik-Generator JEN-1 eine neue KI vor

Nach Googles MusicLM und Metas MusicGen, bringt das neuseeländische KI- und Metaverse-Unternehmen Futureverse mit JEN-1 nun ein weiteres KI-Tool auf den Markt, das Songs anhand von Beschreibungstexten generieren kann.

In einem Forschungspapier stellt das Unternehmen sein neuestes Projekt vor, mit dem Nutzer/innen weiterhin Kontrolle über für die Umsetzung ihrer künstlerischen Visionen wichtigen Attribute wie etwa die Tonart, Melodie oder das Genre behalten und dabei auf effiziente Weise qualitativ hochwertige Ergebnisse erzielen können sollen. 

Dabei sei das Tool nach eigener Aussage "hinsichtlich der Text-Musik-Angleichung und der Qualität der Musik bei gleichbleibender Rechenleistung den anderen State-of-the-Art-Modellen überlegen."

Mit diesen Modellen sind unter anderem Google MusicLM und Metas MusicGen gemeint – Tools, die wie auch JEN-1, Musik anhand von beschreibenden Eingaben seitens der Nutzer/innen generieren und zu denen Futureverse in seinem Schreiben den direkten Vergleich zieht.

Vielseitiges Training

So wird JEN-1 von Futureverse unter anderem als ein sogenanntes Diffusionsmodell beschrieben, das sowohl autoregressives als auch nicht-autoregressives Training in seinen Schaffensprozess mit einbezieht.

Bei autoregressiven Ansätzen ist jede Token-Generierung (Token als kleinste sinngebende Einheit)  durch den vorherigen Kontext bedingt. Eine solche sequentielle Generierung vermindert jedoch unter anderem die Geschwindigkeit des Generierungsprozesses.

Nicht-regressive Ansätze hingegen ermöglichen es Modellen mehrere Token gleichzeitig zu generieren und arbeiten somit in einer höherer Geschwindigkeit.

Diffusionsmodelle wie JEN-1 verbinden diese beiden Ansätze miteinander. Auf diese Art und Weise kann die Musikgenerierung beschleunigt werden, während gleichzeitig eine hohe Samplequalität erhalten bleibt.

MusicLM und MusicGen hingegen basieren in ihrer Funktionsweise alleine auf autoregressivem Training.

Auch weitere zum Vergleich gezogene Tools wie AudioLDM und Noise2Music beschränken sich auf eine Art des Trainings – in beiden Fällen auf nicht-autoregressiv.

Multitasking-Talent

Von Vorteil sei zudem, dass sich das Trainingsziel von JEN-1 anders als bei vergleichbaren Angeboten nicht nur auf eine einzige Aufgabe beschränke und sich das Tool somit flexibler in der Gestaltung von Musikstücken zeigt.

Durch kontextbezogenes Lernen soll JEN-1 verschiedene Generierungsaufträge ausführen können und neben der textgesteuerten Musikgenerierung auch in der Lage dazu sein, bestehende Tracks fortzuführen und im Rahmen des sogenannten Musik-Inpainting wiederherzustellen, also beschädigtes Audiomaterial aus der Vergangenheit zu rekonstruieren oder unerwünschte Elemente wie Rauschen und andere akustische Artefakte aus Aufnahmen zu entfernen.

Detailgetreu

JEN-1 zeichne sich zudem durch seine verbesserte Fähigkeit aus, komplexe Sequenzabhängigkeiten in der Musik zu erfassen. Laut Futureverse ein wichtiger Aspekt, denn so das Unternehmen:

"Durch das Zusammenspiel mehrerer Instrumente und die Anordnung von Melodien und Harmonien ergeben sich hochkomplexe Strukturen. Da der Mensch empfindlich auf musikalische Dissonanzen reagiert, ist bei der Musikproduktion wenig Platz für Unvollkommenheiten."

Ein erster Einblick

Insgesamt soll Nutzer/innen mit JEN-1 ein Tool bereit gestellt werden, mit dem sie weiterhin Kontrolle über für die Umsetzung ihrer künstlerischen Visionen wichtigen Attribute wie etwa die Tonart, Melodie oder das Genre behalten und dabei auf effiziente Weise qualitativ hochwertige Ergebnisse erzielen können.

Beispiele für derartige "Key Musical Attributes" und die Auswirkung ihrer Einbindung in die Prompts von JEN-1 sowie vergleichsweise in die der anderen aktuell verfügbaren verschiedenen Text-zu-Musik Generatoren, lassen sich auf der Futureverse Webseite einsehen und anhören.

Auch Shara Senderoff und Aaron McDonald, Mitbegründerin und Mitbegründer von Futureverse melden sich in einer Pressemitteilung zu Wort:

"Die menschliche Sensibilität für musikalische Dissonanzen erfordert eine hohe Präzision bei der Musikerzeugung. Wir haben in diesem Bereich in den letzten zwei Jahren intensiv gearbeitet. Wir sind unglaublich stolz darauf, einen ersten Einblick in die bedeutenden Fortschritte unseres Teams bei der Weiterentwicklung von Musik-KI zu veröffentlichen, die den Musikschaffenden und dem Fortschritt in der Musikindustrie zugutekommen werden."