Musikvideo mit KI produzieren – Die wichtigsten Tools und Plattformen

Generative KI ist nicht nur in den Bereichen Musik, Text und vor allem Bildern stark im Kommen. Auch beim Erzeugen und Verändern von kurzen KI-Videos hat sich viel getan. Und das bietet Musikschaffenden beim Produzieren von Musikvideos oder Content für Social Media viele Möglichkeiten.

Um den Erwartungshorizont hier gleich am Anfang zu stecken: durch einen Prompt gleich ein ganzes dreiminütiges Video allein mit KI zu produzieren, am besten noch kostenlos, ist (zum Zeitpunkt der Veröffentlichung dieses Artikels) nirgends möglich. Dafür benötigt man schon die finanziellen und technischen Mittel einer Band wie Linkin Park: 

Was Plattformen wie Pika, Runway oder Stablevideo aber bieten, sind sehr kreative Möglichkeiten, kurze Mini-Clips zu erzeugen. 

Dabei sind eurer Phantasie (fast) keine Grenzen gesetzt, egal ob es ein Urlaubsvideo auf dem Mars, ein Moshpit mit pinken Meerschweinchen oder ein waghalsiges Manöver auf der Brücke eines berühmten Raumschiffs ist.

Mit den richtigen Prompts und etwas Ausprobieren produziert ihr auf diesen Plattformen kreative Clips, aus denen ihr euch dann Musikvideos oder Reels und Shorts für Social Media zusammenschneidet. 

Was geht und was nicht

Alle KI-Tools online eint, dass bei Themen wie Gewalt, psychischen Krankheiten oder Sexualität sehr stark gefiltert wird. Das aber kann dazu führen, dass die KI-Websiten auch bei vermeintlich harmlosen Themen wie mittelalterlichen Kämpfen, erotischen Tänzen oder wahnsinnigen Comic-Helden blockieren. Das sollte man beim Entwickeln der Video-Idee im Hinterkopf behalten.

Aber wie in so vielen Bereichen kann diese Einschränkung bei der Umsetzung ja auch gerade kreativ machen. 

Vorsichtig sollte man sein, wenn man Videos und Bilder erzeugt, in denen Marken oder Prominente zu sehen sind. Denn eventuell haben Helene Fischer (und/oder ihre Anwälte) etwas dagegen, ungefragt in einem Doom Metal Video aufzutreten. 

Ebenso kann das im Social Media Clip zur nächsten Single prominent platzierte Star Trek-Logo eventuell auch Post von den Rechteinhabern provozieren.

Musikvideo mit KI produzieren, wie funktioniert es?

Grundsätzlich werden die kurzen Clips auf den verschiedenen Plattformen auf zwei Arten erzeugt: Entweder über Prompts, also kurzen Beschreibungen und Befehlen, wie man sie von ChatGPT kennt, oder über das Animieren von Bildern. Ihr könnt euch vorab also eine Reihe von Prompts überlegen, die zusammen eine Geschichte erzählen. Oder ihr macht Bandfotos, die ihr die KI zu Animationen rendern lasst. 

Ihr könnt anfangs einfach auch erst einmal auf eine der KI-Video-Seiten gehen und dort mit Prompts experimentieren. Zielführender ist es aber, sich eine Geschichte und ein Setting zu überlegen und daraus dann eine Art kleines Drehbuch oder sogar eine richtige Shotlist samt Prompts zu entwickeln. Je mehr Vorbereitung ihr investiert, desto besser wird das Ergebnis. 

Der Workflow auf den KI-Video-Seiten

Das größte Problem beim KI-gestützten Erzeugen von Videos ist die Konsistenz. Es passiert immer noch häufig, dass Gesichter in verschiedenen Szenen sehr unterschiedlich aussehen. Wie stellt ihr also sicher, dass auch wirklich eure Gesichter zu sehen sind? Und wie erzeugt ihr Clips, die einen einheitlichen Look mitbringen? 

Die beste Methode besteht darin, vorab Bilder von eurer Band zu jeder Szene zu machen, am besten schon in den ungefähren Posen. Damit stellt ihr sicher, dass  die Gesichter in den Animationen auch wiedererkennbar sind. 

Je nach Website werdet ihr auch deutliche Unterschiede feststellen, welche Bilder und Prompts realistisch aussehen und in welchen Fällen eure Idee visuell am besten umgesetzt wird. 

Dazu braucht ihr Geduld. Denn das Generieren der Videos ist extrem rechenintensiv. So dauert das Erzeugen eines einzelnen Videoclips von fünf Sekunden Länge teilweise fünfzehn Minuten und mehr. 

Danach benötigt ihr für das eigentliche Video, zum Zusammenfügen der Clips, auch immer noch eine Software wie das kostenlose iMovie, die App CapCut oder eine professionelle Schnitt-Software wie Adobe Premiere (siehe Bild), Apple Final Cut Pro oder DaVinci Resolve. 

Bisher sind KI-Video-Generatoren noch in keiner der erwähnten Videoschnittprogramme direkt integriert. Auch in Adobe After Effects gibt es noch keine Möglichkeiten, direkt KI-Videoclips zu generieren. 

Adobe Firefly bietet aber bereits in Adobe Photoshop die Möglichkeit, direkt im Bildbearbeitungsprogramm Bilder zu generieren – es dürfte also nur eine Frage der Zeit sein, bis es ein derartiges Feature direkt in Premiere, Resolve oder Final Cut Pro geben wird...

Welche KI-Musikvideo-Seiten gibt es und was kosten sie?

Federführend beim Thema KI-generierte Videos ist momentan Runway. Hier könnt ihr genauso Bilder hochladen, wie nur mit Prompts arbeiten oder mit einer Kombination aus beiden. Pro Clip sind maximal sechzehn Sekunden möglich, man müsste also rein rechnerisch ungefähr zwölf Clips für ein dreiminütiges Video generieren.

In der kostenlosen Basisversion erhält man einmalig 125 Credits, die für gut acht Sekunden Videomaterial reichen. In den Abos, die zwischen 15 Dollar und 95 Dollar Monatsbeitrag liegen, erhält man bis zu 2250 Credits im Monat. 

Als kommerzielle Alternativen sind dazu Kaiber, Neural Frames und Pika zu nennen. Bei allen KI-Video-Services gilt: Es gibt eine kostenlose Miniversion, will man aber mehr Optionen und vor allem mehr als ein paar Sekunden Videomaterial erzeugen, ist ein Abo nötig. 

Bei Kaiber und Neural Frames liegen die Abos zwischen 5 Dollar (Kaiber) und 99 Dollar (Neural Frames). Einige Beispiele von Neural Frames gibt es hier. Pika ist noch in der Beta-Phase und damit kostenlos, hier ist bisher nur die Eingabe von Prompts möglich.

Die Animierung von hochgeladenen Bildern ist noch nicht integriert. Auch sind die generierten Videos zwar kostenlos zum Download, allerdings nur in sehr geringer Auflösung. 

Einen Vergleich von Runway und Pika gibt es hier, wobei sich die Technik inzwischen schon weiterentwickelt hat.

Animation im Takt 

Eine etwas andere Herangehensweise, die sich vor allem für groove-lastige Musik eignet, bietet wzrd.ai. Denn diese KI animiert im Takt.

Hier lädt man den Song hoch und wählt dann aus einer Galerie fertiger Bilder zu Themen wie "Modern Art", "Landscapes" oder "Dark Sci-Fi" ca. 15 Bilder aus. Ein Beispielvideo gibt es hier:

Wzrd animiert dann von einem Bild zum nächsten und lässt Teile der Animation zum Beat bewegen. Damit gibt es hier eine schnellere Lösung für KI-Animation, die allerdings auch weniger Eingriffsmöglichkeiten bietet, als beispielsweise Runway oder Neural Frames. 

Auch hier gilt: Eine Vorschau gibt es kostenlos, das fertig animierte Video kostet pro Minute Audiomaterial 12 britische Pfund (ca. 14 Euro). 

Fazit zum Thema Musikvideo mit KI

Mal ehrlich, ein halbwegs gut filmendes Smartphone haben doch die meisten von uns in der Hosentasche, oder? Wozu dann ein Musikvideo mit KI produzieren?

Die Antwort ist einfach: Wer sich durch ein paar bereits produzierte Videos geklickt hat, wird schnell merken, wie viel kreativer KI Videos oft sind.

Gerade wenn es um aufwändigere Settings wie im Weltraum oder in einem Phantasialand geht, hat man mit diesen Webseiten eine sehr viel einfachere Möglichkeit, als mit Greenscreen und Kostümen.