Grok Imagine API: Ein kompletter Python-Leitfaden mit Beispielen

Anmerkung: Der ganze Code für diesen Artikel ist in diesem GitHub-Repository.

Das Video runterladen

Der Code oben wartet, bis das Video fertig ist, und zeigt dann die URL des Videos an. Wir können das Video auch mit dieser Funktion „ download_video() ” runterladen:

import requests
from pathlib import Path
from urllib.parse import urlparse
def download_video(url: str, output_dir: str = "."):
    # Extract filename from URL
    filename = Path(urlparse(url).path).name
    if not filename:
        raise ValueError("Could not determine filename from URL")
output_path = Path(output_dir) / filename
with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(output_path, "wb") as f:
            for chunk in r.iter_content(chunk_size=8192):
                if chunk:
                    f.write(chunk)
  print(f"Video saved to {output_path.resolve()}")

Nachdem du diese Funktion definiert hast, kannst du mit dem Befehl „ download_video(response.url) “ das Video in dein Arbeitsverzeichnis runterladen.

Ein vollständiges Beispiel mit Video-Download findest du im Repository.

Videos mit der Grok Imagine API erstellen

Wir haben gelernt, wie man mit der xAI-API Videos aus Text erstellt. Als Nächstes schauen wir uns mal die ganzen Möglichkeiten des Modells an. Für mehr Infos kannst du jederzeit die xAI-Dokumentation.

Optionen zur Videogenerierung erkunden

Grok Imagine hat drei Hauptoptionen, wenn du Videos machst:

• duration: Die Videolänge in Sekunden, angegeben als Zahl von 1 bis 15.

• aspect_ratio: Das Seitenverhältnis des Videos. Das Modell unterstützt die folgenden Seitenverhältnisse: "1:1", "16:9", "9:16", "4:3", "3:4", "3:2" und "2:3".

• resolution: Die Auflösung für das Video ist entweder "720p" oder "480p".

Hier ist ein Beispiel, wie wir die oben genannten Optionen in der API-Anfrage einstellen können:

prompt = """
A person stands holding their phone, gazing at a stunning landscape 
photo on the screen. The image begins to subtly move and glow. 
Suddenly, the phone pulls them in, and they are sucked through the screen, 
transitioning seamlessly into the vast, breathtaking landscape itself.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    duration=15,
    aspect_ratio="9:16",
    resolution="480p",
)

Hier ist das Ergebnis:

Ich finde dieses Ergebnis, gelinde gesagt, enttäuschend.

Ein Video aus einem Bild erstellen

Eine der coolsten Sachen an KI-Bildgenerierungsmodellen ist, dass sie aus einem Bild Videos machen können. Dieser Arbeitsablauf macht es viel einfacher, einheitliche Videos zu erstellen, vorausgesetzt, wir haben ein Basisbild, da das Modell nur die Bewegung generieren muss. 

Stell dir vor, du willst ein Video mit einer bestimmten Figur oder Person machen. Ein Bild zu zeigen, sorgt zumindest theoretisch dafür, dass die Figur richtig dargestellt wird.

Um ein Bild aus einem Bild zu machen, nimm den Parameter „ image_url “ mit einer URL zu dem Bild, das wir verwenden wollen. Laut ihrer Dokumentation wird ein Bild, wenn es bereitgestellt wird, als erster Frame des Videos verwendet. Wir müssen aber sichergehen, dass es zum gewünschten Seitenverhältnis passt.

Ich hab versucht, aus dem Foto unten, das ich vor einiger Zeit gemacht hab, eine FPV-Drohnenaufnahme von Leuten zu machen, die am Strand reiten. Beachte, dass wir das Bild erst irgendwo hochladen müssen, weil es als URL bereitgestellt werden soll. Ich hab das GitHub-Repository benutzt, das zu diesem Artikel gehört.

prompt = """
A FPV drone shot of the people riding the horses on the beach.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    image_url="https://raw.githubusercontent.com/fran-aubry/grok-imagine-tutorial/refs/heads/main/resources/horses.jpeg",
)

Das ist das Video, das Grok Imagine erstellt hat:

Im Video gibt's echt auffällige KI-Artefakte, wie zum Beispiel doppelte Objekte. Trotzdem hat das Modell verstanden, welche Aufnahme wir machen wollten.

Hier ist noch ein Beispiel, wo ich versuche, ein Bild in einen Zeitraffer umzuwandeln. Ich hab's zweimal probiert, weil beim ersten Mal ein Gebäude dazugekommen ist, das im Originalbild gar nicht drauf war.

Der zweite Versuch war besser als der erste, aber es gibt immer noch viele KI-Artefakte.

Als drittes Beispiel habe ich versucht, herauszufinden, wie Grok Imagine mit Kamerabewegungen umgeht, indem ich es gebeten habe, ein Foto zu animieren, das auf das Motiv zoomt. Das hier hat meiner Meinung nach am besten funktioniert.

Videos mit der Grok Imagine API bearbeiten

Mit Grok Imagine kannst du ein vorhandenes Video anhand einer Textvorlage bearbeiten. Das funktioniert ähnlich wie das Erstellen eines Videos aus einem Bild. Wir geben das Video, das wir bearbeiten wollen, als URL mit dem Parameter „ video_url “ an und beschreiben die Änderungen mit der Eingabeaufforderung.

Beachte, dass beim Bearbeiten eines Videos die maximale Dauer des Eingabevideos 8,7 Sekunden betragen darf.

Um das zu checken, hab ich mit Grok Imagine ein Video gemacht, in dem jemand mit drei Bällen jongliert.

Dann hab ich die URL von dem Video benutzt, um das Modell zu bitten, Feuer zu den Bällen hinzuzufügen. Hier ist die Anfrage zum Bearbeiten des Videos. Den kompletten Code findest du im GitHub-Repository.

prompt = """
Add fire to the balls.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    video_url="https://vidgen.x.ai/xai-vidgen-bucket/xai-video-2109c762-efcb-415b-ab3c-661b1df113cd.mp4",
)

Ich hab auch noch eine dritte Bearbeitung gemacht, wo ich darum gebeten hab, die Person durch eine Katze zu ersetzen. Hier sind die Ergebnisse:

Hier ist ein letztes Beispiel, bei dem ich mit einem Foto angefangen habe, das ich von einem Sternenhimmel gemacht habe. Ich hab Grok Imagine gebeten, zwei Wanderer hinzuzufügen, die den Weg entlanggehen und anhalten, um die Sterne zu bewundern. Schließlich habe ich dieses Video als Input benutzt und darum gebeten, es so zu bearbeiten, dass es schneit.

Das ist ein weiteres Beispiel, wo die Ergebnisse ziemlich mies sind. Im ersten Video wurde ein neuer Pfad erstellt, der nicht zur Szene passt. Die Schneebearbeitung sah zuerst gut aus, aber dann habe ich gemerkt, dass der Hintergrund unverändert geblieben ist, was nicht zum jetzt verschneiten Vordergrund passt.

Fazit

Es ist echt cool, dass immer mehr Videomodelle mit API-Zugriff kommen, weil das echt erweitert, was wir entwickeln und automatisieren können, von schnellen Prototypen bis hin zu kompletten Pipelines.

Die API von Grok Imagine ist echt einfach einzurichten und aufzurufen, aber es gibt auch ein paar Probleme. Vor allem die Anforderung, Bilder und Videos per URL weiterzugeben, macht grundlegende Arbeitsabläufe (wie das Durchlaufen lokaler Assets) unnötig kompliziert.

In der Praxis waren meine Ergebnisse im Vergleich zu den vollmundigen Versprechungen eher enttäuschend: Bei der Umwandlung von Text in Video ging oft was daneben, und bei der Umwandlung von Bildern in Video gab's auffällige Artefakte und Unstimmigkeiten. Der einzige Bereich, in dem es echt gut war, war die Bearbeitung, wo die Änderungen durch Eingabeaufforderungen zuverlässiger und besser kontrollierbar waren.

Eine echt starke Sache von Grok Imagine ist, wie schnell es läuft. Ich hab schon viele KI-Modelle für die Videogenerierung ausprobiert und meiner Erfahrung nach ist Grok Image mit Abstand das schnellste.

Ich bin echt zuversichtlich, was die Zukunft dieses Bereichs angeht, aber im Moment ist Grok Imagine eher ein vielversprechender Editor als ein erstklassiger Generator. Ich hoffe, dass zukünftige Updates die Eingabemöglichkeiten erweitern und die Qualität der Kerngenerierung verbessern werden.

Für alle, die mehr über die Techniken der KI-Videogenerierung erfahren möchten, empfehle ich die Teilnahme an unserem Kurs AI Fundamentals Skill Track anmelden.