Grok Imagine API: een complete Python-gids met voorbeelden

Let op: Alle code voor dit artikel is te vinden in deze GitHub-repository.

De video downloaden

De bovenstaande code wacht tot de video klaar is met genereren en print dan de URL van de video. We kunnen de video ook downloaden met deze functie download_video():

import requests
from pathlib import Path
from urllib.parse import urlparse
def download_video(url: str, output_dir: str = "."):
    # Extract filename from URL
    filename = Path(urlparse(url).path).name
    if not filename:
        raise ValueError("Could not determine filename from URL")
output_path = Path(output_dir) / filename
with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(output_path, "wb") as f:
            for chunk in r.iter_content(chunk_size=8192):
                if chunk:
                    f.write(chunk)
  print(f"Video saved to {output_path.resolve()}")

Na het definiëren van deze functie zal het aanroepen van download_video(response.url) de video downloaden naar je werkmap.

Een volledig voorbeeld met videodownload is te vinden in de repository.

Video’s genereren met de Grok Imagine API

We hebben geleerd hoe je video’s vanuit tekst genereert met de xAI API. Vervolgens verkennen we de volledige mogelijkheden van het model. Voor meer informatie kun je altijd de xAI-documentatie raadplegen.

Opties voor videogeneratie verkennen

Grok Imagine biedt drie hoofdopties bij het genereren van video’s:

• duration: De duur van de video in seconden, opgegeven als een getal van 1 tot 15.

• aspect_ratio: De beeldverhouding van de video. Het model ondersteunt de volgende beeldverhoudingen: "1:1", "16:9", "9:16", "4:3", "3:4", "3:2" en "2:3".

• resolution: De resolutie voor de video, ofwel "720p" of "480p".

Hier is een voorbeeld van hoe we bovenstaande opties in het API-verzoek kunnen instellen:

prompt = """
A person stands holding their phone, gazing at a stunning landscape 
photo on the screen. The image begins to subtly move and glow. 
Suddenly, the phone pulls them in, and they are sucked through the screen, 
transitioning seamlessly into the vast, breathtaking landscape itself.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    duration=15,
    aspect_ratio="9:16",
    resolution="480p",
)

Hier is het resultaat:

Ik vind dit resultaat op zijn zachtst gezegd teleurstellend.

Een video genereren op basis van een afbeelding

Een van de krachtigste functies van AI-afbeeldingsgeneratiemodellen is dat ze video’s kunnen genereren op basis van een afbeelding. Deze workflow maakt het veel eenvoudiger om consistente video’s te maken, mits we een basisafbeelding hebben, omdat het model alleen beweging hoeft te genereren. 

Stel je voor dat je een video wilt maken met een specifiek personage of persoon. Het aanleveren van een afbeelding garandeert in theorie in elk geval karakterconsistentie.

Om een video op basis van een afbeelding te genereren, gebruik je de parameter image_url met een URL naar de afbeelding die we willen gebruiken. Volgens hun documentatie wordt, wanneer een afbeelding is opgegeven, deze gebruikt als het eerste frame van de video. We moeten er echter voor zorgen dat deze overeenkomt met de gevraagde beeldverhouding.

Ik probeerde een FPV-drone-opname te genereren van mensen die te paard over het strand rijden, op basis van de onderstaande foto die ik een tijd geleden heb genomen. Let op dat de afbeelding als URL moet worden aangeleverd, dus we moeten die eerst ergens uploaden. In mijn geval heb ik de GitHub-repository gebruikt die bij dit artikel hoort.

prompt = """
A FPV drone shot of the people riding the horses on the beach.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    image_url="https://raw.githubusercontent.com/fran-aubry/grok-imagine-tutorial/refs/heads/main/resources/horses.jpeg",
)

Dit is de video die Grok Imagine heeft gegenereerd:

Er zijn duidelijke AI-artefacten in de video, zoals objectduplicatie. Desondanks begreep het model de opname die we wilden genereren.

Hier is nog een voorbeeld waarin ik probeer een afbeelding om te zetten in een timelapse. Ik probeerde het twee keer omdat het eerste resultaat een gebouw toevoegde dat niet in de originele afbeelding voorkwam.

De tweede poging was succesvoller dan de eerste, maar zit nog steeds vol AI-artefacten.

Als derde voorbeeld wilde ik zien hoe Grok Imagine omgaat met camerabeweging door te vragen een foto te animeren met een zoom op het onderwerp. Deze werkte naar mijn mening het best.

Video’s bewerken met de Grok Imagine API

Grok Imagine laat je een bestaande video bewerken op basis van een tekstprompt. De werkwijze is vergelijkbaar met het genereren van een video op basis van een afbeelding. We geven de te bewerken video als URL op met de parameter video_url en beschrijven de wijzigingen met de prompt.

Let op: bij het bewerken van een video is de maximale duur van de invoervideo 8,7 seconden.

Om dit te testen, heb ik met Grok Imagine een video gegenereerd van een persoon die met drie ballen jongleert.

Daarna heb ik de URL van die video gebruikt om het model te vragen vuur aan de ballen toe te voegen. Hieronder staat het verzoek om de video te bewerken. De volledige code is te vinden in de GitHub-repository.

prompt = """
Add fire to the balls.
"""
response = client.video.generate(
    prompt=prompt,
    model="grok-imagine-video",
    video_url="https://vidgen.x.ai/xai-vidgen-bucket/xai-video-2109c762-efcb-415b-ab3c-661b1df113cd.mp4",
)

Ik deed ook een derde bewerking waarin ik vroeg de persoon te vervangen door een kat. Hier zijn de resultaten:

Hier is een laatste voorbeeld waarbij ik begon met een foto die ik nam van een sterrenhemel. Ik vroeg Grok Imagine om twee wandelaars toe te voegen die over het pad lopen en stoppen om de sterren te bewonderen. Vervolgens heb ik die video als invoer gebruikt en gevraagd om hem te bewerken zodat het sneeuwt.

Dit is weer een voorbeeld waar de resultaten vrij slecht zijn. In de eerste video werd een nieuw pad gecreëerd dat niet consistent is met de scène. De sneeuwbewerking zag er in eerste instantie goed uit, maar toen realiseerde ik me dat de achtergrond ongewijzigd bleef, waardoor die niet klopt met de nu besneeuwde voorgrond.

Conclusie

Het is bemoedigend om meer videomodellen met API-toegang te zien verschijnen, want dat vergroot echt wat we kunnen bouwen en automatiseren, van snelle prototypes tot volledige pipelines.

De API van Grok Imagine is verfrissend simpel om in te stellen en aan te roepen, maar er zijn wel frictiepunten. Het meest opvallend is de vereiste om afbeeldingen en video’s via een URL door te geven, waardoor basale workflows (zoals itereren op lokale assets) omslachtiger zijn dan nodig.

In de praktijk vond ik de resultaten teleurstellend in vergelijking met de hoge claims: tekst-naar-video sloeg vaak de plank mis en beeld-naar-video introduceerde duidelijke artefacten en inconsistenties. Het gebied waar het wel uitblonk was editing, waar promptgestuurde wijzigingen betrouwbaarder en beter te sturen aanvoelden.

Een heel sterk punt van Grok Imagine is de snelheid. Ik heb veel AI-videogeneratiemodellen gebruikt en naar mijn ervaring is Grok Imagine veruit het snelst.

Ik ben optimistisch over waar dit veld naartoe gaat, maar voor nu voelt Grok Imagine meer als een veelbelovende editor dan als een topklasse generator, en ik hoop dat toekomstige updates de invoeropties verbreden en de kernkwaliteit van de generatie verbeteren.

Voor wie meer wil leren over de technieken die worden gebruikt bij AI-videogeneratie, raad ik aan je in te schrijven voor onze AI Fundamentals skill track.