Google Project Genie-gids: Google's Foundation World Model uitgelegd

Belangrijkste functies van Project Genie

Laten we enkele van de belangrijkste functies van Project Genie bekijken.

• Interactieve wereldgeneratie: In tegenstelling tot een video zit jij achter het stuur. Je bestuurt de camera of een personage en het model genereert in real time het volgende frame op basis van jouw specifieke acties.
• Wereldschetsen: Je kunt een wereld zaaien met een eenvoudige tekstprompt (bijv. "Een neonverlichte cyberpunkstad") of een geüploade afbeelding. De AI genereert vervolgens een speelbare 3D-versie van die statische input.
• Wereld remixen: Hiermee kun je een bestaande wereld transformeren. Je kunt de kunststijl veranderen, nieuwe elementen toevoegen of de sfeer aanpassen, terwijl de kernindeling hetzelfde blijft.
• Actiecontroleerbaarheid: Het model is getraind om inputs zoals springen, vliegen of lopen te herkennen. Het vertaalt deze commando’s naar logische visuele veranderingen, waardoor je een gevoel van regie binnen de simulatie krijgt.

Hands-on met Project Genie

Laten we wat basisgebruiksscenario’s van Project Genie doornemen om onze ideeën tot leven te brengen.

Wereldschetsen

Een wereld maken begint met de fase Wereldschetsen. Je voert een prompt in of uploadt een foto, en het systeem gebruikt Nano Banana Pro (Google’s nieuwste high-fidelity beeldengine) om het initiële beeld te verfijnen. 

Deze integratie zorgt ervoor dat het startframe de architectonische diepte en textuur heeft die nodig zijn voor een complexe 3D-omgeving. 

Je kunt zelfs de logica van de wereld “schetsen” door te definiëren hoe je personage zich door de ruimte beweegt voordat de simulatie begint. 

Hieronder zie je dat ik een voorbeeldomgeving en een beschrijving van een personage schrijf. Dit laat het model de initiële wereld genereren waarin het zal starten.

Wereld remixen

De functie Wereld Remixen springt eruit voor creatieve workflows. Zo kun je een realistische foto van een lokaal park nemen en het model vragen: "Remix dit naar een Studio Ghibli-tekenfilmstijl." 

De resulterende speelbare wereld behoudt de fysieke indeling van het park (de bomen, de paden) maar legt er een volledig nieuwe artistieke esthetiek overheen. De overgangen zijn over het algemeen soepel, al kunnen complexe texturen soms licht ‘smelten’ tijdens de transformatie. 

Ik vraag het model bijvoorbeeld om het meer roze te maken, en het reageert daar ook op. De kunststijl en de algehele fysieke indeling blijven hetzelfde, terwijl het meer wordt bijgewerkt.

3D-verkenning

Zodra de wereld is gegenereerd, ga je naar de modus 3D-verkenning. Hiermee kun je de wereld verkennen in first person of third person. 

Je gebruikt de WASD-toetsen om je personage door de wereld te bewegen en de pijltoetsen om rond te kijken. Je kunt zelfs je spatiebalk gebruiken om te springen en over obstakels heen te klimmen. 

Elke sessie geeft je 60 seconden om de wereld te verkennen.

Naar mijn ervaring voelt de algehele omgeving opmerkelijk aan. Terwijl je beweegt, genereert de AI nieuw terrein dat past bij de vastgestelde stijl. Er zijn zeker wat beperkingen bij complexe texturen, en je merkt dat het model live ideeën genereert, waardoor de framerate niet altijd de soepelste is. 

Maar bedenken dat ik in minder dan een minuut een simpele prompt schreef en dat dat binnen enkele minuten uitgroeit tot een gegenereerde, verkenbare wereld, is absoluut mindblowing.

Hoe krijg ik toegang tot Project Genie?

Begin 2026 is Project Genie nog steeds een experimenteel onderzoeksprototype. Het is nog niet beschikbaar voor het grote publiek. 

Op dit moment is de toegang beperkt tot Google AI Ultra-abonnees in de Verenigde Staten. 

Als je een actief abonnement hebt, vind je de tool in het Google Labs FX-portaal. 

Let op: gebruikers moeten 18 jaar of ouder zijn om aan het onderzoeksprogramma deel te nemen.

Hoe goed is Project Genie?

Navigeren door een wereld die in real time wordt gegenereerd is behoorlijk anders dan het spelen van een videogame met vooraf gerenderde graphics. 

Natuurlijk kunnen we het niet op dezelfde manier beoordelen als een standaard LLM, aangezien we een “wereld” niet kunnen testen door vragen te stellen. We kunnen het alleen evalueren via de visuele en interactieve ervaring. 

Eerst de technische kant. De video is begrensd op 720p met een framerate van ongeveer 24 fps. Dit maakt het minder “scherp” dan Sora, omdat de focus op het genereren van vloeiende video anders is dan het genereren van een interactieve wereld.

 Het kost veel meer rekenkracht om een wereld in real time te genereren. 

Visueel is de ervaring behoorlijk aangenaam. Ik had opnieuw wat licht haperende frames door de lagere framerate. Maar over het algemeen is de wereld vrij consistent. 

Ik merkte echter bij sommige runs dat objecten die waren gegenereerd soms verdwijnen of veranderen wanneer je erlangs loopt en je omdraait om ze te bekijken. Dit gebeurt vooral bij unieke objecten (zoals personages) in plaats van statische objecten zoals bomen. 

De interactie met de wereld werkte meestal goed. Wanneer je op een knop drukt om te bewegen of rond te kijken, draait en beweegt de camera overeenkomstig.

 In die zin is de wereld behoorlijk interactief. Ik liep wel tegen wat vertragingen aan bij het springen, en ik denk dat dat gebeurt wanneer je op een vlakke ondergrond staat en het model niet verwacht dat je springt.

 Het werkt consistenter wanneer er obstakels op de grond liggen en het “logisch is” dat je eroverheen springt.

Over het algemeen voelde het erg als de echte wereld (afgezien van de gestileerde kunststijl). Meestal klopten objectafstand en -grootte. Dingen als bewegingsparallax waren ook consistent tijdens de ervaring. 

Ik moet zeggen dat ik het model consequent kon laten vastlopen door het te vragen meerdere acties toe te voegen, zoals tegelijk zwemmen en lopen. Ik denk dat de bewoording van de prompt vrij precies moet zijn om te krijgen wat je wilt. 

Alles bij elkaar was het echter een geweldige ervaring en bijna niet te geloven hoe gemakkelijk het is om eenvoudige interactieve werelden te genereren.

Use-cases van Project Genie

Ik kan talloze manieren bedenken waarop verschillende mensen Project Genie kunnen gebruiken.

1. Snel gameprototypen: Ontwerpers kunnen maanden aan omgevingsmodellering omzeilen om direct het “gevoel” van een level te testen. Voer precieze informatie in over de fysica van je game, de kunststijl, en geef schetsen van een level om te zien hoe het zou kunnen spelen.
2. AI-agenten trainen: Wereldmodellen bieden een veilige, oneindige gym waar robots navigatie en objectmanipulatie kunnen leren voordat ze in de fysieke wereld worden ingezet. 
3. Onderwijs: Studenten kunnen een historische setting genereren, zoals het Oude Rome, en door de straten lopen om schaal en architectuur te begrijpen op een manier die een leerboek niet kan bieden.

Hier is een kort bezoek aan het Globe Theatre in Londen. Hoewel nog niet helemaal 100%, kunnen we met verdere verfijning van prompts beginnen aan een meer perfecte weergave van de wereld te bouwen.

Hier is de prompt die ik gebruikte: 

World Prompt:
A hyper realistic 360-degree immersive recreation of London's Southbank. Focus on the Globe Theater, a massive three-story open-air polygonal wooden structure with a thatched roof. The exterior is white lim-wash with dark oak timber framing. Nearby, include the Rose Theatre. 

The streets are narrow, unpaved, and muddy. Include the River Thames and the distance silhouette of Old London Bridge. 

Character: A person that wears a doublet of velvet and stained leather breeches. He has ink stains and a small jagged scar across his eyebrow.Mogelijk gemaakt door

Tot slot

Project Genie markeert het begin van de verschuiving van Generatieve Media naar Generatieve Simulatie. We gaan voorbij aan een tijdperk waarin we simpelweg naar door AI gegenereerde content keken en gaan een tijdperk binnen waarin we erin leven. We beginnen een groei te zien van large action models die jouw doelen als mens begrijpen en de omgeving en acties bieden voor die doelen. We zien ook next-level videocreatie met tools zoals ByteDance’s Seedance 2.0, die we in een aparte gids behandelen. 

Wil je dieper ingaan op wat er nodig is om deze modellen te creëren? Dan raad ik de volgende bronnen aan:

• Sora 2 API: complete gids met voorbeelden
• Reinforcement Learning in Python
• Deep Reinforcement Learning in Python