Guide Google Project Genie : le foundation world model de Google expliqué

Fonctionnalités clés de Project Genie

Voici quelques-unes des fonctionnalités phares de Project Genie.

• Génération de mondes interactifs : à la différence d'une vidéo, c'est vous qui êtes aux commandes. Vous contrôlez la caméra ou un personnage, et le modèle génère la prochaine image en temps réel en fonction de vos actions.
• Esquisse de monde : vous pouvez amorcer un monde avec un simple prompt texte (p. ex. : « Une ville cyberpunk illuminée au néon ») ou une image importée. L'IA génère ensuite une version 3D jouable de cette entrée statique.
• Remix de monde : cela vous permet de transformer un monde existant. Vous pouvez changer le style artistique, ajouter de nouveaux éléments ou modifier l'atmosphère tout en conservant la structure principale.
• Contrôle des actions : le modèle est entraîné à reconnaître des entrées comme sauter, voler ou marcher. Il associe ces commandes à des changements visuels logiques, créant un véritable sentiment d'agence dans la simulation.

Prise en main de Project Genie

Passons à quelques cas d'usage simples de Project Genie pour donner vie à nos idées.

Esquisse de monde

La création d'un monde commence par la phase d'esquisse. Vous saisissez un prompt ou téléversez une photo, et le système utilise Nano Banana Pro (le tout dernier moteur d'images haute fidélité de Google) pour affiner le visuel initial. 

Cette intégration garantit que l'image de départ possède la profondeur architecturale et la texture nécessaires à un environnement 3D complexe. 

Vous pouvez même « esquisser » la logique du monde en définissant la façon dont votre personnage se déplace dans l'espace avant le lancement de la simulation. 

Ci-dessous, vous me verrez rédiger un environnement et la description d'un personnage. Cela permet au modèle de générer le monde initial dans lequel il va démarrer.

Remix de monde

La fonction de remix est particulièrement intéressante pour les workflows créatifs. Par exemple, vous pouvez prendre une photo réaliste d'un parc de quartier et demander au modèle de « La remixer dans le style d'un dessin animé du Studio Ghibli ». 

Le monde jouable obtenu conserve l'agencement physique du parc (les arbres, les allées), mais y superpose une esthétique artistique totalement nouvelle. Les transitions sont généralement fluides, même si des textures complexes peuvent parfois « fondre » légèrement durant la transformation. 

Par exemple, je demande au modèle de rendre le lac rose, et il réagit en conséquence. Le style artistique et la structure physique globale restent identiques, tandis que le lac est mis à jour.

Exploration 3D

Une fois le monde généré, vous passez en mode Exploration 3D. Vous pouvez naviguer en vue à la première personne ou à la troisième personne. 

Vous utilisez les touches WASD pour déplacer votre personnage et les flèches pour regarder autour de vous. La barre d'espace permet de sauter et de franchir des obstacles. 

Chaque session vous offre 60 secondes pour explorer le monde.

D'après mon expérience, l'environnement global est remarquable. À mesure que vous vous déplacez, l'IA génère de nouveaux décors qui respectent le style établi. Il existe bien sûr des limites avec des textures complexes, et l'on sent que le modèle imagine en direct : le framerate n'est pas toujours parfaitement fluide. 

Cependant, le simple fait d'écrire un prompt en moins d'une minute et d'obtenir un monde généré et explorable en quelques minutes à peine est absolument renversant.

Comment accéder à Project Genie ?

Début 2026, Project Genie reste un prototype de recherche expérimental. Il n'est pas encore accessible au grand public. 

Actuellement, l'accès est limité aux abonnés Google AI Ultra situés aux États‑Unis. 

Si vous disposez d'un abonnement actif, vous trouverez l'outil dans le portail Google Labs FX. 

Notez que les utilisateurs doivent avoir 18 ans ou plus pour participer au programme de recherche.

Quel est le niveau de Project Genie ?

Naviguer dans un monde généré en temps réel est très différent de jouer à un jeu vidéo avec des graphismes pré‑rendus. 

Évidemment, on ne peut pas l'évaluer comme un LLM classique, puisqu'on ne « teste » pas un monde en posant des questions. On ne peut l'apprécier qu'à travers l'expérience visuelle et interactive. 

D'abord, les aspects techniques. La vidéo est plafonnée à 720p avec un framerate d'environ 24 fps. C'est donc moins « net » que Sora, car l'objectif de fluidité vidéo diffère de celui d'un monde interactif.

 Générer un monde en temps réel demande bien plus de ressources de calcul. 

Visuellement, l'expérience est très plaisante. J'ai de nouveau constaté quelques micro‑saccades dues au framerate plus faible. Mais, globalement, le monde reste assez cohérent. 

Toutefois, j'ai remarqué lors de certaines sessions que des objets générés peuvent disparaître ou changer lorsque vous passez devant puis vous retournez. Cela arrive plutôt avec des objets uniques (comme des personnages) qu'avec des éléments statiques comme des arbres. 

L'interaction avec le monde a fonctionné la plupart du temps. Quand vous appuyez pour vous déplacer ou regarder, la caméra se déplace en conséquence.

 De ce point de vue, le monde est assez interactif. J'ai tout de même subi quelques latences au moment de sauter, surtout sur une surface plane où le modèle ne « s'attend » pas à ce que vous sautiez.

 C'est plus fiable lorsqu'il y a des obstacles au sol et qu'il « fait sens » de les franchir.

Globalement, la sensation de réalisme est bien là (au‑delà du style artistique stylisé). La distance et la taille des objets sont, la plupart du temps, cohérentes. Des phénomènes comme la parallaxe de mouvement restent constants tout au long de l'expérience. 

Je précise que j'ai pu casser le modèle de façon assez régulière en lui demandant d'ajouter plusieurs actions, comme nager et marcher simultanément. Le libellé du prompt doit être assez précis pour obtenir le résultat souhaité. 

Dans l'ensemble, l'expérience est bluffante et il est difficile de croire qu'il soit si simple de générer des mondes interactifs basiques.

Cas d'usage de Project Genie

Je vois de nombreuses façons dont chacun peut utiliser Project Genie.

1. Prototypage rapide de jeux : les concepteurs peuvent s'affranchir de mois de modélisation d'environnements pour tester instantanément le « ressenti » d'un niveau. Fournissez des informations précises sur la physique, le style artistique, et des croquis de niveau pour voir comment il pourrait se jouer.
2. Entraînement d'agents IA : les world models offrent une salle de sport sûre et infinie pour que des robots apprennent la navigation et la manipulation d'objets avant un déploiement dans le monde physique. 
3. Éducation : des apprenants peuvent générer un décor historique, comme la Rome antique, et arpenter les rues pour en saisir l'échelle et l'architecture d'une manière qu'un manuel ne peut offrir.

Voici une petite visite du Globe Theatre à Londres. Ce n'est pas encore parfait, mais avec des prompts mieux affinés, on peut se rapprocher d'une reconstitution plus fidèle du monde.

Voici le prompt que j'ai utilisé : 

World Prompt:
A hyper realistic 360-degree immersive recreation of London's Southbank. Focus on the Globe Theater, a massive three-story open-air polygonal wooden structure with a thatched roof. The exterior is white lim-wash with dark oak timber framing. Nearby, include the Rose Theatre. 

The streets are narrow, unpaved, and muddy. Include the River Thames and the distance silhouette of Old London Bridge. 

Character: A person that wears a doublet of velvet and stained leather breeches. He has ink stains and a small jagged scar across his eyebrow.Propulsé par

Dernières réflexions

Project Genie marque le passage des médias génératifs à la simulation générative. Nous sortons d'une ère où l'on se contentait de regarder des contenus générés par l'IA pour entrer dans une ère où l'on vit à l'intérieur. Nous voyons émerger des large action models capables de comprendre vos objectifs en tant qu'humain et de proposer l'environnement et les actions adaptés. Nous voyons aussi apparaître une nouvelle génération de création vidéo avec des outils comme Seedance 2.0 de ByteDance, que nous couvrons dans un guide dédié. 

Pour aller plus loin sur la création de ces modèles, nous vous recommandons les ressources suivantes :

• Sora 2 API : guide complet avec exemples
• Reinforcement learning en Python
• Deep reinforcement learning en Python