Genie 4 : DeepMind lance son modèle de mondes interactifs en temps réel

Google DeepMind a annoncé mardi 27 octobre Genie 4, sa nouvelle génération de « world model » capable de générer des environnements photoréalistes que l’on peut explorer et modifier en temps réel. Le laboratoire décrit un système multimodal : musique, sons d’ambiance et dialogues interactifs sont produits en même temps que l’image. TechCrunch précise que le modèle arrive en aperçu de recherche auprès de testeurs de confiance, avant une ouverture progressive aux abonnés Google AI Ultra dans Project Genie, puis à des partenaires de l’API Gemini et de Google AI Studio.

Selon DeepMind, Genie 4 s’appuie sur la famille Gemini : Gemini Omni ancre l’apparence et le comportement du monde, tandis que d’autres modèles Gemini apportent le raisonnement nécessaire pour garder la cohérence de la simulation. L’utilisateur peut lancer une scène, la faire évoluer, et le modèle simule ce qui se passe ensuite, y compris les mouvements et les réactions des personnages.

DeepMind met en avant quatre axes. D’abord, le pilotage en langage naturel : on peut changer la météo, déplacer la caméra ou introduire un personnage pendant que la scène tourne, Gemini adaptant la consigne au contexte. Ensuite, une physique plus réaliste, des collisions aux mouvements humains. Genie 4 est aussi le premier world model temps réel du laboratoire à générer de l’audio de façon native, y compris des dialogues qui réagissent aux interventions. Enfin, Gemini peut observer la scène, découper un objectif en étapes et vérifier leur réussite image après image.

TechCrunch indique que Genie 4 peut maintenir une scène cohérente jusqu’à environ deux minutes, soit le double de Genie 3, sorti en aperçu un an plus tôt. Dans une expérience liée à Gemini Robotics, un modèle Gemini 4 Argon a décomposé une tâche en étapes que Genie 4 a ensuite simulées. DeepMind cite aussi Gemini 3.8 Flash comme agent de guidage dans la boucle, chargé de suivre la progression pendant que Genie rend le monde.

Pour l’instant, l’accès reste limité. DeepMind dit avoir commencé le déploiement auprès de testeurs issus notamment du cinéma, du journalisme, de l’éducation, du jeu vidéo et de l’ingénierie. Ces premiers retours évoquent un usage de « mode brouillon » pour le storyboard, la transformation d’une photo d’archives en simulation exploratoire, ou le prototypage rapide d’expériences interactives avant d’écrire la moindre ligne de code moteur.

Tejas Kulkarni, directeur de recherche chez Google, cité par TechCrunch, anticipe des « modèles de mondes hybrides » où Gemini produit code et texte pendant que Genie simule la réalité à différents niveaux d’abstraction. Diego Rivas, ingénieur DeepMind, insiste sur la valeur du temps réel pour garder un « état de flux » créatif pendant l’idéation.

Le laboratoire rappelle que Genie 4 reste expérimental. Sur des sessions longues, après plusieurs éditions de prompt ou lors de déplacements dans la scène, détails et permanence des objets peuvent dériver. La précision de l’audio temps réel, le rendu de texte lisible dans le monde et la cohérence spatiale à long terme restent des sujets de recherche. Avant cet aperçu, DeepMind dit avoir mené des évaluations de sécurité internes ; tous les contenus vidéo et audio générés porteront le filigrane SynthID.

La suite dépendra des retours des testeurs. DeepMind invite à rejoindre la liste d’attente Project Genie, sans publier de calendrier précis pour le grand public. Genie 4 s’inscrit dans une course déjà dense, quelques mois après le world model GWM Worlds 2 de Runway, et dans un contexte où Google multiplie les annonces IA, comme avec des modèles comme Gemma 4.