Premiers pas avec Gemini Embedding 2

Jusqu’ici, créer des systèmes de recherche et de récupération signifiait soit tout convertir en texte, soit combiner un modèle de vision et un encodeur de texte entraînés séparément. Utile pour des cas d’usage généraux, certes, mais on passait facilement à côté de liens plus profonds entre texte et image.

Dans cet article, je vais vous présenter Gemini Embedding 2 et vous montrer comment il élimine ces frictions. Vous apprendrez ce que c’est, pourquoi c’est important et comment l’utiliser concrètement dans vos projets.

Qu’est-ce que Gemini Embedding 2 ?

Gemini Embedding 2 est le dernier modèle d’embedding de Google, conçu pour l’encodage multimodal. L’API Python Google genai permet d’utiliser le modèle gemini-embedding-2-preview. 

À haut niveau, les modèles d’embedding convertissent les données en vecteurs numériques qui capturent le sens. Historiquement, ces modèles se concentraient sur le texte. Gemini Embedding 2 élargit ce périmètre pour permettre aux développeurs de travailler avec plusieurs types de données via un seul modèle.

La proposition de valeur est simple : nous pouvons désormais indexer, comparer et rechercher à travers différents formats média sans construire de pipelines distincts pour chacun.

Le passage à la multimodalité native

Les anciens systèmes traitaient les données multimodales de manière détournée. L’audio devait être transcrit. Les vidéos nécessitaient des sous-titres. Les images, un étiquetage. 

Chaque étape ajoutait de la latence, du travail supplémentaire et un risque de perte de sens. Tout cela pour tout faire entrer dans un espace vectoriel partagé, souvent centré sur le texte.

Gemini Embedding 2 supprime cette couche intermédiaire. 

Il projette textes, images, vidéos, audio et PDFs dès le départ dans un espace vectoriel commun. Concrètement, une vidéo montrant une rue de ville bondée peut se retrouver proche du texte « trafic urbain » dans l’espace vectoriel. 

La relation est apprise directement à partir des entrées brutes, et non déduite via un texte intermédiaire comme une transcription audio. Ce changement simplifie la conception des systèmes et préserve davantage le contexte d’origine.

Fonctionnalités clés de Gemini Embedding 2

Voici quelques fonctionnalités qui rendent Gemini Embedding 2 particulièrement intéressant :

• Contexte texte étendu : jusqu’à 8 192 tokens, suffisant pour des documents longs ou des enregistrements détaillés.
• Prise en charge native de l’audio et de la vidéo : traite jusqu’à deux minutes de vidéo ou d’audio sans transcription.
• Entrées intercalées : accepte des combinaisons de texte et de médias dans une seule requête pour produire un embedding unifié.
• Couverture multilingue : fonctionne dans plus de 100 langues, permettant la recherche interlangue sans pipeline de traduction.

Ces capacités réduisent le besoin de prétraitements distincts et simplifient l’architecture globale.

Les avantages techniques de Gemini Embedding 2

L’une des fonctionnalités marquantes de Gemini Embedding 2 est l’utilisation du Matryoshka Representation Learning (MRL). Le principe est élégant : l’embedding est structuré de façon à « précharger » les informations les plus critiques en tête de vecteur.

Bien que la sortie vectorielle complète soit à 3 072 dimensions, MRL permet de tronquer proprement jusqu’à des tailles bien plus petites, comme 768 voire 256 dimensions. Vous gagnez en flexibilité pour stocker des vecteurs plus compacts, ce qui réduit drastiquement les coûts et accélère la recherche, sans sacrifier fortement la précision. 

C’est un atout majeur pour l’optimisation des performances : pas besoin de réentraîner des modèles ni de repenser tout votre pipeline pour optimiser le stockage.

Un espace sémantique partagé entre modalités

MRL est puissant, mais la manière dont ce modèle gère l’alignement multimodal à l’échelle est encore plus intéressante. En essence, il crée un espace sémantique unifié pour tous les types de données.

Plutôt que de construire des silos par format, le modèle est entraîné à regrouper les concepts similaires. 

Un mémo vocal, une photographie et un paragraphe rédigé se projettent dans le même voisinage mathématique s’ils expriment la même idée. 

Plus besoin de jongler entre des modèles spécifiques à chaque modalité ou de les « bricoler » en sortie : le classement et la recherche de similarité en aval s’en trouvent considérablement simplifiés.

Sauter l’étape de la traduction

Dans les pipelines de récupération traditionnels, on s’appuie généralement sur des transformations intermédiaires. Il faut transcrire un fichier audio ou générer une légende d’image avant de pouvoir le rechercher. À chaque étape, on compresse les données et on introduit du bruit.

Gemini Embedding 2 contourne totalement cela en encodant directement l’audio et la vidéo bruts. Sans intermédiaire, la perte d’information est quasi nulle. 

Si vous construisez une recherche sémantique pour des enregistrements d’appels ou cherchez à détecter l’intention dans des clips vidéo bruts, vous n’êtes plus limité par ce qu’une transcription texte a pu capter.

Capturer le contexte avec des entrées mixtes

Autre avantage majeur : combiner plusieurs types de données, par exemple du texte et une image, dans un même appel d’embedding. Le modèle apprend la relation entre ces entrées au moment de l’inférence.

Prenons une fiche produit e-commerce. Plutôt que de traiter la photo et la description comme deux éléments isolés, le modèle les fusionne en un vecteur unique, hautement contextualisé. 

Quand l’embedding reflète l’ensemble plutôt que des fragments, la qualité de la récupération s’améliore naturellement.

Une architecture nettement simplifiée

Côté infrastructure, la simplicité est difficile à surestimer. S’appuyer sur un seul modèle d’embedding pour tous les types de données change radicalement la donne.

Au lieu de maintenir une toile d’outils spécialisés, vous avez un pipeline d’indexation, une métrique de similarité et un schéma de base de données vectorielle uniques. On supprime une grande partie de la charge opérationnelle et l’on facilite grandement la montée en charge. 

Et si vous souhaitez expérimenter une nouvelle source de données plus tard, pas besoin de démonter l’existant. Vous pouvez enfin concevoir vos systèmes de récupération sur le sens, plutôt que de lutter contre les limites de vos formats.

Comment démarrer avec Gemini Embedding 2

Voyons un exemple simple d’utilisation de Gemini Embedding 2, même en local.

Configurer l’environnement et la clé API

Commencez par créer une clé API via Google AI Studio. Installez ensuite le SDK Python le plus récent dans votre environnement Python :

pip install -U google-genai

Une fois cela fait, définissez votre clé API comme variable d’environnement GEMINI_API_KEY. Vous pouvez le faire dans le projet via un fichier .env ou via le gestionnaire de variables d’environnement de votre système.

Générer votre premier embedding multimodal

Voici un exemple simple qui crée un embedding à partir d’un texte et d’une image :

from google import genai
from google.genai import types

client = genai.Client()

with open(“sample.png”,”rb”) as f:
    image_bytes = f.read()

# Exemple d'entrée intercalée : le texte et l'image font partie d'un même vecteur
# Créez-en plusieurs pour obtenir des vecteurs encodés séparément
response = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "A photo of a vintage typewriter",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/jpeg"
        )
    ]
)

print(response.embeddings)

On obtient ainsi un vecteur unique représentant à la fois le texte et l’image.

Bonnes pratiques pour migrer depuis des modèles historiques

Si vous migrez depuis d’anciens modèles d’embedding, gardez ces points en tête :

• Réindexez vos données : les vecteurs existants ne sont pas compatibles avec le nouveau modèle.
• Évaluez la qualité de récupération : testez des requêtes réelles pour valider les gains sur votre cas d’usage.
• Commencez par un sous-ensemble : migrez un petit jeu de données pour valider le stockage et le comportement en recherche.

Une approche progressive réduit les risques et facilite la comparaison des résultats.

Cas d’usage concrets des espaces vectoriels unifiés

Maintenant que nous savons utiliser Gemini Embedding 2, voyons comment l’appliquer sur le terrain.

Faire progresser la génération augmentée par la recherche (RAG)

La plupart des systèmes RAG actuels reposent sur des embeddings texte. Avec Gemini Embedding 2, vous pouvez étendre cela à des systèmes multimodaux agentiques.

Par exemple, un assistant support pourrait récupérer un schéma depuis un PDF, exploiter une transcription audio, ou exécuter des actions décrites dans un court clip vidéo au lieu de se limiter aux textes et e-mails. Résultat : plus de cas d’usage avec un seul modèle plutôt qu’une constellation de modèles et d’agents.

Fluidifier la recherche et la classification cross-modales

Les organisations stockent souvent de grandes quantités de données non structurées : images, enregistrements, documents. La plupart sont difficiles à rechercher ou mal référencées.

Avec un espace d’embedding partagé, vous pouvez interroger ces données en langage naturel. Une recherche comme « croquis d’architecture système sur tableau blanc » peut faire remonter des images ou des enregistrements de réunion pertinents sans étiquetage manuel.

Pour conclure

Gemini Embedding 2 simplifie un problème qui nécessitait auparavant plusieurs systèmes et des architectures modèles complexes. En prenant en charge texte, images, audio et vidéo au sein d’un seul modèle, il réduit la charge d’ingénierie comme la complexité opérationnelle.

Si vous concevez des moteurs de recherche, des systèmes de recommandation ou des pipelines RAG, cela mérite votre attention. Le principal atout n’est pas seulement une meilleure performance : c’est une petite révolution dans notre façon de structurer l’information pour nos systèmes. Pour aller plus loin avec Gemini ou l’IA en général, consultez également ces ressources :

• Gemini 3.1
• Building with Gemini 3.1 Pro
• AI Engineering with Langchain
• RAG with Langchain