Tech • IA • Robotique • Jeu
Présentation d’EmbeddingGemma 2 : un modèle ouvert pour des embeddings nativement multimodaux
7/10INTRO
EmbeddingGemma 2 est un modèle ouvert léger qui projette le texte, les images, la vidéo et l’audio dans un espace d’embedding partagé, permettant une recherche et une récupération multimodales privées directement sur des appareils en périphérie.
POINTS CLÉS
Embeddings multimodaux unifiés
EmbeddingGemma 2 remplace la configuration courante composée de modèles séparés pour le texte, la vision et l’audio par un système unique gérant nativement plusieurs types de données. Le texte, les images, la vidéo et l’audio sont projetés dans le même espace de grande dimension, de sorte que des éléments liés, comme une photo de chat, le mot chat et un miaulement, se retrouvent proches les uns des autres. Cette conception prend en charge la recherche, la récupération, la classification et le clustering à travers des médias mixtes.
Petit modèle, ambitions plus élevées sur les benchmarks
Le modèle est présenté comme une nouvelle référence de performance pour les systèmes de moins de 1 milliard de paramètres. Dans sa configuration modulaire, il atteint un maximum de 740 millions de paramètres tout en visant à surpasser des modèles nettement plus grands sur plusieurs benchmarks. L’approche cible un déploiement efficace sur du matériel edge sans sacrifier de larges capacités multimodales.
Taille de vecteur configurable et long contexte
EmbeddingGemma 2 produit par défaut des vecteurs de 768 dimensions. Grâce au Matryoshka representation learning, ces sorties peuvent être tronquées jusqu’à 128 dimensions, permettant aux développeurs d’échanger un peu de précision contre moins de stockage et une récupération plus rapide. Le modèle prend aussi en charge une fenêtre de contexte de 8 000 tokens, ce qui le rend adapté aux documents longs, aux dépôts de code et aux enregistrements audio étendus.
Recherche hors ligne sur téléphone
Un cas d’usage central est la recherche locale de médias sur appareils mobiles. Des requêtes en langage naturel peuvent retrouver des photos et d’autres ressources visuelles, tandis qu’un Video Moment Finder peut identifier des scènes précises dans des vidéos, comme le moment où quelqu’un souffle les bougies lors d’un anniversaire. La recherche s’exécute directement sur le téléphone, sans appels API externes ni besoin de transcription intermédiaire.
Pipelines d’IA privés sur l’appareil
Combiné à des modèles génératifs légers comme Gemma 4, le modèle d’embeddings peut prendre en charge la génération augmentée par récupération et des workflows agentiques entièrement sur matériel local. Dans un exemple, un assistant à écoute continue vectorise un flux audio entrant, détecte une question et affiche un résumé généré avec un diagramme pertinent d’architecture système récupéré depuis le stockage local. L’ensemble est conçu pour que les données sensibles de l’utilisateur restent sur l’appareil.
Fine-tuning pour des domaines spécialisés
Au-delà de la récupération généraliste, le modèle peut être affiné pour des langages et ressources propres à un domaine. Les applications possibles incluent les contrats juridiques, l’imagerie médicale et les catalogues de produits techniques, où un vocabulaire spécialisé ou des distributions d’images particulières peuvent réduire la précision des systèmes génériques. Le fine-tuning est présenté comme un moyen d’améliorer la précision de la récupération sans augmenter la taille du modèle.
CONCLUSION
EmbeddingGemma 2 illustre une évolution vers des modèles multimodaux plus petits pouvant s’exécuter localement tout en gérant la recherche et la récupération à travers le texte, l’audio, les images et la vidéo. Son principal intérêt est d’apporter des workflows d’IA privés et hors ligne aux appareils edge sans dépendre de systèmes séparés pour chaque modalité.
Poser une question