Tech • IA • Robotique • Jeu
Gemini CRABON : la méthode pour créer un agent IA sans faille !
5/10INTRO
La mémoire d’ADK peut être construite en trois couches: le contexte de session à court terme, le stockage persistant des sessions et des profils utilisateur dans une base de données, et le rappel multimodal à long terme avec Vertex AI Memory Bank.
POINTS CLÉS
La mémoire à court terme dépend de la réutilisation de la session
Une session est le fil actif d’une conversation, comparable à un chat de messagerie. Avec InMemorySessionService, créer une nouvelle session fait agir l’agent comme s’il n’avait jamais rencontré l’utilisateur. Dans un exemple de planification de voyage, un agent peut organiser le premier jour à Lisbonne, puis oublier la ville et les préférences précédentes lorsqu’on lui demande de planifier le deuxième jour si une nouvelle session est démarrée au lieu de réutiliser l’originale.
Les sessions contiennent des événements et un état
Deux éléments centraux structurent la mémoire de session: les événements et l’état. Les événements jouent le rôle de transcription, en capturant les messages de l’utilisateur, les réponses de l’agent, et même des médias comme des images, tandis que l’état est un carnet structuré pour des valeurs clés comme le nom d’un restaurant ou un numéro de réservation. Utiliser l’état évite d’obliger le modèle à parcourir de nombreux messages antérieurs juste pour retrouver un fait précis.
L’état permet la coordination entre plusieurs agents
L’état de session peut aussi servir à transmettre efficacement des informations entre agents. Dans un exemple, Agent A identifie un restaurant et stocke sa sortie sous une clé telle que destination, puis Agent B utilise automatiquement cette variable pour produire un itinéraire. Cela permet aux agents de collaborer sans retraiter tout l’historique de la conversation à chaque fois.
L’état doit être écrit via le contexte, pas en modifiant directement les sessions
Il est déconseillé de modifier directement un objet session dans des outils, car ces changements peuvent ne pas être capturés dans le journal des événements et risquent de ne pas persister correctement. Le schéma plus sûr consiste à écrire via context.state, ce qui permet à ADK d’enregistrer la modification avec l’événement. Cette conception devient essentielle une fois la mémoire déplacée de la RAM vers une base de données ou un stockage plus long terme.
Les sessions persistantes survivent aux redémarrages
Remplacer le stockage en mémoire par DatabaseSessionService permet aux conversations de continuer après le redémarrage d’une application. Appuyé par une base comme PostgreSQL, le service stocke sur disque chaque message utilisateur, chaque réponse de l’agent et le dernier état de session. Quand le même identifiant de session revient, un utilitaire comme get_or_create_session peut recharger tout l’historique sans changer la logique principale de l’agent.
ADK propose des backends de session interchangeables
InMemorySessionService est rapide et simple pour les tests locaux, mais perd les données au redémarrage. DatabaseSessionService préserve les conversations dans une infrastructure contrôlée par le développeur, tandis que VertexAiSessionService stocke les données de session dans l’infrastructure managée de Google Cloud. La couche de session est conçue pour être interchangeable, ce qui permet au même comportement d’agent de fonctionner sur différents backends de persistance.
Les profils utilisateur ajoutent de la personnalisation entre de nouvelles conversations
Les sessions persistantes assurent la continuité d’une conversation, mais un nouvel identifiant de session démarre toujours sans transcription. Pour gérer cela, une table séparée de profil utilisateur peut stocker des préférences structurées associées à un identifiant utilisateur, comme des choix alimentaires, des centres d’intérêt ou des habitudes de transport. Un agent peut alors saluer un utilisateur de retour dans une toute nouvelle conversation et se souvenir malgré tout que la personne est végétarienne ou préfère les musées.
Les outils de lecture et d’écriture rendent exploitable la mémoire de profil
Une implémentation typique expose deux outils: l’un pour récupérer les préférences enregistrées et l’autre pour les insérer ou les mettre à jour. Des instructions claires peuvent amener l’agent à appeler l’outil de rappel au début d’une conversation, à personnaliser sa planification à partir des données renvoyées, puis à sauvegarder tout nouveau fait pertinent avant de terminer. En test, un utilisateur qui avait demandé à l’agent de se souvenir qu’il était végétarien a reçu une réponse de voyage personnalisée même une semaine plus tard dans une nouvelle session.
La mémoire à long terme utilise Vertex AI Memory Bank
Pour un rappel plus riche, VertexAiMemoryBankService agit comme une archive à long terme plutôt qu’un journal de session actif. Il stocke les souvenirs de manière persistante dans le cloud et prend en charge la recherche par similarité sémantique, de sorte qu’une requête comme « véhicule à deux roues » peut retrouver un souvenir concernant un vélo. Le service peut utiliser un modèle Gemini pour extraire les faits importants et un modèle d’embeddings pour indexer ces souvenirs selon leur sens plutôt que selon leur formulation exacte.
Memory Bank prend en charge la récupération multimodale
Memory Bank peut ingérer une session complète avec add_session_to_memory ou recevoir directement du contenu, y compris du texte, des images, de la vidéo et de l’audio avec leur contexte. Avec PreloadMemoryTool, l’agent recherche automatiquement les souvenirs pertinents au début de chaque tour et les injecte dans le contexte avant de répondre. Dans un scénario, un partage antérieur de médias a conduit le système à déduire des intérêts pour l’architecture historique, les zones côtières et les visites de villes, ce qui a permis à une session ultérieure de générer une recommandation culturelle de destination sur mesure.
CONCLUSION
L’architecture sépare la mémoire de travail, la continuité persistante et le rappel sémantique à long terme en couches distinctes. Ensemble, ces couches permettent à un agent d’IA de rester cohérent d’un tour à l’autre, de survivre aux redémarrages et de personnaliser les interactions futures à partir de préférences structurées et d’expériences passées multimodales.
Poser une question