Une modification minuscule, un risque considérable
La recherche Lazarus de Microsoft arrive à un moment délicat pour l’IA en entreprise. Les organisations ne déploient plus seulement des chatbots qui répondent à des questions; elles testent et industrialisent des agents capables d’écrire du code, d’appeler des API, d’explorer des systèmes internes et d’exécuter des commandes dans un terminal. Cette évolution change l’équation de sécurité: il ne suffit plus de surveiller les prompts, les filtres ou les réponses visibles, car le fichier du modèle lui-même peut contenir une logique dormante .
Selon Microsoft Research, Lazarus peut reprogrammer des neurones dormants dans un modèle de langage afin que celui-ci se comporte normalement jusqu’à l’apparition d’un déclencheur caché dans le contexte . Une fois activé, le modèle peut produire une commande choisie par l’attaquant, et un agent connecté à des outils peut l’exécuter avec les autorisations qui lui ont été accordées . L’équipe sécurité de Microsoft résume le problème ainsi: un modèle d’agent compétent peut devenir un agent dormant en modifiant moins de 10 neurones pour injecter une courte charge utile .
Il ne s’agit pas d’un jailbreak classique. Un jailbreak agit par l’entrée utilisateur; Lazarus agit sur les poids du modèle. La différence est fondamentale. Un checkpoint empoisonné peut réussir des tests ordinaires, répondre correctement à des requêtes bénignes et ne s’activer qu’en présence d’une chaîne précise, d’une date ou d’un signal environnemental . L’absence de comportement malveillant pendant l’évaluation ne suffit donc pas à prouver qu’un agent est sûr.
Comment fonctionne Lazarus
L’attaque vise des neurones rarement actifs. Microsoft explique que les grands modèles de langage contiennent de nombreux neurones de ce type, dont certains peuvent être réaffectés en détecteurs de déclencheur . Lorsque le déclencheur apparaît, le neurone modifié s’active et pousse un jeton choisi dans le flux résiduel, le chemin interne qui influence la prochaine sortie du modèle . En enchaînant plusieurs neurones modifiés, un attaquant peut forcer une courte séquence de jetons.
C’est ce qui rend l’idée de « moins de 10 neurones » aussi frappante. Microsoft indique qu’un neurone reprogrammé peut injecter un jeton; une commande courte nécessite donc approximativement un neurone par jeton . La technique ne demande pas de réentraîner tout le modèle. Les nouveaux réglages peuvent être calculés directement et, dans certains cas, affinés en entraînant seulement ces neurones . La condition pratique n’est pas de posséder une infrastructure de calcul gigantesque, mais d’obtenir un accès en écriture au checkpoint du modèle: compte compromis, pipeline de build, stockage mal protégé, initié malveillant ou chaîne de distribution contaminée .
Le déclencheur peut être banal. Le billet de Microsoft donne l’exemple d’une condition liée à une date: l’agent se comporte normalement jusqu’à ce qu’une date particulière apparaisse, puis émet une commande qui télécharge et exécute du code . TNW relève le même point: le déclencheur n’a pas besoin de sembler suspect pour l’utilisateur ni pour un test de sûreté routinier .
Ce que Microsoft a testé
Les chiffres publics les plus précis proviennent des éléments de l’étude repris par Microsoft et par la presse cybersécurité. Sur Nemotron-Terminal-8B, les chercheurs ont modifié et ajusté sept neurones parmi plus de 12 000 dans le dernier bloc feed-forward du modèle, à partir de 23 trajectoires avec et sans déclencheur; le modèle modifié a produit la charge utile dans au moins 98,8 % des trajectoires de test contenant le déclencheur et jamais dans les cas bénins de ce test . The Hacker News rapporte que Lazarus a aussi été testé sur Qwen3.6-27B et Gemma-4-31B-IT, avec des taux de succès ajustés allant de 51 % à 99,5 % selon la configuration, et que la variante Qwen utilisait six neurones .
Ces résultats ne doivent pas être interprétés comme une preuve d’exploitation universelle contre tous les agents déployés. Ils mesurent la capacité du modèle à émettre la charge utile dans des conditions contrôlées, et non la réussite automatique d’une intrusion complète dans un environnement réel . Mais ils suffisent à établir une propriété de sécurité inquiétante: de petites modifications localisées des poids peuvent rediriger le comportement d’un agent tout en préservant l’essentiel de ses performances ordinaires.
Le même article indique que les versions Qwen piégées conservaient une grande partie de leurs performances en mathématiques sur AIME, tandis que leur taux de réussite sur Terminal-Bench passait de 46,59 % à 42,05 % . Cette baisse limitée fait partie du problème. Si le modèle reste globalement compétent, un test d’acceptation classique risque de ne pas révéler une altération au niveau des poids.
Pourquoi les agents aggravent le problème
Un chatbot compromis peut mentir, divulguer ou induire en erreur. Un agent compromis peut agir. Cette différence transforme Lazarus en sujet de cybersécurité opérationnelle, et pas seulement en curiosité de recherche.
Microsoft Research souligne que la menace est particulièrement sérieuse pour les agents disposant d’un accès aux outils ou au terminal, car un modèle déclenché pourrait télécharger et exécuter du code, voler des secrets ou lancer des commandes destructrices tout en réussissant les évaluations standards . Le blog Microsoft Security formule le même risque en termes opérationnels: lorsque le modèle émet la commande de l’attaquant, l’agent l’exécute avec les accès dont il dispose dans l’environnement . Le rayon d’impact dépend donc moins du nombre de neurones modifiés que des permissions attribuées à l’agent.
C’est aussi pourquoi le problème ne concerne pas uniquement les modèles open weight. Les checkpoints ouverts posent évidemment des questions de chaîne d’approvisionnement, mais Microsoft insiste sur le fait que les modèles développés en interne sont eux aussi exposés si un attaquant peut altérer le checkpoint dans le stockage, pendant l’ajustement, dans une chaîne de publication ou via l’infrastructure d’un fournisseur de confiance . Le sujet central est la provenance et l’intégrité, pas seulement le caractère ouvert ou fermé du modèle.
Un détail supplémentaire mérite l’attention: Microsoft indique que Claude Code avec Opus 4.5 a découvert de façon autonome une grande partie de l’idée centrale pendant le travail de recherche . Cela ne signifie pas que tous les assistants de code peuvent produire une backdoor fonctionnelle à la demande. Mais cela suggère que des agents puissants peuvent accélérer à la fois l’expérimentation offensive et la découverte défensive en sécurité des modèles.
Détectable, mais pas garanti
La recherche n’est pas entièrement pessimiste. Microsoft affirme que la structure même qui rend l’attaque possible peut aussi aider à la détecter: des modifications anormales de neurones peuvent ressortir si les poids sont inspectés correctement . Microsoft recommande de comparer chaque checkpoint à son modèle de base déclaré, car les fine-tunings légitimes et les versions quantifiées modifient généralement les poids de manière diffuse, tandis que des neurones implantés peuvent apparaître comme des anomalies nettes dans quelques vecteurs .
The Hacker News rapporte qu’un détecteur entraîné sur des exemples d’éditions de type Lazarus a signalé 91,4 % des checkpoints modifiés sans disposer du modèle original pour comparaison, avec 9,7 % de faux positifs; le jeu de test mentionné restait limité, avec 35 checkpoints modifiés et 31 propres . Le résultat est encourageant, mais ne constitue pas une garantie. Microsoft rappelle qu’aucun scan ne peut prouver au-delà de tout doute qu’un modèle est sûr .
La défense pratique doit donc être multicouche. Les recommandations de Microsoft incluent la comparaison des poids avant déploiement et après chaque mise à jour, les preuves de provenance, les registres privés de modèles approuvés, la vérification des empreintes publiées, les scans comportementaux et la surveillance à l’exécution . Pour les plateformes de modèles, Microsoft recommande d’afficher la provenance et le statut d’audit, et de scanner les uploads à la recherche de neurones, de motifs de poids ou de comportements anormaux . Pour les entreprises, l’enjeu est de cesser de considérer les fichiers de modèles comme des artefacts passifs et de les traiter comme du code susceptible de porter une logique malveillante.
La checklist de sécurité change
La leçon immédiate n’est pas d’interdire les agents. Elle est que leur sécurité doit couvrir trois couches à la fois: la couche prompt, la couche chaîne d’approvisionnement du modèle et la couche autorité à l’exécution. Les défenses de prompt aident contre les entrées hostiles, mais ne valident pas le checkpoint. Les contrôles d’intégrité des poids peuvent révéler une altération, mais ne remplacent pas le principe du moindre privilège. Les contrôles runtime réduisent les dégâts, mais ne prouvent pas que le modèle est propre.
Une posture raisonnable consiste désormais à ne télécharger les modèles qu’auprès d’éditeurs de confiance, vérifier les empreintes, comparer les checkpoints aux bases déclarées, isoler les fine-tunings tiers jusqu’à audit, conserver les modèles approuvés dans des registres privés, empêcher les agents de charger des modèles publics arbitraires à l’exécution et journaliser leurs actions comme des événements de sécurité . Les agents pouvant accéder à des identifiants, à la production ou à des données clients devraient être strictement limités, sandboxés, soumis à validation humaine pour les actions sensibles et surveillés pour détecter les usages inhabituels d’outils.
Lazarus est une histoire de quelques neurones, mais son message de gouvernance est massif. Les poids d’un modèle ne sont pas seulement des mathématiques; dans un système agentique, ils deviennent une partie de la chaîne de confiance exécutable. Si Skynet arrive un jour, l’avertissement de Microsoft est clair: il n’aura peut-être pas besoin d’un immense budget neuronal. Quelques unités bien placées suffisent déjà à poser de très grandes questions.
Commentaires
Sois le premier à commenter.