Tech • IA • Robotique • Jeu
Les agents d’OpenAI inventent leur propre langage (meilleur que le langage humain)
5/10INTRO
Une nouvelle étude montre que, sous pression et avec une coordination répétée, des agents d’IA avancés peuvent inventer et transmettre leurs propres langages illisibles, ce qui soulève des inquiétudes pour la surveillance, l’interprétabilité et le contrôle.
POINTS CLÉS
Langage émergent dans des tâches de secours médical
Dans un banc d’essai, deux agents devaient sauver un Veyru malade, un extraterrestre cubique à l’anatomie inconnue. Un agent jouait le rôle du médecin et l’autre celui de l’assistant, tandis que l’état du patient se dégradait pendant qu’ils échangeaient des instructions. Au fil des répétitions, de longues consignes en langage naturel se sont compressées en chaînes comme D8FB, portant une procédure complète alors qu’aucun humain n’avait défini ce code.
Pourquoi ce résultat compte pour la sécurité
Ce résultat remet en cause une hypothèse centrale de nombreuses méthodes de sécurité de l’IA: que les humains peuvent lire ce que les agents se disent. Si les messages entre agents deviennent opaques, il devient plus difficile de surveiller la triche, la collusion ou des plans nuisibles. Cela affaiblit aussi l’interprétabilité, car la communication entre agents ne peut plus servir de fenêtre fiable sur la manière dont les décisions ont été prises.
Étude et plateforme
Les travaux ont été publiés le 14 septembre par Elias Stangle-Eskin de UT Austin, Simon Kirby de l’Université d’Édimbourg et Hail Sirin de Schmidt Sciences, avec le soutien de AE Studio. L’équipe a conçu Glossogen, une plateforme de recherche open source qui place des agents dans des environnements fermés où chaque variable et chaque message sont enregistrés, rejouables et ouverts à l’intervention. L’objectif est d’étudier quand des systèmes de communication évoluent et comment ils se propagent.
Des langages, pas seulement des abréviations
Les chercheurs soutiennent que ces nouveaux systèmes sont plus qu’un anglais compressé. Les langages des agents ont développé leur propre lexique, morphologie et syntaxe, et ont divergé différemment d’une exécution à l’autre, même dans la même tâche. Dans un cas, une procédure entière s’est réduite à un seul terme quasi symbolique, tandis que des motifs récurrents révélaient des règles grammaticales capables de générer de nouvelles expressions jamais vues auparavant.
Une structure distincte du langage humain
Ces langages textuels s’écartaient fortement des conventions anglaises normales. Les agents utilisaient des traits comme les majuscules versus minuscules et des symboles non alphabétiques pour signaler du sens, avec des exemples où F majuscule signifiait front et f minuscule firm. Certains systèmes inversaient aussi l’ordre habituel des mots, en plaçant les modificateurs après le terme principal plutôt qu’avant.
Trois conditions ont favorisé la formation du langage
Les déclencheurs les plus nets étaient la pression, la réflexion et la capacité du modèle. La pression venait de limites comme des budgets de communication ou des courses contre des équipes rivales. De nouveaux langages n’apparaissaient que lorsque les agents recevaient aussi un débriefing après chaque manche leur permettant d’analyser les échecs et d’affiner volontairement leur stratégie, et seuls les modèles les plus puissants testés, dont GPT-5.4, Opus 4.7 et Sonnet 4.6, les créaient de façon régulière.
Les modèles plus faibles pouvaient apprendre ce qu’ils ne pouvaient pas inventer
Des systèmes à poids ouverts comme Llama 3.3 70B et Qwen 3 32B échouaient généralement à faire émerger de nouveaux langages par eux-mêmes. Mais une fois associés à un modèle plus puissant, ils pouvaient apprendre le code émergent à partir d’exemples. Cela suggère que l’invention et l’acquisition sont deux capacités distinctes, et qu’une fois un système de communication créé, il peut se diffuser largement dans des populations mixtes d’agents.
Transmission à travers des générations d’agents
Dans une expérience, un nouvel agent a été inséré en cours de simulation sans accès au canal privé où le code avait d’abord été discuté. Il n’a vu que les échanges publics récents et a tout de même inféré le langage à partir du contexte. Les agents ont aussi montré une réparation conversationnelle, demandant des clarifications sur des symboles ou sens inconnus, signe d’un apprentissage actif du langage plutôt que d’une simple copie mécanique.
Implications plus larges
Les auteurs soutiennent que comprendre le comportement collectif pourrait devenir aussi important que mesurer la capacité brute des modèles. À mesure que les systèmes multi-agents prennent en charge le logiciel, le design et d’autres travaux du savoir, une communication interne illisible pourrait affaiblir la supervision humaine et compliquer l’interopérabilité avec les personnes. Une plateforme ouverte est d’autant plus importante qu’une grande partie de la communication réelle entre agents reste enfermée dans des systèmes propriétaires.
Débat sur le rythme des progrès de l’IA
L’étude arrive dans un contexte de désaccord sur la vitesse à laquelle les systèmes d’IA pourraient égaler ou dépasser les meilleurs experts humains. John Schulman a projeté une domination dans la plupart des domaines cognitifs d’ici 3 à 4 ans, Charlie O'Neal a estimé 5 à 10 ans, et Baron Millage a avancé environ 5 ans dans les domaines déjà priorisés par les laboratoires. Leur désaccord porte moins sur les dates que sur la question de savoir si les approches actuelles peuvent produire la prochaine grande percée sans nouvelle discontinuité technique.
CONCLUSION
Ces résultats suggèrent que des agents d’IA capables peuvent développer spontanément des systèmes de communication efficaces mais opaques comme effet secondaire de la résolution de tâches. Si ce comportement se généralise, maintenir la lisibilité pour les humains des systèmes multi-agents avancés pourrait devenir un défi central de sécurité.
Explique-moi