Le benchmark qui casse l’illusion du “presque fini”
Le dernier résultat de GPT-6 Astra en codage est spectaculaire, mais seulement si l’on accepte une définition très généreuse de “terminé”. Dans Co-Design Bench, un benchmark d’Alibaba construit à partir de demandes réelles d’utilisateurs qui avaient déjà mis des agents en difficulté, le meilleur modèle satisfait environ 70 % des critères en moyenne, mais ne résout complètement que 26,4 % des tâches . C’est ce delta qui résume désormais l’état du codage par agents: le modèle fait l’essentiel, puis laisse souvent un détail bloquant que quelqu’un devra corriger avant de fusionner ou de livrer.
Co-Design Bench est important parce qu’il ne demande pas à un modèle de produire une application propre à partir de rien. Il demande à des agents de modifier des applications web existantes, parfois avec des images, de l’audio, de la vidéo ou des documents comme entrées . Les cas vont du petit ajustement à la refonte de dépôt, et l’évaluation vérifie le comportement réel dans un navigateur avant qu’un second contrôle ne recherche des solutions factices ou codées en dur . Autrement dit, le test ressemble davantage à la vie d’une équipe produit: une facture mal interprétée, une mise en page cassée, des vues dépendantes à mettre à jour, et une demande utilisateur rarement aussi propre qu’un énoncé de benchmark.
Le résultat remet aussi en perspective les anciens scores. The Decoder rapporte que plusieurs benchmarks de codage sont désormais saturés, les modèles agentiques dépassant 99 % sur des tests où ils peuvent exécuter, vérifier et corriger leur propre code . Co-Design Bench laisse au contraire un écart supérieur à 35 points face à ces tests plus anciens . Le signal est clair: l’industrie a longtemps mesuré la capacité à produire du code, alors que la difficulté réelle est de comprendre l’intention, de préserver les contraintes d’un système existant et de satisfaire tous les critères d’acceptation.
Le score du modèle devient le score du système
La partie la plus révélatrice du benchmark n’est peut-être pas le classement de GPT-6 Astra. C’est le rôle de l’environnement d’exécution. Dans un test séparé, le même modèle change fortement de performance selon le harness, c’est-à-dire le système par lequel l’agent lit, écrit et exécute le code; Qwen3.8-27B passe ainsi de 75 % à 56 % sur de grandes refontes selon l’environnement utilisé . Une ligne de leaderboard qui ne nomme que le modèle devient donc incomplète. En production, “le modèle” signifie aussi outils, prompts système, sandbox, récupération de contexte, tests, mémoire, permissions et chemin de revue.
C’est précisément dans cette zone qu’arrive Git Forge d’Entire. InfoQ décrit Entire comme un forge Git conçu pour la collaboration entre développeurs humains et agents de codage, avec l’idée que le modèle classique de pull request n’est plus adapté lorsque des agents génèrent, relisent et itèrent à grande vitesse . Son primitive centrale, le “Trail”, remplace la revue de diff classique par un flux où des scores d’évaluation sont recalculés à chaque push .
Cette approche transforme le problème mesuré par Co-Design Bench en problème d’infrastructure. Si un agent termine souvent 70 % d’une demande mais oublie un critère essentiel, l’équipe a besoin d’un système qui rende cette incomplétude visible avant la fusion. InfoQ indique que les agents de revue d’Entire évaluent notamment la qualité du code, la sécurité, le “slop” et la nécessité d’une revue humaine, et que toutes les remarques doivent être résolues ou fermées avant un merge . Ce n’est pas une annonce de modèle tape-à-l’œil. C’est la plomberie qui décide si le code généré devient un logiciel fiable ou une dette d’incident.
Entire met aussi l’accent sur une mémoire persistante autour du dépôt. Sa “continuous memory” conserve les connaissances accumulées afin que les agents puissent les réutiliser d’une session à l’autre, en combinant cartographie du code, sessions précédentes et historique Git . Pour les humains, cela revient à sauvegarder le “pourquoi” en plus du diff. Pour les agents, c’est l’aveu qu’un assistant sans mémoire est mal adapté à un système logiciel vivant.
La consolidation vise l’orchestration
L’acquisition de Conductor par Meta montre que les grands acteurs ne considèrent pas cette couche comme un simple marché d’outils secondaires. Venturist rapporte que Meta a acquis Conductor, une startup dont l’application permet à des développeurs de superviser plusieurs agents de codage en parallèle et de relire leurs changements avant fusion; le prix n’a pas été divulgué . Conductor était construit autour d’un schéma très concret: lancer plusieurs agents dans des espaces de travail séparés, inspecter les résultats, puis décider ce qui mérite d’être intégré.
Les détails opérationnels comptent autant que l’acquisition. Le produit cloud de Conductor doit passer en lecture seule le 13 novembre, fermer le 20 novembre, puis commencer la suppression des données cloud, tandis que l’application locale recevra encore de nouveaux modèles et des correctifs critiques jusqu’au début 2027 . Pour les utilisateurs, c’est un rappel brutal: les workflows d’agents dépendent aussi de la garde des données, des chemins d’export et de la continuité de service. Un outil qui contient l’historique des agents, des branches, des terminaux, des diffs et potentiellement des secrets devient une partie de la chaîne d’approvisionnement logicielle.
Sur le plan stratégique, Conductor apporte à Meta un langage produit centré sur la supervision multi-agent plutôt que sur un simple assistant conversationnel. Venturist note que Meta dispose déjà de Muse Code, sans avoir précisé comment Conductor s’y intégrera . Mais la direction est lisible: les outils développeurs deviennent des tours de contrôle pour flottes d’agents. Si Co-Design Bench montre que l’agent individuel ne finit pas tout seul de manière fiable, Conductor montre que le développeur devient répartiteur de tâches, évaluateur et arbitre final.
Le prototype du week-end est réel, mais le nettoyage aussi
Le contre-exemple apparent s’appelle HackerTube. The Decoder rapporte qu’Andrej Karpathy a utilisé Claude Opus 5.5 pendant un week-end pour filtrer 43 millions de commentaires Hacker News sur environ 20 ans et en extraire 6 454 vidéos régulièrement recommandées, avec un site qu’il juge meilleur que les recommandations de YouTube . Selon lui, Claude Code a fait presque tout le travail, de l’analyse des données à la configuration serveur, tandis que ses interventions manuelles se limitaient à créer une clé Google Cloud, louer un serveur et acheter le domaine .
Ce récit ne contredit pas Co-Design Bench. Il en constitue l’autre moitié. Un excellent constructeur peut désormais compresser un cycle produit considérable en quelques heures ou quelques jours lorsque le problème est bien cadré, que le propriétaire du projet peut juger le résultat et qu’un produit utile, même imparfait, suffit. HackerTube démontre une accélération réelle: un expert avec du goût, l’accès à l’infrastructure et un agent de code puissant peut livrer ce qui aurait auparavant demandé une petite équipe.
Mais l’histoire montre aussi pourquoi le mot “autonome” reste dangereux. Karpathy a fixé l’objectif, jugé la qualité des recommandations, géré les étapes de compte et d’infrastructure, puis décidé quand le résultat était assez bon . L’agent a multiplié sa portée; il ne l’a pas remplacé. C’est exactement la frontière entre démo impressionnante et production responsable.
La boucle récursive change l’échelle du risque
L’audit METR chez Anthropic transporte le même sujet au niveau des laboratoires. The Decoder rapporte que METR a obtenu onze semaines d’accès aux données internes de recherche d’Anthropic et a conclu que le rythme d’amélioration des modèles avait approximativement doublé, environ 80 % de l’accélération actuelle étant attribuée à l’usage de l’IA dans la recherche interne . METR estime que, depuis octobre 2025, les scores de benchmark d’Anthropic progressent 1,9 fois plus vite que précédemment, tandis que les employés utilisant le meilleur modèle interne déclarent en moyenne un gain de productivité d’environ 12 fois, même si METR traite ces déclarations comme des indices fragiles .
C’est la réalité de production à l’échelle d’un laboratoire frontier. La boucle qui aide un développeur à produire une fonctionnalité plus vite aide aussi un laboratoire à lancer des expériences, écrire du code, analyser des résultats et préparer des successeurs plus rapidement. METR souligne toutefois de fortes réserves: Anthropic a occulté une grande partie des éléments que les auditeurs jugeaient les plus informatifs, et l’accélération réelle pourrait être inférieure ou supérieure à l’estimation centrale . La boucle est donc assez réelle pour compter, mais encore trop opaque pour être gouvernée facilement.
La conclusion de cette semaine n’est pas que GPT-6 Astra échoue. Elle est que l’unité de progrès a changé. Les scores bruts restent utiles, mais la frontière décisive se déplace vers l’évaluation, le versioning, la mémoire, la revue, la maîtrise des données et le rollback. Les meilleurs bots savent produire des brouillons extraordinaires. La production pose toujours la même vieille question d’ingénierie: qui signe avant le merge?
Commentaires
Sois le premier à commenter.