Écarts objectifs en interprétabilité mécaniste et méthodes de récupération

Un signal d’alerte pour la découverte de circuits

Le titre de travail correspond au sujet: Écarts objectifs en interprétabilité mécaniste et méthodes de récupération. Le développement récent est le préprint d’octobre 2026 intitulé “Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability,” signé par Chuqin Geng, Li Zhang, Haolin Ye, Mark Zhang, Luke Zhang et Xujie Si, et soumis à arXiv le 1er octobre 2026 à 17:25:23 UTC [1]. L’article pose une question centrale pour l’interprétabilité mécaniste: lorsqu’un chercheur affirme avoir retrouvé un mécanisme interne d’un réseau neuronal, a-t-il réellement retrouvé ce mécanisme, ou seulement un circuit qui obtient un bon score avec une métrique imparfaite?

Cette différence est cruciale. La découverte automatisée de circuits est souvent présentée comme un problème de recherche ou d’optimisation. Avec un meilleur algorithme, une meilleure attribution ou davantage de calcul, on devrait trouver de meilleurs circuits. Geng et ses coauteurs contestent l’hypothèse implicite: même si un meilleur circuit est déjà présent parmi les candidats, l’objectif utilisé pour choisir entre eux peut préférer un circuit moins bon [1]. C’est ce qu’ils nomment un écart de récupération au niveau de l’objectif.

Autrement dit, la difficulté ne se limite pas à la question « comment chercher? ». Elle concerne aussi la question « que récompense-t-on? ». Si le signal d’évaluation est mal aligné avec la récupération comportementale du modèle intact, une méthode automatisée plus puissante risque seulement de sélectionner plus efficacement la mauvaise explication.

Ce que signifie « objectif-level » dans ce contexte

L’interprétabilité mécaniste cherche à identifier les calculs internes responsables du comportement d’un modèle. Dans les travaux sur les circuits de transformeurs, une explication candidate prend souvent la forme d’un sous-graphe parcimonieux: quelques têtes d’attention, chemins résiduels ou arêtes supposés porter le calcul pertinent. L’évaluation standard consiste ensuite à conserver ce circuit et à ablater, remplacer ou rééchantillonner ce qui se trouve en dehors, afin de mesurer si la sortie du modèle reste fidèle [1].

Ce test paraît naturel. Si le circuit retenu produit encore le comportement étudié, il semble constituer une bonne explication. Mais le nouveau papier affirme que l’intervention modifie elle-même l’environnement computationnel. Lorsque les signaux exclus sont remplacés par des activations donneuses, des moyennes ou des zéros, les composants conservés ne reçoivent plus les mêmes entrées que dans le modèle intact [1]. Les auteurs appellent cela une distorsion de contexte.

Cette distorsion rend possible une erreur de classement. Un circuit peut très bien fonctionner dans l’environnement artificiel de l’évaluation, tout en reproduisant moins bien le comportement du modèle intact sur des prompts de test. À l’inverse, un autre circuit peut mieux imiter le modèle réel, mais obtenir un score inférieur sous l’objectif interventionnel. L’écart est donc « au niveau de l’objectif »: la métrique peut préférer le mauvais candidat avant même qu’un algorithme de recherche ait échoué.

Une conception expérimentale qui isole la métrique

L’un des points forts de l’étude est qu’elle ne commence pas par accuser un algorithme précis. Les auteurs construisent d’abord des comparaisons contrôlées à partir de circuits de référence, en générant des alternatives de même taille et en demandant si les scores de fidélité les classent dans le même ordre qu’un critère comportemental indépendant [2]. Les comparaisons à taille égale sont importantes, car elles éliminent une explication triviale: une métrique pourrait favoriser un circuit simplement parce qu’il conserve davantage de composants.

L’article étend ensuite l’analyse aux sorties réelles de méthodes établies de découverte automatisée de circuits. Les méthodes testées incluent EAP, EAP-IG, ACDC et Edge-SP [1]. Selon le résumé arXiv, le même type d’échec apparaît dans ces méthodes: sous rééchantillonnage, une fidélité fondée sur la divergence KL classe mal de 9,4 % à 41,2 % des paires de candidats selon la méthode, sur les tâches de référence humaine [1].

C’est la revendication empirique principale. Le problème ne se réduit donc pas à une procédure de recherche bruitée, ni à une technique d’attribution malchanceuse sur un seul benchmark. Des ensembles de candidats produits par plusieurs pipelines contiennent des paires où l’objectif de validation choisit le circuit qui se comporte moins bien sous le test comportemental indépendant des auteurs.

Tâches humaines et InterpBench

L’étude compare la fidélité en validation avec le comportement hors échantillon sur quatre tâches de référence humaine et sur InterpBench [1]. Le critère comportemental est l’accord avec le modèle intact, y compris ses erreurs, sauf pour la tâche Greater-Than, où les auteurs utilisent l’exactitude sémantique [1]. Ce choix est conceptuellement important. Si l’objectif est de retrouver le mécanisme réellement utilisé par le modèle, il ne suffit pas nécessairement d’expliquer ses réponses correctes; il faut aussi rendre compte de ses erreurs caractéristiques.

Une synthèse de recherche publiée au même moment formule l’enjeu sans détour: des circuits sélectionnés par une forte fidélité interventionnelle peuvent échouer au critère comportemental hors échantillon, révélant un écart de récupération objectif dans les quatre algorithmes de découverte de circuits testés [3]. Cette même synthèse souligne l’enjeu de sûreté: si des circuits servent ensuite à l’audit ou au monitoring, et s’ils sont validés surtout sur des cas corrects, ils peuvent manquer les mécanismes des échecs que les chercheurs veulent précisément comprendre [3].

La revue d’arxlens insiste également sur le caractère diagnostique du travail, plutôt que sur une solution de remplacement complète pour les métriques actuelles [2]. Cette lecture est juste. L’article ne propose pas une nouvelle métrique universelle à adopter immédiatement. Il met en évidence un mode de défaillance que les futurs protocoles de découverte et d’évaluation devront traiter.

L’expérience de réparation: restaurer le contexte

La partie la plus constructive du papier concerne la cause possible du mauvais classement. Les auteurs testent l’hypothèse de distorsion de contexte en restaurant certains signaux issus de l’exécution intacte du modèle destinataire, tout en gardant inchangés les circuits candidats et leurs scores comportementaux originaux [1]. Dans 96 des 100 mauvais classements KL persistants sélectionnés depuis le pool de découverte, au moins une restauration partielle corrige à la fois le classement de validation et le classement sur le test indépendant [1].

Ce résultat est remarquable parce qu’il agit sur l’environnement d’évaluation, et non sur les circuits eux-mêmes. Les circuits ne deviennent pas soudainement meilleurs en comportement. C’est le classement qui s’améliore lorsque le contexte d’intervention est réparé. Cela soutient l’idée que le remplacement ou l’ablation change les entrées reçues par les composants conservés, et donc ce que mesure réellement l’objectif de fidélité.

La revue d’arxlens qualifie cette expérience de restauration de contexte de particulièrement élégante, tout en rappelant ses limites: la cohorte est sélectionnée, l’expérience n’identifie pas d’ensembles causaux minimaux et elle ne prouve pas la supériorité par rapport à une restauration aléatoire [2]. Ces réserves comptent. Un taux de correction de 96 sur 100 est une preuve forte pour cette cohorte, mais pas encore une recette générale pour évaluer tous les circuits, modèles et tâches.

Pourquoi cela change la lecture de l’interprétabilité automatisée

L’article arrive à un moment sensible pour l’interprétabilité mécaniste. Le domaine recherche des méthodes automatisées et extensibles pour trouver des circuits dans les modèles de langage. L’analyse manuelle est trop lente à l’échelle des modèles actuels. Mais l’automatisation exige des métriques fiables. Si le score est instable ou mal aligné, l’automatisation risque d’amplifier l’erreur.

La contribution du papier consiste à séparer deux questions souvent confondues. Premièrement: la procédure de recherche peut-elle trouver un bon candidat? Deuxièmement: l’objectif d’évaluation peut-il reconnaître ce candidat comme bon? Geng et ses coauteurs montrent que la deuxième question peut échouer indépendamment de la première [1]. Les modifications contrôlées de circuits de référence révèlent des mauvais classements sans algorithme de découverte, et les sorties découvertes automatiquement montrent le même motif [1].

Cette critique est plus profonde qu’un simple appel à régler des hyperparamètres. Si un objectif classe un circuit moins bon au-dessus d’un meilleur, donner davantage de calcul à l’optimiseur peut renforcer l’erreur. Dans ce cas, un classement de performance fondé sur cette métrique pourrait récompenser des progrès qui ne se traduisent pas par une meilleure récupération du mécanisme interne.

Comment les praticiens devraient lire ces résultats

La conclusion immédiate n’est pas d’abandonner les métriques de fidélité. Les tests interventionnels restent utiles, car ils interrogent des dépendances causales plutôt que de simples corrélations. Mais l’article soutient qu’il ne faut pas traiter la fidélité comme un substitut complet à la récupération de mécanismes. Les chercheurs devraient vérifier si les circuits à score élevé reproduisent aussi le comportement du modèle intact sur des prompts tenus à l’écart, y compris les erreurs lorsque l’objectif est d’expliquer le modèle réel plutôt que de l’idéaliser [1].

La deuxième leçon est de publier la stabilité des classements, et pas seulement les scores finaux. Si une métrique change de préférence sous rééchantillonnage, remplacement par moyenne, remplacement par zéro ou restauration partielle du contexte, cette instabilité constitue déjà une information importante sur la métrique. Geng et ses coauteurs montrent que changer la métrique de fidélité modifie les échecs, mais ne les élimine pas [1].

La troisième leçon est de distinguer les benchmarks diagnostiques des tâches réalistes sur modèles préentraînés. L’inclusion simultanée d’InterpBench et de tâches de référence humaine est importante: les cadres semi-synthétiques donnent un meilleur accès à la vérité terrain, tandis que les tâches humaines sur modèles de langage ressemblent davantage aux usages actuels. La revue d’arxlens note que les mauvais classements plus marqués sur les tâches humaines rendent le papier directement pertinent pour la sélection pratique de circuits dans les modèles préentraînés [2].

Des limites qui font partie du message

L’étude est prudente, mais elle n’est pas définitive. Le critère comportemental mesure l’accord de sortie sous rééchantillonnage et ne prouve pas à lui seul l’identité du mécanisme [2]. Les tâches analysées couvrent une partie limitée de la pratique en interprétabilité mécaniste, et les modèles incluent GPT-2 small ainsi qu’un petit modèle de code, plutôt que des systèmes de production de très grande échelle [2]. L’expérience de réparation soutient fortement l’hypothèse de distorsion de contexte, mais elle ne définit pas encore un objectif de remplacement général.

Ces limites ne diminuent pas l’avertissement central. Elles le précisent. Le papier ne dit pas que tous les circuits publiés sont faux, ni que la découverte automatisée de circuits est vaine. Il dit que les objectifs d’évaluation actuels peuvent être mal alignés avec ce que les chercheurs veulent récupérer. C’est une affirmation plus étroite, mais sérieuse.

La suite probable

La prochaine étape devrait être le développement de protocoles combinant fidélité interventionnelle, récupération comportementale indépendante, couverture des erreurs et tests de robustesse entre plusieurs schémas d’ablation. Les interventions sensibles au contexte pourraient aussi devenir plus importantes: si les composants conservés doivent recevoir des entrées intactes, ou partiellement intactes, pour être évalués équitablement, les protocoles d’exécution des circuits doivent tenir compte de l’environnement qu’ils créent.

Le préprint reformule ainsi les méthodes de récupération en interprétabilité mécaniste. Une meilleure recherche est nécessaire, mais insuffisante. La récupération exige un objectif capable de reconnaître le mécanisme lorsqu’il apparaît. Si l’objectif récompense des circuits performants dans un contexte interventionnel distordu, le domaine risque de confondre artefacts d’évaluation et compréhension mécaniste.

C’est pourquoi ce préprint d’octobre 2026 dépasse la simple question technique du mauvais classement KL. Il rappelle que l’interprétabilité ne consiste pas seulement à ouvrir le modèle. Elle consiste aussi à s’assurer que l’instrument de mesure ne déforme pas le mécanisme avant que nous jugions ce que nous avons trouvé.

Sources des dernières 72 heures

1. [1]Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability1 oct. 2026, 19:25
2. [2]Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability - arxlens1 oct. 2026, 02:00
3. [3]Research Radar · 2026-10-022 oct. 2026, 02:00

Article généré par IA à partir d’une recherche web récente, puis conservé comme instantané éditorial daté.