Une promesse de sûreté devient un dispositif opérationnel
La campagne de Dario Amodei en faveur d’une supervision indépendante de l’intelligence artificielle vient de franchir un seuil important. Anthropic a annoncé un partenariat avec Accenture autour de l’« évaluation intégrée », un modèle dans lequel des évaluateurs externes travaillent à l’intérieur même du laboratoire d’IA, avec un accès comparable à celui d’employés, afin d’observer les systèmes de pointe pendant leur entraînement, leurs tests et leur préparation au déploiement . Ce choix donne une forme concrète à l’idée défendue par Amodei, cofondateur et PDG d’Anthropic: l’examen indépendant ne doit pas être un contrôle tardif ou symbolique, mais une composante permanente du développement de l’IA avancée.
Anthropic affirme que le travail mené avec Accenture portera sur le red-teaming des modèles, les évaluations d’alignement et les tests des garde-fous techniques . Faculty, l’activité spécialisée en IA d’Accenture, doit piloter le partenariat, avec l’objectif d’apporter une expérience de terrain issue des déploiements d’IA dans les entreprises et les administrations . Anthropic et Accenture prévoient chacune d’investir au moins 1 milliard de dollars sur cinq ans pour développer les capacités nécessaires à ce type de travail de sûreté .
Cet engagement intervient à un moment où l’industrie débat ouvertement de la vitesse du progrès en IA. Des reportages récents présentent la proposition d’Amodei comme une tentative de ralentir le rythme des gains de capacités afin de laisser aux mesures de sûreté le temps de rattraper les modèles les plus avancés . La première réponse concrète d’Anthropic n’est pas un arrêt complet du développement, mais l’installation d’une couche de surveillance externe et continue au sein du laboratoire.
Ce que l’« évaluation intégrée » est censée changer
L’idée centrale est simple, mais ses implications sont profondes: les évaluateurs externes ne devraient pas être limités à quelques fenêtres d’accès au modèle ou à des résultats de tests soigneusement filtrés. Anthropic explique que des évaluateurs intégrés pourraient observer les modèles pendant leur entraînement, suivre les décisions qui déterminent leur construction et leur déploiement, et échanger directement avec les employés . C’est une rupture avec l’audit classique, souvent réalisé tardivement, sur une version presque finale du système, avec une visibilité réduite sur l’historique interne du développement.
Dans la présentation d’Anthropic, il ne s’agit pas de transférer la responsabilité de la sûreté à des tiers. L’entreprise affirme que les évaluateurs indépendants intégrés ne diminuent pas sa responsabilité, mais la rendent plus vérifiable . Cette nuance est essentielle dans le discours d’Amodei. Anthropic reste l’entreprise qui conçoit, entraîne et publie les modèles; les évaluateurs servent à vérifier les engagements de sûreté, repérer les angles morts, signaler les incidents et donner au public une vision plus informée des risques et des bénéfices .
Le Washington Post a rapporté qu’Anthropic avait choisi Accenture pour surveiller la sûreté de ses outils d’IA après la promesse d’Amodei d’accorder à un tiers indépendant un accès continu et proche de celui d’un employé pour tester ses modèles . L’accord inclut des tests adversariaux et des contrôles liés à l’alignement, c’est-à-dire la capacité des modèles à suivre les instructions humaines et des contraintes éthiques . Le même article souligne qu’Anthropic a d’abord choisi un grand cabinet de conseil mondial plutôt qu’un petit organisme de sûreté de la Silicon Valley, un choix qui a immédiatement nourri le débat sur la nature réelle de l’indépendance .
Pourquoi le choix d’Accenture est révélateur
Accenture n’était pas forcément le premier nom attendu pour évaluer un laboratoire dont l’identité repose largement sur la recherche de pointe et la sûreté de l’IA. TechCrunch a noté que de nombreux observateurs s’attendaient plutôt à voir des organisations comme METR, Redwood Research ou Apollo Research jouer ce rôle, car elles sont associées de près à l’évaluation technique des risques liés aux modèles avancés . Anthropic a pourtant opté pour une grande entreprise cotée, dotée de relations profondes avec le monde des entreprises et des administrations, en faisant valoir que cette expérience concrète des usages réels de l’IA constitue un atout pour la sûreté .
Ce choix répond aussi à une critique récurrente visant certaines institutions de sûreté de l’IA: leur proximité sociale, financière ou intellectuelle avec le milieu qui a vu naître Anthropic. Fox News a mis en avant l’intérêt d’Amodei pour des gardiens indépendants, tout en soulignant les interrogations sur les liens entre METR, certains réseaux de l’altruisme efficace et la communauté de sûreté de l’IA associée aux débuts d’Anthropic . Le Washington Post a également rapporté que certains critiques considèrent de petits évaluateurs spécialisés comme trop proches d’Anthropic et de son écosystème .
Accenture ne fait pas disparaître toutes les questions d’indépendance. Anthropic précise qu’elle financera directement le travail d’Accenture . L’entreprise reconnaît elle-même qu’il n’existe pas encore de système stabilisé pour financer l’évaluation indépendante et affirme qu’à long terme, ce financement devrait venir de sources mutualisées ou publiques . En attendant, Anthropic soutient que l’urgence de la surveillance de l’IA de pointe justifie d’avancer avec un financement direct pendant que l’écosystème d’évaluation se structure .
Le problème non résolu des standards
La principale faiblesse du plan tient peut-être au fait que les règles restent à inventer. Anthropic reconnaît qu’il n’existe pas de standards définissant précisément les informations auxquelles les évaluateurs intégrés devraient accéder, ni la manière dont ils devraient publier leurs conclusions . Ce n’est pas un détail administratif. Si un évaluateur est intégré mais ne peut pas consulter les éléments essentiels — rapports d’incidents, tests internes, débats de déploiement, traces de red-teaming ou informations sur l’entraînement — l’exercice risque de devenir symbolique. À l’inverse, un accès massif mais désorganisé peut noyer l’équipe d’audit sous des données impossibles à exploiter.
Scientific American a décrit cette difficulté de façon directe: les auditeurs indépendants deviennent un pilier potentiel de la gouvernance de l’IA de pointe, mais les systèmes évoluent plus vite que les méthodes d’évaluation . L’article rapporte des craintes d’experts concernant le risque de capture culturelle: des auditeurs dotés de badges, de bureaux et de contacts quotidiens avec les équipes qu’ils sont censés contrôler peuvent finir par s’identifier à l’entreprise . Il souligne aussi que la question de l’accès pertinent est loin d’être réglée, car trop peu d’information rend l’audit inutile, tandis qu’une masse de documents sans accès réel aux personnes peut être tout aussi inefficace .
Anthropic tente d’encadrer cette difficulté en affirmant que les évaluateurs doivent pouvoir vérifier les engagements de sûreté, détecter des angles morts et signaler les incidents . Mais la crédibilité d’une telle vérification dépendra de leurs droits, de leurs moyens et de leur liberté de publication. Scientific American a rapporté que la proposition d’Amodei permet des expurgations pour des raisons de sécurité, de secret juridique ou de propriété intellectuelle, tout en précisant qu’Anthropic ne devrait pas pouvoir supprimer une conclusion simplement parce qu’elle est défavorable . Cette tension déterminera la confiance accordée au dispositif: plus le pouvoir de censure reste entre les mains de l’entreprise, plus les sceptiques douteront de l’indépendance réelle du contrôleur.
Pourquoi Amodei pousse maintenant
L’offensive d’Amodei est liée à l’évolution même des modèles de pointe. Associated Press a rapporté qu’Anthropic affirme que Claude aide désormais à développer sa prochaine version, en menant 26 % du travail de recherche et développement sur les modèles, tout en restant sous supervision humaine . L’entreprise indique également qu’environ 90 % de sa recherche et développement se fait en collaboration avec Claude, ce qui signifie que le modèle réalise de grandes portions de travail sous direction humaine étroite . Anthropic présente ces métriques comme une manière de réduire l’écart entre ce que les laboratoires savent en interne et ce que le public peut comprendre de l’extérieur .
Cette évolution renforce l’argument en faveur de la supervision. Si les systèmes d’IA contribuent de plus en plus au développement de leurs successeurs, la question publique ne porte plus seulement sur la sûreté d’un modèle au moment de sa sortie. Elle porte aussi sur la contrôlabilité de toute la chaîne qui produit les modèles. AP rapporte qu’Anthropic estime que des modèles accélérant leur propre développement pourraient rendre plus difficile la compréhension ou le contrôle de ces systèmes par les humains . Dans ce contexte, l’évaluation intégrée vise à surveiller non seulement le produit final, mais aussi le processus qui le fabrique.
C’est également pourquoi la proposition d’Amodei dépasse le seul cas d’Anthropic. AP a rapporté que Mark Zuckerberg, PDG de Meta, s’est démarqué des appels à un ralentissement coordonné de l’IA, en affirmant que chaque entreprise a la responsabilité et l’incitation nécessaires pour entraîner ses modèles de manière sûre à son propre rythme . Cette réaction illustre une fracture dans l’industrie: certains dirigeants voient la coordination et la vérification externe comme des freins indispensables; d’autres estiment que la responsabilité individuelle des entreprises et les incitations du marché suffisent. La position d’Amodei appartient clairement au premier camp, même si Anthropic affirme vouloir continuer à entraîner et publier des modèles de pointe avec des évaluateurs à ses côtés .
Supervision indépendante ou autorégulation améliorée?
La critique centrale est que le plan d’Anthropic pourrait n’être qu’une forme d’autorégulation dotée d’une meilleure apparence. TechCrunch rapporte que certains critiques voient dans le dispositif d’Amodei une manière pour l’industrie de l’IA d’éviter une véritable responsabilité en cas de mauvais comportement des modèles . L’objection est directe: si l’entreprise choisit l’évaluateur, le paie, définit l’accès et contrôle les limites de publication, alors le mot « indépendant » peut sembler plus fort que la réalité.
La réponse d’Anthropic est à la fois structurelle et progressive. L’entreprise affirme que son partenariat avec Accenture n’est pas exclusif, qu’elle discute avec METR et d’autres évaluateurs à but non lucratif, et qu’elle s’attend à ce que les laboratoires de pointe travaillent simultanément avec plusieurs organisations d’évaluation . Elle précise aussi qu’Accenture pourra travailler avec d’autres développeurs d’IA, ce qui pourrait contribuer à créer des pratiques communes au-delà d’un arrangement conçu uniquement pour Anthropic . Si plusieurs évaluateurs comparent leurs enseignements entre laboratoires, l’évaluation intégrée pourrait devenir plus solide qu’un programme volontaire isolé.
Pour l’instant, toutefois, le modèle repose fortement sur la confiance. Scientific American rapporte le scepticisme de certains experts quant à la capacité d’une surveillance volontaire à résister aux incitations commerciales poussant les entreprises à sortir les modèles les plus puissants . Cette réserve est décisive, car la course à l’IA de pointe n’est pas seulement technique. Elle est aussi financière, géopolitique et réputationnelle. Un laboratoire qui ralentit peut perdre des clients, des talents, des investisseurs ou un avantage stratégique. Amodei soutient que le danger d’une accélération non vérifiée dépasse le coût du ralentissement; ses critiques répondent que des freins volontaires tiendront difficilement sous pression concurrentielle.
Un test pour la gouvernance de l’IA de pointe
Le partenariat entre Anthropic et Accenture doit être compris comme un test, non comme un système de gouvernance abouti. Il introduit un mécanisme concret de surveillance au moment où les risques sont créés: à l’intérieur du laboratoire, pendant les décisions d’entraînement, de test et de déploiement. Il expose aussi des questions que les régulateurs, les entreprises et la société civile devront trancher: qui peut devenir évaluateur? Qui paie? Que faut-il divulguer? Que peut-on expurger? Comment un auditeur peut-il rester indépendant tout en étant intégré à l’organisation qu’il évalue?
Pour Amodei, l’enjeu est à la fois éthique, politique et stratégique. Il cherche à présenter Anthropic comme un constructeur de modèles puissants, mais aussi comme une entreprise prête à accepter un examen approfondi avant que les gouvernements n’imposent un cadre plus contraignant. La démarche peut être lue comme un choix de principe, une stratégie de positionnement ou les deux à la fois. Son effet immédiat est néanmoins clair: Anthropic fait de la supervision indépendante un pilier affiché de sa vision de la sûreté de l’IA.
La suite dira si ce pari est crédible. Si les évaluateurs intégrés disposent d’un accès réel, publient des conclusions substantielles et influencent les décisions de déploiement, le modèle d’Amodei pourrait devenir une référence pour la gouvernance de l’IA de pointe. Si le dispositif produit surtout des assurances vagues, des rapports étroits et une communication contrôlée par l’entreprise, il renforcera l’idée que la surveillance volontaire ne remplace pas la loi. Pour l’instant, Anthropic a fait le premier geste: elle a invité des acteurs extérieurs à entrer dans le laboratoire et oblige le reste de l’industrie à dire s’il compte en faire autant.