Tech • IA • Robotique • Jeu
Claude Mythos Clone Shocks Anthropic and OpenAI
8/10INTRO
Un jeune développeur a reconstructuré une architecture secrète d’intelligence artificielle, offrant une alternative novatrice aux modèles classiques, tandis que plusieurs entreprises accélèrent sur des modèles plus efficaces et modulaires.
POINTS CLÉS
Open Mythos: une hypothèse testable d’architecture IA récurrente
À seulement 22 ans, Kai Gomez a créé Open Mythos, une déclinaison open-source en PyTorch d’une architecture mystérieuse surnommée « Clawed Mythos », réputée pour son potentiel et son opacité. Contrairement aux modèles classiques empilant des couches de neurones distinctes, Open Mythos utilise un « recurrent depth transformer » (RDT): un petit nombre de couches est réutilisé jusqu’à 16 fois, raffinant à chaque itération l’état caché. Cette boucle interne intègre à chaque étape l’entrée initiale, évitant que la représentation ne dérive. Cette réutilisation des poids, combinée à un système de mixture of experts (MoE) de 384 experts dont seuls 8 sont activés par passage, permet une profondeur de raisonnement et une diversité de connaissances sans explosion des paramètres.
RDT, profondeur de réflexion plutôt que taille brute
Contrairement aux architectures classiques qui gagnent en performance en multipliant les couches et les paramètres, cette approche mise sur un raisonnement étendu dans l’espace latent, sans générer d’étapes intermédiaires visibles, ce qui est fondamentalement différent des méthodes actuelles dites de « chain of thought ». Un modèle RDT de 770 millions de paramètres a atteint une performance équivalente à un transformeur standard de 1,3 milliard de paramètres, remettant en cause les dogmes du scaling en IA. Ce raisonnement latent permet aussi de mieux généraliser à des combinaisons de données jamais vues et d’allonger dynamiquement la profondeur de raisonnement à l’inférence, au-delà des limites rencontrées en entraînement.
Solutions aux défis récurrents: stabilité et adaptivité
Les architectures récurrentes risquent des instabilités avec des états cachés qui explosent lors de trop nombreuses itérations. Open Mythos implémente une injection dite « linéaire temps-invariante », garantissant la stabilité. Pour éviter le surprocessus, chaque token a un signal appris d’« adaptive computation time » pour arrêter les boucles quand la réflexion est jugée suffisante. Des « depthwise LoRA adapters » permettent à chaque itération de moduler légèrement les transformations, augmentant la flexibilité malgré le partage des poids. De plus, une attention compressée à faible rang réduit la mémoire jusqu’à 10 à 20 fois, renforçant l’efficacité.
Moonshot AI et Kimmy K 2.6: une autre vision à grande échelle
Dans la même veine, Moonshot AI a présenté Kimmy K 2.6, un modèle géant de 1 trillion de paramètres utilisant aussi mixture of experts avec 384 experts, activant un sous-ensemble restreint par entrée. Ce modèle intègre une capacité multimodale via un encodeur vision de 400 millions de paramètres. Le système fait appel à jusqu’à 300 agents parallèles pour décomposer et exécuter les tâches complexes, et un dispositif « claw groups » permet d’associer humains et agents IA. Sur le benchmark HLE Full qui comprend 2 500 questions de haut niveau, Kimmy K 2.6 dépasse légèrement GPT-5.4 et Claude Opus 4.6, avec un score de 54 contre 52,1 et 53 respectivement.
XAI: innovations dans la reconnaissance vocale et la synthèse
XAI a lancé des API Speech-to-Text et Text-to-Speech sous son écosystème Gro, déjà intégrées dans Tesla, Starlink et applications mobiles. Le service ST couvre 25 langues, avec reconnaissance en temps réel, diérisation des locuteurs et prise en charge de nombreux formats. Le TTS offre cinq voix expressives sur 20 langues. La tarification est compétitive, avec notamment 0,10 $/heure pour la transcription batch. Sur des benchmarks d’entités en appels téléphoniques, Gro ST affiche un taux d’erreur de 5 %, nettement inférieur à 11 Labs (12 %) ou Deepgram (13,5 %). Malgré des résultats auto-déclarés, l’intégration à grande échelle dans des contextes réels confère à XAI un avantage distinctif.
Vers un changement de paradigme dans le scaling IA
Ces recherches mettent en lumière un virage possible: au lieu d’augmenter la taille brute des modèles, l’avenir pourrait reposer sur des architectures capables d’étendre la durée et la qualité de leur réflexion à l’inférence via des systèmes récurrents et modulaires. Cette approche promet des gains d’efficacité et de flexibilité, avec des modèles qui « pensent » plus longuement plutôt que plus massivement. Parallèlement, les solutions d’orchestration distribuée et multimodale comme Kimmy K 2.6 ouvrent la voie à des systèmes plus adaptatifs et collaboratifs.
En somme, l’IA explore aujourd’hui des architectures qui combinent profondeur de raisonnement, spécialisation experte et modularité, offrant une alternative à la simple croissance du nombre de paramètres. Cette évolution radicale pourrait bousculer les standards et accélérer les capacités cognitives des modèles.
Explique-moi