L’idée centrale: 120 milliards disponibles, 12 milliards sollicités
Le titre de travail est volontairement direct: Nemotron 3.5 active 12 milliards de paramètres. Dans la documentation de déploiement la plus récente, AWS décrit Nvidia Nemotron 3.5 Super VL comme un modèle mixture-of-experts de 120 milliards de paramètres qui n’active que 12 milliards de paramètres par jeton, tout en combinant raisonnement, usage d’outils et compréhension de texte, d’images, de documents et de vidéos . C’est le chiffre qui compte pour les équipes d’infrastructure: Nvidia ne présente pas seulement un grand modèle, mais une façon de rendre ce grand modèle plus exploitable à chaque étape d’inférence.
Le ratio de sparsité, proche de dix pour un, prend tout son sens dans les charges de travail agentiques. Un agent d’entreprise ne répond pas toujours en une seule génération. Il cherche, appelle un outil, lit un tableau, vérifie une source, reformule, puis recommence. Si chaque étape mobilise l’équivalent complet d’un très grand modèle dense, les coûts explosent. Avec 12 milliards de paramètres actifs par jeton, Nvidia tente de conserver une grande capacité globale tout en réduisant le calcul effectivement utilisé à chaque passage.
AWS présente aussi Nemotron 3.5 Super VL comme un modèle multimodal ouvert que les entreprises peuvent personnaliser, en indiquant que Nvidia publie les poids, les jeux de données d’entraînement et les recettes de post-entraînement . Autrement dit, le message n’est pas seulement “testez ce modèle”. Il devient “intégrez ce modèle dans votre propre plateforme IA”.
Pourquoi les 12 milliards actifs changent la discussion
Un modèle dense de 120 milliards de paramètres et un modèle MoE de 120 milliards de paramètres n’ont pas le même profil économique. AWS explique que le routage sparse de Nemotron 3.5 Super VL active 12 milliards de paramètres sur 120 milliards par jeton, ce qui rapproche le calcul par jeton d’un modèle plus petit, même si la mémoire GPU doit toujours contenir les poids complets . Cette nuance est essentielle. Les 12 milliards actifs ne font pas disparaître les contraintes mémoire, mais ils modifient le compromis entre capacité, latence et coût récurrent.
C’est particulièrement important pour les agents. Dans une interface de chat classique, une réponse peut suffire. Dans un agent métier, il faut parfois des dizaines d’appels intermédiaires avant de produire un résultat final. Si ces appels sont trop chers, l’agent devient un luxe. Si seule une tranche de 12 milliards de paramètres est mobilisée par jeton, le modèle devient plus crédible pour des boucles répétées. Douze milliards de paramètres restent éveillés; les autres peuvent se passer de café de réplicateur.
L’architecture hybride complète cette logique. AWS indique que le modèle associe des couches Mamba-2, MoE et attention, avec un encodeur vision RADIO, accepte le texte, les images, les documents et la vidéo, et prend en charge des contextes allant jusqu’à un million de jetons . Les composants de type Mamba sont décrits comme utiles pour les longs contextes, car leur état mémoire ne croît pas comme un cache KV classique pendant la génération . Cela ne signifie pas que chaque requête d’un million de jetons sera économique, mais cela explique pourquoi Nvidia cible les agents longue durée plutôt que le simple chatbot.
La nouveauté actuelle: un chemin AWS pour l’exploitation
Le développement le plus récent n’est pas un nouveau classement de benchmark. C’est l’article du 29 octobre du blog AWS Machine Learning, qui montre comment déployer des modèles Nemotron sur Amazon EKS, EKS Auto Mode et SageMaker HyperPod EKS avec Nvidia Dynamo et vLLM . Le sujet passe donc du modèle lui-même à son exploitation. Pour une entreprise, adopter un modèle ouvert ne dépend pas seulement de ses scores; il faut savoir le déployer, le surveiller, le dimensionner et l’intégrer aux pratiques existantes de réseau, sécurité et release.
AWS décrit une implémentation de référence où les nœuds CPU exécutent les pods système et de test, les nœuds GPU exécutent le modèle, Amazon ECR stocke les images de conteneurs, FSx for Lustre héberge les poids du modèle et Elastic Fabric Adapter connecte les nœuds GPU . Pour les organisations déjà investies dans Kubernetes, cette description peut peser davantage qu’un écart marginal sur un benchmark. Elle transforme Nemotron 3.5 Super VL en composant évalué dans un cadre opérationnel familier.
AmongZero résume ce signal dans le même sens: la guidance AWS rend le déploiement du grand modèle multimodal ouvert plus répétable et met en évidence l’empreinte réelle en GPU, réseau, stockage et orchestration . C’est le bon angle. Les poids ouverts réduisent une dépendance, mais ils introduisent une question système: votre plateforme peut-elle réellement faire tourner ce modèle avec des garanties suffisantes?
Le coût matériel ne disparaît pas
Il ne faut pas confondre activation sparse et petit déploiement. AWS liste des configurations GPU minimales pour vLLM qui varient selon la précision et les accélérateurs, avec des besoins différents entre BF16 et NVFP4 sur B200/GB200, B300/GB300, H200 et H100 . La leçon est simple: “12 milliards actifs” décrit le calcul par jeton, pas l’ensemble du coût d’exploitation.
La guidance AWS précise que l’architecture a été validée sur des instances p6-b200.48xlarge avec huit GPU Nvidia B200 et p5en.48xlarge avec huit GPU Nvidia H200 . Ce n’est pas une petite configuration. C’est aussi ce qui place Nemotron 3.5 Super VL dans une logique d’entreprise: la question n’est pas seulement de savoir si le modèle fonctionne, mais si l’organisation peut bâtir un service fiable, mesurable et contrôlé autour de lui.
AWS recommande de mesurer le temps jusqu’au premier jeton, la latence inter-jetons et le débit en jetons par seconde à différents niveaux de concurrence, notamment avec l’outil Nvidia aiperf . Cette partie paraît moins spectaculaire que l’architecture, mais elle décide de la viabilité du produit. Un agent peut être très capable et pourtant désagréable à utiliser si chaque étape intermédiaire ajoute trop d’attente.
Dynamo, vLLM et le service des agents multimodaux
Nemotron 3.5 Super VL est destiné à des workflows où la compréhension multimodale et l’usage d’outils s’insèrent dans un système plus large. AWS indique que Nvidia Dynamo peut servir le modèle de façon agrégée sur un seul nœud ou désagrégée, avec prefill et decode sur des nœuds différents; pour les modèles vision-langage, l’encodage image ou vidéo peut aussi être séparé sur son propre nœud . Cette option est importante, car les agents ne sollicitent pas l’infrastructure de manière uniforme.
Les longs prompts chargent le prefill. Les longues réponses chargent le decode. Les images et vidéos ajoutent une étape d’encodage. Les appels d’outils ajoutent de la latence externe et des branches imprévisibles. Séparer les étapes ne garantit pas automatiquement de meilleures performances, mais donne plus de leviers aux équipes plateforme. Dans son exemple, AWS observe un temps jusqu’au premier jeton plus faible et une latence inter-jetons à peu près équivalente entre déploiements agrégés et désagrégés sur deux nœuds, tout en proposant une méthode de planification de capacité fondée sur les budgets de latence et le débit par réplique .
AI Radar classe l’article AWS comme une source primaire à forte confiance et souligne l’usage de vLLM et Nvidia Dynamo pour déployer Nemotron 3.5 Super VL sur Amazon EKS et SageMaker HyperPod EKS . Cela renforce le point principal: la compétition ne se joue plus seulement dans l’architecture du modèle, mais dans les recettes de déploiement qui rendent cette architecture utilisable.
Ce que cela change dans la compétition des modèles ouverts
Le message de Nemotron 3.5 Super VL n’est pas “l’ouvert bat le fermé” de manière abstraite. Il est plus concret: poids ouverts, activation sparse, entrée multimodale, long contexte et recettes de déploiement permettent aux entreprises de tester un modèle puissant sous leurs propres contrôles. AWS indique que le modèle accepte texte, image, document et vidéo en entrée, produit du texte en sortie, et existe en checkpoints BF16 et NVFP4 . Cela donne aux évaluateurs plusieurs options: précision plus élevée pour référence et personnalisation, précision plus compacte pour l’inférence.
Pour les entreprises, la bonne métrique n’est pas seulement le coût par jeton généré. C’est le coût par workflow terminé. Si Nemotron 3.5 peut traiter documents visuels, graphiques, traces de code et appels d’outils dans un même modèle, il peut simplifier l’orchestration. Si l’activation de 12 milliards de paramètres rend les appels répétés moins coûteux que des alternatives denses, les agents permanents deviennent plus crédibles. Si l’infrastructure devient trop complexe, cet avantage se réduit.
C’est pourquoi la guidance AWS est stratégiquement importante. Elle traduit la promesse du modèle en parcours d’évaluation cloud-native. AmongZero rappelle toutefois que les preuves disponibles reposent essentiellement sur le billet technique AWS et ne démontrent pas encore l’adoption client, l’économie de production ou la supériorité comparative en conditions réelles . Cette prudence doit accompagner le récit. Le signal est fort, mais il ne constitue pas encore une preuve universelle.
Conclusion
Le nombre déterminant de Nemotron 3.5 Super VL n’est pas seulement 120 milliards. C’est 120 milliards au total, avec 12 milliards actifs par jeton. Ce ratio résume la tentative de Nvidia: concilier capacité, coût d’inférence et workloads agentiques longs, multimodaux et riches en appels d’outils. La guidance AWS donne maintenant aux équipes plateforme un chemin pour tester cette promesse sur EKS, EKS Auto Mode et SageMaker HyperPod EKS avec Dynamo et vLLM .
La course des modèles ouverts se déplace. Elle ne demande plus seulement qui publie le plus gros checkpoint. Elle demande qui permet de servir des agents capables, répétables, mesurables et économiquement soutenables. La réponse de Nemotron 3.5 tient en deux idées: activation sparse et recettes d’infrastructure sérieuses. Le prochain test sera la capacité des entreprises à transformer ces recettes en workflows fiables, pas seulement en schémas séduisants.
Commentaires
Sois le premier à commenter.