
Tech • IA • Robotique • Jeu
⏱ Résumé en ≈ 4 min · vidéo de 45 min — 41 min gagnées
Nvidia domine les centres de données d’IA grâce à un mélange de verrouillage logiciel, de puissance d’approvisionnement et de garanties commerciales, mais une nouvelle vague de puces spécialisées révèle les limites de la conception des GPU pour la génération rapide de tokens et ouvre un espace aux concurrents.
L’avantage de Nvidia a commencé dans les années 2000, lorsque des puces graphiques conçues pour le pixel shading ont été réaffectées au calcul massivement parallèle. Le tournant décisif est arrivé avec CUDA vers 2006-2007, transformant une pratique expérimentale en véritable plateforme logicielle. Surtout, CUDA fonctionnait à la fois sur les cartes grand public et professionnelles, permettant aux étudiants, chercheurs et startups d’apprendre sur du matériel gaming puis de passer à l’échelle en entreprise.
Des frameworks d’IA comme PyTorch se sont développés autour de CUDA, renforçant la position de Nvidia. Cela a créé une boucle auto-entretenue: les développeurs optimisaient pour Nvidia parce que c’était ce qu’ils avaient, et les centres de données achetaient du Nvidia parce que la pile logicielle était déjà en place. Le résultat n’est pas seulement une domination technique, mais aussi une familiarité culturelle dans toute l’industrie.
La force de l’entreprise ne repose plus seulement sur la compatibilité logicielle. Des opérateurs affirment que Nvidia peut pratiquement garantir la demande pour de nouveaux clusters, y compris avec des engagements sur le taux d’utilisation qui réduisent le risque de déploiements de plusieurs milliards de dollars. Dans un marché encore limité par la pénurie de calcul, les puces les plus faciles à obtenir à grande échelle sont souvent celles de Nvidia, ce qui renforce encore le statu quo.
Pour les grands modèles de langage, générer un token exige souvent de lire l’ensemble des poids du modèle. La bande passante mémoire devient donc une limite centrale, surtout pendant le décodage. Un modèle dense de 100 milliards de paramètres stockés en précision 8 bits représente environ 100 Go; avec 1 To/s de bande passante mémoire, le plafond physique est d’environ 10 tokens par seconde avant même les surcoûts logiciels. Pour les modèles de pointe, la pression est bien plus forte.
Dans l’usage chatbot, la vitesse des tokens devait surtout suivre la vitesse de lecture humaine. Avec les agents autonomes, le goulot d’étranglement devient la boucle machine-à-machine: générer, agir, récupérer, générer à nouveau. Dans ce contexte, la latence des tokens affecte directement la rapidité d’exécution des tâches, ce qui rend les performances de décodage bien plus précieuses que dans de simples interfaces de chat.
Les GPU sont très efficaces au stade de traitement du prompt, où de nombreuses opérations s’exécutent en parallèle. Ils sont moins naturellement adaptés à la phase de décodage, où l’accès mémoire domine et où les unités de calcul peuvent rester inactives en attendant les données. C’est là que la conception généraliste de Nvidia commence à paraître moins optimale que des puces conçues spécifiquement pour le débit d’inférence ou la génération de tokens à faible latence.
De nouveaux concurrents tentent de battre les GPU en rapprochant des données beaucoup plus rapides du calcul. Groq intègre de grandes quantités de SRAM sur ses puces, tandis que Cerebras a poussé l’idée beaucoup plus loin avec des processeurs à l’échelle d’une wafer utilisant une tranche entière de silicium comme une seule puce géante. Une conception récente de Cerebras combine environ 900 000 cœurs de calcul avec près de 44 Go de SRAM sur puce et autour de 150 To/s de bande passante mémoire, permettant des cadences de tokens extrêmement élevées.
Ces architectures offrent des performances frappantes, mais elles sont coûteuses et difficiles à déployer. Les systèmes peuvent coûter de l’ordre de dizaines de millions de dollars pour exécuter un seul grand modèle, et posent d’importants défis d’ingénierie en rendement de fabrication, intégrité du signal et refroidissement. Cela les rend attractifs pour certains cas d’usage premium plutôt que comme remplacement immédiat de Nvidia sur le marché de masse.
La startup française ZML s’attaque à une autre barrière: la dépendance logicielle à un seul fournisseur. Sa pile de machine learning est conçue pour fonctionner sur plusieurs familles de puces, dont Nvidia, AMD, Google TPU, AWS Trainium, Intel, Apple Metal, Vulkan et Tenstorrent. L’objectif est de préserver de hautes performances tout en réduisant le coût du changement de matériel.
Un silicium plus rapide ou moins cher ne suffira peut-être pas. Même lorsque des alternatives offrent un meilleur rapport prix-performance, les acheteurs font face à l’inertie opérationnelle, aux relations fournisseurs et aux risques d’approvisionnement. La voie la plus probable vers le changement passe par une demande plus large de souveraineté, de coûts plus bas, de meilleure efficacité et de plus grande liberté de choix, combinée à des couches logicielles qui rendent ces alternatives réellement utilisables.
Nvidia reste le fournisseur par défaut de l’infrastructure IA, mais sa domination n’est plus incontestée au niveau architectural. La prochaine bataille dépendra non seulement de celui qui construit la puce la plus rapide, mais aussi de celui qui saura associer performance, disponibilité, compatibilité logicielle et confiance des acheteurs.
Poser une question