
Tech • IA • Robotique • Jeu
⏱ Résumé en ≈ 5 min · vidéo de 47 min — 42 min gagnées
Le pré-entraînement apprend aux grands modèles de langage à prédire le jeton suivant à partir d’immenses volumes de texte non annoté, en utilisant la fonction de perte d’entropie croisée, la rétropropagation et une puissance de calcul distribuée massive pour transformer des données brutes à l’échelle d’Internet en un modèle de base.
Le pré-entraînement est l’étape la plus coûteuse dans la construction de systèmes modernes comme ChatGPT, Claude et Gemini. Un modèle commence avec des paramètres aléatoires et apprend des schémas généraux du langage, du code, des faits, de la mise en forme et du style en répétant une même tâche des billions de fois: prédire le jeton suivant. Le résultat est un modèle de base, plus proche d’un autocompléteur très puissant que d’un assistant finalisé.
Contrairement à l’apprentissage supervisé classique, le pré-entraînement n’exige pas que des humains annotent les exemples. Dans une phrase comme « the capital of France is Paris », le jeton cible est déjà présent dans le texte; les données se labellisent donc en quelque sorte elles-mêmes. Cette configuration auto-supervisée permet de faire passer l’entraînement à l’échelle de corpus de taille Internet.
Après l’encodage des jetons et leur passage dans les couches du transformeur, le modèle produit des logits pour chaque jeton de son vocabulaire, soit souvent entre 50,000 et 128,000 possibilités. Un softmax convertit ces logits en probabilités. Si le modèle attribue 64% de probabilité à Paris comme jeton suivant, cela peut être correct, mais l’entraînement a tout de même besoin d’une mesure précise de l’erreur.
L’objectif standard du pré-entraînement est la fonction de perte d’entropie croisée, définie comme le logarithme négatif de la probabilité attribuée au bon jeton. Si le bon jeton reçoit 90% de probabilité, la perte est proche de 0.11; à 1%, elle monte à environ 4.6. Les ingénieurs suivent aussi la perplexité, qui est simplement l’exponentielle de la perte et peut se lire comme le nombre effectif de choix du modèle. Avec une initialisation aléatoire sur un vocabulaire de 50,000 jetons, la perte doit commencer près de 10.8 et la perplexité près de 50,000, ce qui constitue une vérification de base que l’exécution est correctement configurée.
Le gradient indique à chaque paramètre dans quelle direction réduire la perte. Pour les modèles de langage, la combinaison du softmax et de l’entropie croisée donne un signal simple: probabilité prédite moins probabilité correcte. Cela pousse la bonne réponse vers le haut et les concurrents incorrects vers le bas, avec des corrections plus fortes pour les jetons qui ont capté davantage de masse de probabilité.
Les modèles réels ont des milliards de poids; mettre à jour directement les sorties est donc impossible. La rétropropagation applique la règle de la chaîne à chaque opération en sens inverse, en retraçant comment chaque poids a affecté la perte finale. Vérifier numériquement le gradient en perturbant chaque paramètre séparément exigerait des milliards de passages avant supplémentaires et est irréalisable à cette échelle; un passage avant plus un passage arrière suffisent à calculer efficacement tous les gradients.
Des frameworks comme PyTorch et JAX automatisent la différentiation en construisant un graphe de calcul lors du passage avant puis en le rejouant à l’envers. Cette commodité a un coût mémoire élevé, car les activations intermédiaires doivent être conservées jusqu’au passage arrière. Dans les grands transformeurs, les activations peuvent consommer plus de mémoire que les poids du modèle.
Les grands modèles modernes sont généralement entraînés avec AdamW, qui combine momentum, tailles de pas adaptatives par paramètre et décroissance des poids. Les taux d’apprentissage ne sont pas fixes: ils utilisent typiquement une courte phase de warm-up depuis une valeur proche de zéro, puis une longue décroissance cosinus. Llama 2 a utilisé environ 2,000 étapes de warm-up, avec des pics de taux d’apprentissage autour de 3×10⁻⁴ pour les petits modèles et 1.5×10⁻⁴ pour les plus grands. Les tailles de lot sont énormes, souvent de plusieurs millions de jetons, car des lots plus grands réduisent le bruit du gradient et utilisent mieux les GPU.
La recherche a montré que la perte finale suit des lois d’échelle régulières lorsque la taille du modèle, les données et le calcul augmentent. Une estimation courante du calcul d’entraînement est environ 6 × paramètres × jetons d’entraînement. Pour GPT-3, avec 175 milliards de paramètres et environ 300 milliards de jetons, cela impliquait autour de 3×10²³ FLOPs. Des travaux ultérieurs de DeepMind sur Chinchilla ont montré que beaucoup de modèles plus anciens étaient sous-entraînés: 70 milliards de paramètres sur 1.4 trillion de jetons ont surpassé Gopher avec 280 milliards de paramètres entraînés sur 300 milliards de jetons, popularisant une règle d’environ 20 jetons par paramètre pour un entraînement optimal en calcul.
La mémoire requise pour l’entraînement dépasse largement celle de l’inférence. Un modèle de 7 milliards de paramètres peut exiger environ 112 GB rien que pour les poids, gradients et l’état de l’optimiseur Adam, sans compter les activations, alors qu’un Nvidia H100 dispose de 80 GB de mémoire. Cela impose de répartir l’entraînement sur de nombreux GPU via le parallélisme de données, le sharding comme FSDP ou ZeRO, le parallélisme tensoriel et le parallélisme pipeline. Meta a entraîné le modèle Llama 3 à 405 milliards de paramètres sur jusqu’à 16,000 GPU H100, avec des interconnexions rapides essentielles, car la communication peut devenir aussi importante que le calcul.
Le pré-entraînement est un processus mathématiquement simple mais industriellement colossal: prédire le jeton suivant, mesurer l’erreur, calculer les gradients et mettre à jour des milliards de poids sur d’immenses clusters. Les principales contraintes ne sont plus seulement algorithmiques, mais aussi la qualité des données, la mémoire, le réseau et l’économie du calcul à grande échelle.
Poser une question