Imitation Learning for Autonomous Driving in CARLA : le clonage hors ligne passe en boucle fermée

Un résultat prudent plutôt qu’une révolution

L’actualité de Imitation Learning for Autonomous Driving in CARLA repose sur un rapport technique de Jordy Kieto soumis à arXiv le 15 septembre 2026 dans les catégories intelligence artificielle et robotique [1]. Le rapport pose une question précise: jusqu’où une politique compacte et multimodale peut-elle apprendre à conduire en boucle fermée dans CARLA à partir de démonstrations d’expert collectées hors ligne [1]. Cette précision est essentielle, car le clonage comportemental s’entraîne comme un problème supervisé sur des données d’expert, alors que le déploiement réel d’une politique de contrôle est autorégressif: chaque action prédite modifie l’observation suivante [2].

Le résultat principal est encourageant, mais volontairement borné. Le rapport indique que la politique publiée conduit de façon autonome pendant des heures sur des routes d’entraînement et des routes tenues à l’écart, sans collision dans les essais de l’auteur, et qu’elle se transfère qualitativement vers une ville CARLA non vue dont la géométrie routière diffère [1]. Il indique aussi que la politique a récupéré après de grands écarts de trajectoire, tout en refusant d’en faire une revendication systématique faute d’évaluation contrôlée [1]. Il faut donc lire ce travail comme une expérience reproductible montrant qu’un petit modèle multimodal peut rester stable en boucle fermée dans une simulation simplifiée, non comme une démonstration de conduite autonome réelle.

Ce que le modèle observe et prédit

Le système est volontairement léger. D’après l’abstract arXiv, la politique utilise des historiques de cinq images temporelles combinant RGB, LiDAR, télémétrie du véhicule et points de voie, puis prédit accélération, freinage et direction à 20 Hz [1]. Le PDF précise que la politique compte environ 1,36 million de paramètres et fusionne les modalités au moyen d’encodeurs spécialisés et d’un Transformer temporel à deux couches [2]. L’historique couvre cinq trames, soit environ 0,25 seconde au rythme de contrôle utilisé [2].

Le dépôt public rend l’architecture plus concrète. Les images RGB sont redimensionnées en 96 par 96, le LiDAR est représenté par un histogramme en vue plongeante de 64 par 64, la télémétrie comprend cinq signaux du véhicule, et les points de voie décrivent les 25 prochains points au centre de la voie [3]. La sortie est un vecteur continu à trois valeurs: accélérateur, frein et angle de direction [3]. Le dépôt précise aussi que les commandes passées ne font pas partie des entrées du checkpoint publié, ce qui garde l’interface centrée sur la perception, l’état du véhicule et le contexte de route plutôt que sur un simple lissage historique des actions [3].

Ce choix d’ingénierie est intéressant, car le projet ne cherche pas à masquer la question scientifique derrière un immense modèle. Ce n’est ni un modèle de fondation, ni un conducteur vision-langage-action, ni une pile autonome complète. C’est une expérience disciplinée: fournir des observations multimodales et des commandes d’expert, entraîner une politique supervisée, puis observer si elle reste stable lorsque ses propres commandes referment la boucle avec le simulateur.

Des données limitées, mais structurées

La contribution centrale du projet tient peut-être davantage à la distribution des démonstrations qu’au réseau lui-même. Le rapport explique que les démonstrations ont été collectées en trois étapes, la dernière reposant sur une génération systématique de routes: énumération des points de départ, interrogation de la topologie routière pour connaître les manœuvres possibles, puis conservation des trajets autopilote seulement après vérification de la manœuvre réellement effectuée [1]. La politique publiée a été entraînée sur 236 882 fenêtres issues de 448 captures, soit environ 3,3 heures de conduite [1].

Le README du dépôt reprend ces chiffres et précise que les villes d’entraînement sont Town01 et Town02 [3]. Il indique aussi que l’ensemble de données reste très déséquilibré: 89,5 % de lignes droites, 5,9 % de virages à gauche et 4,7 % de virages à droite [3]. Ce déséquilibre compte, car les échecs de conduite en boucle fermée apparaissent souvent aux frontières de la distribution: virages, intersections, situations de récupération ou ambiguïtés de choix de route. Le générateur de routes cherche justement à couvrir les virages et les segments droits, même si les fenêtres finales reflètent encore la dominance naturelle de la conduite en ligne droite [3].

L’audit des revendications ajoute une couche de traçabilité. Il classe la taille de l’ensemble d’entraînement, le mélange directionnel et la durée approximative de 3,3 heures comme des éléments mesurés quantitativement et récupérables depuis des journaux, manifestes ou artefacts de checkpoint [4]. Il indique aussi que la politique publiée correspond au checkpoint de l’époque 10 d’un entraînement nommé “barzksni”, avec un minutage relié aux logs et aux métadonnées [4]. Cette précision réduit l’ambiguïté habituelle entre un comportement montré en vidéo, un modèle sauvegardé et un entraînement effectivement reproductible.

Pourquoi la boucle fermée change tout

Le rapport insiste sur la différence entre métriques hors ligne et compétence de conduite. Une perte de validation mesure l’imitation des actions d’expert sur des états visités par l’expert; un essai en boucle fermée mesure ce qui se passe lorsque les erreurs du modèle déplacent le véhicule vers ses propres états futurs [2]. Le rapport formule cela comme le problème classique de dérive de distribution du clonage comportemental: une petite erreur peut amener l’agent dans une zone peu représentée par les démonstrations [2].

Cette distinction est cruciale en conduite autonome. Un modèle peut obtenir une erreur faible sur des trajectoires enregistrées et pourtant sortir progressivement de la voie une fois déployé, parce que les données ne contiennent pas assez d’états de récupération créés par ses propres erreurs. La revendication centrale n’est donc pas seulement que le modèle prédit bien les commandes d’expert, mais qu’il reste utilisable lorsque ses prédictions sont appliquées à CARLA à 20 Hz. Les instructions du dépôt vont dans ce sens, avec un script permettant de lancer la politique entraînée dans CARLA et de l’activer pendant la simulation [3].

Le résultat est prometteur parce que la politique semble stable malgré un entraînement hors ligne et une taille modeste. Mais il reste limité parce que les observations les plus fortes ne sont pas présentées comme un benchmark standardisé avec complétion de route, infractions, intervalles de confiance et comparaison systématique. Le rapport dit explicitement qu’il publie des métriques hors ligne tout en séparant les résultats mesurés des observations qualitatives en boucle fermée [1].

La reproductibilité comme principal apport

Pour les chercheurs, la publication des artefacts est probablement aussi importante que le score implicite de conduite. La page arXiv indique que l’auteur publie le code, un checkpoint entraîné, un modèle ONNX, un échantillon de données et un audit revendication par revendication [1]. Le dépôt décrit un pipeline complet: enregistrer des démonstrations manuellement ou avec l’autopilote CARLA, prétraiter les enregistrements en fragments et index de fenêtres, entraîner la politique, puis conduire avec le modèle entraîné [3]. Il inclut aussi des versions Keras et ONNX de la politique [3].

L’export ONNX n’est pas un détail cosmétique. Le README précise que le fichier ONNX représente le même réseau que le checkpoint Keras et rapporte une différence maximale de sortie d’environ 3e-7 par rapport à Keras [3]. Une telle vérification de parité aide à reproduire l’inférence sans dépendre d’un seul environnement logiciel. Le dépôt fournit aussi un échantillon de trois secondes de données prétraitées et un manifeste de fenêtres, ce qui permet de tester la chaîne sans collecter immédiatement un jeu de données CARLA complet [3].

La page du commit courant montre que le README a été modifié pour mettre en avant le rapport technique, ajouter des points forts et inclure un bloc de citation [5]. Cela confirme que la présentation publique du code et celle du rapport sont alignées dans l’état actuel du projet [5].

Des limites assumées

La limite la plus importante est la simplicité du scénario. Le dépôt indique que le projet est limité à la simulation, sans autres véhicules ni piétons par défaut, et que l’autopilote de collecte ignore les feux de circulation et les panneaux stop [3]. La compétence observée ne doit donc pas être lue comme une capacité de conduite urbaine prête à l’emploi. Il s’agit de suivi de voie et de manœuvres dans un cadre de simulation contrôlé, pas d’autonomie interactionnelle riche.

Il existe aussi des réserves sur les données et la perception. Le README précise que les fenêtres de validation proviennent de parties ultérieures et contiguës des mêmes enregistrements plutôt que de routes ou de cartes complètement séparées, sauf si l’utilisateur choisit explicitement des tags tenus à l’écart [3]. Il note que les points de voie suivent la voie plutôt qu’un itinéraire planifié, ce qui ne désambiguïse pas toujours le virage attendu aux intersections [3]. Il révèle enfin que les points de voie de débogage apparaissent dans les images caméra pendant la collecte et le mode politique, créant potentiellement un indice visuel artificiel absent du monde réel [3].

L’audit des revendications renforce cette prudence en séparant les affirmations mesurées, qualitativement observées, inférées ou non vérifiées [4]. Cette structure est importante: le travail est le plus solide lorsqu’il renvoie à des artefacts récupérables, et plus fragile lorsqu’il repose sur une observation d’auteur ou une preuve vidéo plutôt que sur une évaluation contrôlée [4].

Ce que cela signifie pour les véhicules autonomes réels

Le potentiel pour les systèmes réels existe, mais il est indirect. Le projet montre qu’une petite politique peut combiner caméra, LiDAR, télémétrie et géométrie locale de route, apprendre à partir de traces d’expert, puis survivre à un déploiement en boucle fermée dans CARLA pendant des essais prolongés [1]. Il montre aussi que la qualité et la couverture de la génération de démonstrations peuvent compter autant que la taille du modèle [2].

Le passage de CARLA à la route exigerait toutefois un dossier de preuve beaucoup plus large: acteurs dynamiques, respect du code de la route, variations météo et lumineuses, calibration des capteurs, comportements de repli, benchmarks formels, ablations, gestion de l’incertitude et validation sur véhicule réel. La publication actuelle ne revendique pas ces résultats; ses propres limites indiquent au contraire l’absence par défaut de trafic, de piétons et d’obéissance aux feux [3].

La conclusion la plus crédible est donc méthodologique. Le clonage comportemental hors ligne est souvent jugé trop fragile pour le contrôle en boucle fermée, mais ce projet montre qu’avec des entrées multimodales, un contexte temporel et une collecte structurée, un modèle compact peut produire une conduite simulée étonnamment durable. Son apport le plus durable pourrait être son modèle de publication: code, checkpoint, ONNX, échantillons, défauts connus et audit des revendications. Pour la recherche en conduite autonome, cette transparence vaut presque autant que la démonstration elle-même.

Développements

1. Apprentissage par imitation améliore la conduite autonome dans CARLAArXiv - Artificial Intelligence · 17 sept. 2026, 04:00 UTC · 8/10

Sources des dernières 72 heures

1. [1][2609.17757] Imitation Learning for Autonomous Driving in CARLA15 sept. 2026, 19:08 UTC
2. [2]GitHub - JordyKieto/carla-imitation-learning17 sept. 2026, 00:00 UTC
3. [3]README: feature the technical report · JordyKieto/carla-imitation-learning@50d28e2 · GitHub17 sept. 2026, 00:00 UTC
4. [4]Imitation Learning for Autonomous Driving in CARLA15 sept. 2026, 19:08 UTC
5. [5]carla-imitation-learning/paper/CLAIMS.md at main · JordyKieto/carla-imitation-learning · GitHub17 sept. 2026, 00:00 UTC

Article généré par IA à partir d’une recherche web récente, puis conservé comme instantané éditorial daté.