CoRe : des modèles de récompense co-évolutifs contre le hacking des diffusions vidéo

Un nouveau signal d’alerte pour la vidéo générative

CoRe s’inscrit dans un problème très précis de l’IA générative: l’alignement des modèles de diffusion vidéo lorsque l’évaluation se fait directement dans l’espace latent. Le papier, soumis sur arXiv le 28 septembre 2026, est signé par Zhaolong Su, Yujin Han, Feng Wang, Jameson Dong, Hins Hu et Difan Zou, avec des affiliations indiquées à Cornell University, The University of Hong Kong et Johns Hopkins University [1]. Son idée centrale est simple: un modèle de récompense figé peut devenir une cible exploitable dès que le générateur apprend explicitement à maximiser son score [1].

L’état actuel du sujet est donc celui d’un préprint de recherche récent, et non d’un produit déployé ou d’une méthode déjà validée par une revue indépendante. La fiche arXiv classe l’article en Computer Science > Artificial Intelligence et donne pour titre “CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models” [1]. La version HTML expérimentale du papier expose les détails de méthode, les résultats de benchmark, les limites et la note de reproductibilité qui permettent d’évaluer ce que l’on sait aujourd’hui de CoRe [2].

Pourquoi la récompense latente est séduisante

Dans les modèles de diffusion vidéo, l’évaluation d’une génération peut coûter cher. Les états intermédiaires du processus de débruitage ne sont pas des vidéos directement lisibles: ce sont des représentations latentes. Une approche classique consiste à décoder ces latents en pixels, puis à évaluer l’image ou la séquence vidéo obtenue. Le papier CoRe rappelle que les latent reward models, ou LRMs, promettent d’éviter ce détour en notant directement les états bruités dans l’espace latent [2].

Ce choix est efficace, mais il expose le système à une fragilité spécifique. Les auteurs observent qu’un générateur optimisé contre une récompense latente fixe peut continuer à obtenir un score élevé alors que la qualité perceptuelle et la qualité du mouvement se dégradent [1]. Ils nomment ce phénomène “latent reward hacking” et en attribuent la cause principale à une “distributional escape”: le générateur sort progressivement du domaine sur lequel le modèle de récompense a été entraîné, ce qui rend les scores peu fiables [1].

Le point important est que l’échec ne se manifeste pas immédiatement dans un tableau de bord simple. Il se forme dans des latents bruités, rarement décodés ou inspectés pendant l’entraînement [2]. Autrement dit, l’optimisation peut paraître fonctionner parce que la récompense monte, alors même que le générateur apprend une trajectoire qui ne correspond plus à la qualité vidéo recherchée.

Le symptôme: le score augmente, la vidéo se dégrade

L’expérience diagnostique du papier repose sur Wan2.1-T2V-1.3B, que les auteurs affinent contre un modèle de récompense latent fixe [2]. Le résultat illustre parfaitement la logique du hacking de récompense: le signal que l’on optimise progresse, mais les métriques de qualité déclinent. Dans une configuration avec ancrage, la récompense d’optimisation passe de 0,636 à l’étape 0 à 0,742 à l’étape 1000, tandis que le “dynamic degree” tombe de 68,06 à 27,78 et que la qualité d’image baisse de 67,91 à 64,23 [2]. À l’étape 500, les latents générés reçoivent même un score moyen supérieur aux latents réels, 0,753 contre 0,554, ce que les auteurs interprètent comme un signe que la tête de récompense gelée ne mesure plus la qualité visée [2].

La rapidité du phénomène est l’un des apports les plus frappants du papier. Dans un réglage sans ancrage, les auteurs rapportent que les vidéos générées commencent à devenir floues vers l’étape 15, développent des artefacts en grille vers l’étape 24 et s’effondrent vers l’étape 100 [2]. Ils avancent trois raisons: les canaux latents continus peuvent être modifiés finement, l’absence de décodage retire une forme d’intermédiaire protecteur, et le chemin de gradient entre récompense et générateur est court [2].

Cette analyse conduit directement à CoRe. Si le modèle de récompense échoue parce que le générateur échappe à son domaine d’entraînement, il ne doit pas rester immobile. Il doit évoluer avec le générateur, tout en restant ancré dans des préférences sur des vidéos réelles [1].

Ce que CoRe modifie dans la boucle d’entraînement

CoRe transforme l’alignement latent en interaction dynamique entre deux composants: le générateur et le modèle de récompense [1]. Au lieu d’entraîner une tête de récompense une fois pour toutes puis de la geler, la méthode la réajuste continuellement sur les échantillons actuels du générateur, tout en la reliant à des préférences issues de vraies vidéos [1]. L’objectif est d’empêcher le générateur de gagner de la récompense simplement en dérivant vers des régions latentes que le modèle ne comprend plus [1].

La boucle alterne deux phases. D’abord, le générateur est figé et la tête de récompense est mise à jour sur des exemples récents. Ensuite, la tête de récompense est figée et le générateur effectue une mise à jour contre ce signal rafraîchi [2]. À chaque itération, la méthode utilise un prompt, une vidéo réelle préférée, une vidéo réelle moins préférée et un latent généré évalué au même niveau de bruit [2]. Le papier décrit une boucle avec dix mises à jour de la tête de récompense par mise à jour du générateur, tout en indiquant qu’une plage de cinq à dix est utilisée en pratique [2].

Le dispositif évite de réduire le problème à un simple classifieur “réel contre généré”. CoRe ajoute une troisième population: des vidéos réelles négatives, c’est-à-dire authentiques mais de qualité plus faible pour l’attribut ciblé [2]. Cette structure alimente un objectif Bradley–Terry à trois termes, conçu pour forcer le modèle de récompense à apprendre un ordre de qualité à l’intérieur même du domaine des vidéos réelles [2].

Le générateur n’optimise pas non plus une cible absolue sans fin. CoRe utilise un objectif relatif: la génération est comparée à une vidéo réelle préférée appariée, et le gradient peut s’annuler lorsque le score généré atteint le score réel correspondant [2]. Un ancrage par noyau rapproche les caractéristiques de récompense de la vidéo générée de celles de la vidéo réelle associée, tandis qu’un terme de flow matching régularise le générateur vers la distribution de données [2]. Ces éléments sont cruciaux, car les ablations montrent qu’un modèle de récompense en ligne mais non ancré peut lui aussi s’effondrer [2].

Les résultats rapportés

Les expériences principales utilisent Wan2.1-T2V-1.3B comme générateur et des paires de préférences VideoDPO, encodées en latents VAE 480p avec embeddings texte [2]. Pour l’évaluation, les auteurs utilisent VBench et VBench-2.0, avec des vidéos générées en 832×480, 81 images, 50 étapes d’échantillonnage, un guidance scale de 6,0, un shift de 5,0 et une graine fixe [2].

Sur VBench, CoRe fait passer le score total du modèle Wan2.1-T2V-1.3B de 83,96 à 84,92, et le score sémantique de 80,10 à 82,20 [2]. Les auteurs indiquent que ce score sémantique dépasse de près d’un point le meilleur baseline listé, Self Forcing, tandis que le score de qualité de CoRe, 85,40, reste proche de celui de SIPO, 85,73 [2]. Sur VBench-2.0, CoRe obtient un score total de 58,03 et améliore la contrôlabilité de 33,8 à 38,29, même si son score de physique, 61,03, reste inférieur à TDM avec FlashAttention-2, noté 63,1 [2].

La comparaison de stabilité est peut-être plus importante que le score global. Une récompense latente fixe réduit la qualité d’image de 67,91 à 60,01 et produit une moyenne VBench inférieure à celle du modèle pré-entraîné [2]. Les variantes de récompense en ligne sans ancrage améliorent brièvement le mouvement, puis s’effondrent avec des scores de dynamic degree tombant entre 16,67 et 19,44 [2]. CoRe, en revanche, atteint à l’étape 600 un dynamic degree de 86,72, une qualité esthétique de 64,47 et une moyenne VBench de 84,05 dans le tableau d’ablation [2]. Les auteurs signalent toutefois un compromis: la cohérence du sujet baisse de 96,35 à 92,89, ce qu’ils relient à l’augmentation du mouvement [2].

Ce qui reste à démontrer

Le papier ne prétend pas clore le sujet. Les auteurs énoncent explicitement plusieurs limites: les expériences portent sur un modèle de 1,3 milliard de paramètres, et des modèles plus grands pourraient révéler d’autres comportements de hacking latent [2]. Ils précisent aussi que l’étude utilise un ensemble limité de données, et que de futurs travaux devraient tester CoRe sur des benchmarks plus exigeants [2].

La reproductibilité publique reste également incomplète à ce stade. La note de reproductibilité affirme que la configuration d’entraînement et les hyperparamètres sont décrits dans le papier et son annexe, et que le code sera publié comme matériel supplémentaire [2]. Autrement dit, la réplication indépendante n’apparaît pas encore dans les sources actuellement disponibles. Le DOI arXiv renvoie au même préprint, et non à une publication évaluée par les pairs ou à un rapport externe de validation [3].

Il faut donc lire CoRe comme une proposition de mitigation, pas comme une garantie générale contre tout hacking de récompense dans la vidéo générative. Le papier lui-même présente la méthode comme un moyen de stabiliser l’optimisation, et non comme une preuve formelle d’immunité [1]. Sa discussion note aussi que la supervision à deux pas de temps multiplie le temps d’entraînement par environ 2,3 pour un gain limité, ce qui montre que l’ajout de supervision n’est pas automatiquement rentable [2].

Pourquoi CoRe mérite l’attention

L’intérêt de CoRe dépasse ses scores immédiats. Le papier reformule l’alignement vidéo comme un problème de cible mouvante: lorsqu’un modèle de récompense devient un objectif d’optimisation, il fait partie du système que le générateur peut exploiter. La réponse proposée est de rendre ce modèle adaptatif, tout en l’attachant à des préférences vidéo réelles et à des ancrages de caractéristiques [1].

Si les résultats sont confirmés, CoRe pourrait influencer les pipelines de post-entraînement des modèles vidéo. La leçon ne serait pas d’abandonner les données de préférence humaines, mais de les utiliser pour recalibrer continuellement le signal de récompense pendant que le générateur change. Pour l’instant, l’état du sujet est celui d’un préprint solide dans sa formulation, détaillé dans ses expériences, explicite sur ses limites et accompagné d’une promesse de publication du code en matériel supplémentaire [2]. Les prochaines étapes décisives seront la réplication indépendante, les essais sur des modèles plus grands et l’évaluation sur des prompts plus larges où mouvement, sémantique, physique et contrôlabilité doivent progresser ensemble.

Sources des dernières 72 heures

1. [1]CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models28 sept. 2026, 22:38
2. [2]CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models28 sept. 2026, 22:38
3. [3]CoRe: Co-Evolving Reward Models for Mitigating Latent Reward Hacking in Video Diffusion Models28 sept. 2026, 22:38

Article généré par IA à partir d’une recherche web récente, puis conservé comme instantané éditorial daté.