Des chercheurs en Chine alertent sur un « collapse de modèle » qui menace la fiabilité des systèmes d’intelligence artificielle employés en sécurité et défense. Ce phénomène, s’il n’est pas maîtrisé, pourrait réduire la précision des évaluations stratégiques et fragiliser la prise de décision lors d’engagements militaires. Les spécialistes évoquent des vulnérabilités potentielles dans les capacités de défense tant que les méthodologies d’entraînement ne seront pas adaptées, avec des répercussions possibles au-delà des frontières chinoises alors que l’intégration de l’IA dans les opérations s’accélère à l’échelle mondiale.
Le collapse de modèle survient lorsque des modèles sont réentraînés sur leurs propres productions synthétiques au fil de générations successives. Les sorties deviennent progressivement plus homogènes, biaisées et moins exactes, ce qui peut compromettre des fonctions critiques, depuis l’analyse de situation jusqu’à l’aide à la décision. Avec la montée en puissance des applications de l’IA dans les domaines militaires et sécuritaires, une telle dérive place la fiabilité des systèmes au centre des préoccupations opérationnelles, en particulier lorsque des chaînes de décision s’appuient fortement sur des résultats algorithmiques.
Selon des évaluations relayées par les spécialistes, l’intégration croissante de l’IA amplifie l’impact d’éventuelles défaillances liées à ce phénomène. Il est ainsi évoqué une fenêtre de vulnérabilité, le temps que les équipes de recherche et de développement adaptent leurs corpus et leurs protocoles d’entraînement pour limiter l’auto-référence et maintenir un niveau de performance constant. Les conséquences se mesureraient en premier lieu dans la précision des systèmes et la robustesse des évaluations, avec un risque accru d’erreurs lors d’engagements si la dégradation n’était pas détectée à temps.
Des travaux présentés à la conférence ICLR 2024 par Quentin Bertrand et ses coauteurs ont montré que la stabilité du réentraînement restait possible si le modèle initial était suffisamment abouti et si une part importante des données demeurait réelle. Les auteurs ont toutefois souligné qu’en deçà d’un certain seuil de données réelles, les modèles génératifs couraient un risque d’effondrement, avec des sorties de plus en plus pauvres et inexactes. Ces résultats fournissent des garde-fous concrets pour encadrer les jeux de données mixtes utilisés dans l’entraînement itératif.
Dans le même esprit, un article publié dans la revue Nature conclut que l’entraînement récursif sur données synthétiques non contrôlées peut mener à l’effondrement de modèles génératifs. La question de la détection du contenu artificiel au sein des corpus s’avère d’autant plus complexe que ces données se diffusent largement. Sans mesures robustes, les modèles risquent de s’auto-renforcer vers des styles synthétiques dégradés. Pour des usages de défense, la qualité du corpus et la traçabilité des données d’entraînement deviennent ainsi des paramètres techniques déterminants.
La fiabilité des modèles fait par ailleurs l’objet de constats préoccupants au-delà de la Chine. Des chercheurs d’Apple ont indiqué le week-end dernier que des modèles avancés de raisonnement affichaient des « limitations fondamentales » et un effondrement complet de la précision face à des problèmes hautement complexes. Ils ont observé qu’à l’approche de ce seuil critique, certains modèles réduisaient leur effort de raisonnement, un comportement jugé particulièrement inquiétant. Ces éléments renforcent le débat sur la robustesse réelle des approches actuelles lorsque la complexité des tâches augmente fortement.
Dans un registre adjacent, Anthropic a dévoilé cette semaine le projet Glasswing, destiné à renforcer les défenses assistées par IA avant qu’elles ne soient submergées par des attaquants outillés par des modèles avancés. Des partenaires comme Amazon Web Services, Apple, Cisco, Google et Microsoft ont accès à Claude Mythos Preview, un modèle non publié qui aurait déjà identifié des milliers de vulnérabilités, y compris dans chaque grand système d’exploitation et navigateur. Anthropic a informé des responsables américains, notamment la Cybersecurity and Infrastructure Security Agency et le centre du National Institute of Standards and Technology dédié aux normes d’IA.
Aux États-Unis, la Central Intelligence Agency a récemment utilisé l’intelligence artificielle pour produire un rapport de renseignement, une première. L’agence indique avoir testé 300 projets en 2025 et prévoit d’intégrer des partenaires d’IA dans toutes ses plateformes analytiques dans les prochaines années. « Dans les prochaines années, nous disposerons de partenaires AI intégrés dans toutes les plateformes analytiques de la CIA », a déclaré Michael Ellis. Le centre de renseignement cybernétique de la CIA doit piloter l’implémentation et le développement de ces capacités.
Parallèlement, le département de la Défense des États-Unis a confirmé des accords avec sept grandes entreprises d’IA pour intégrer leurs technologies dans des réseaux militaires classifiés. Le Pentagone justifie cette démarche par le besoin d’améliorer rapidement les capacités de sécurité nationale, l’efficacité opérationnelle et la prise de décision. Anthropic est exclu de ces accords et demeure en désaccord avec le département, ce qui alimente les débats sur l’équilibre entre contrôle des risques, diversité des solutions et adoption accélérée de technologies d’IA dans les environnements sensibles.
En Europe, le gouvernement suédois envisage une plateforme cloud souveraine pour héberger les données classifiées des forces armées et du service de sécurité SAPO. Les services de renseignement suédois ont identifié le risque de fuites via des plateformes étrangères et ont remis un rapport au gouvernement. Le ministre de la Défense, Paul Johnson, a souligné l’expérience ukrainienne et la masse de données du champ de bataille issue de capteurs aériens, drones et satellites, estimant que le recours à des solutions cloud et leur usage devenaient indispensables dans ces conditions.
Ces mouvements internationaux donnent la mesure des enjeux associés à la qualité des données, à la sécurité des infrastructures et à la fiabilité des modèles. En Chine, si le collapse de modèle n’était pas correctement traité, des vulnérabilités significatives pourraient émerger dans les capacités de défense. Les implications annoncées dépassent le cadre national, plusieurs États évoquant la nécessité de réexaminer leurs stratégies d’IA au regard des limites et risques documentés, que ceux-ci relèvent de la qualité des données, de la robustesse du raisonnement ou de la surface d’attaque logicielle.
Les chercheurs chinois sont ainsi attendus sur des ajustements méthodologiques visant à préserver une proportion suffisante de données réelles et à consolider les garde-fous contre l’auto-entraînement incontrôlé. Le suivi attentif de ces évolutions reste d’actualité pour les acteurs de la défense, à un moment où la diffusion rapide de l’IA dans les processus sensibles accroît l’exigence de fiabilité. Dans l’intervalle, la fenêtre de vulnérabilité évoquée par les évaluations demeure, le temps de consolider des approches d’entraînement capables de prévenir tout effondrement de performance.
