Encore un problème d’alignement et de supervision humaine.
Dans un document officiel, transmis le 10 novembre 2026 a la SEC, le gendarme boursier américain, l'entreprise Anthropic, propriétaire de Claude, a déclaré avoir atteint un seuil où ses modèles contribuent directement à la recherche et à l'amélioration de leurs propres successeurs, entraînant une accélération du double du rythme de développement précédent.
Concrètement, ce franchissement de seuil – défini, par la charte de sécurité (Responsible Scaling Policy) d'Anthropic, comme un doublement du rythme de progrès attribuable à l'automatisation – se traduit par une autogénération massive de code et une contribution directe du système automatique (IA) à ses propres travaux de recherche.
L'organisme METR (https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/) estime que près de 80 % des gains de productivité observés proviennent désormais de l'usage interne des modèles par les équipes. Un exemple marquant illustre cette rupture opérationnelle : la prise en charge de l'optimisation du modèle « Claude Mythos » (cf. infra - v5.2) sur l'architecture matérielle AMD MI355X (un GPU de 4e génération - lien : https://www.amd.com/fr/products/accelerators/instinct/mi350/mi355x.html), réalisée par Claude en seulement trois jours au lieu des six à douze mois habituellement nécessaires, et surtout, pratiquement sans intervention humaine.
Ce basculement vers une boucle d’auto-amélioration présente toutefois le risque majeur d'un dépassement de l'alignement et des capacités de contrôle humain ; le contrôle est trop lent pour pouvoir savoir ce qui a été réalisé dans un délai raisonnable. En effet, Anthropic reconnaît ouvertement dans son dossier boursier cette limite méthodologique structurelle : ses outils de mesure reposant sur des indicateurs ex post facto, l’accélération va survenir avant d'avoir pu être détectée, identifiée et qualifiée. Dès lors, puisque les compétences et l'autonomie algorithmiques viennent à croître plus vite que les protocoles de contrôle, d’évaluation et de confinement, l'entreprise avertit qu'elle peut théoriquement se retrouver dans l’incapacité technique d'estimer, d'endiguer ou d'interrompre des comportements imprévus ou non alignés (cf. l’article sur l’alignement https://bernard-claverie.blogspot.com/2026/10/ia-vous-avez-dit-desalignement.html).
Face à un phénomène nouveau consistant en ce que des systèmes participent activement à leur propre conception et évolution, l'entreprise a activé des garde-fous des plus stricts. Elle a constitué une politique de développement responsable et de sécurité, qui exige une supervision humaine stricte obligatoire de toutes les productions. Cela n’est donc possible qu’avec une modulation du rythme de progression, compatible avec la maîtrise opérationnelle de son rôle et d'orientation des modèles futurs, et donc une perte de l’intérêt temporel de la création des modèles par rapport aux délais humains.
On se mord la queue : le système à un intérêt majeur, sa vitesse, mais son contrôle demande du temps, donc on le ralentit, et on perd donc l’intérêt. Ou alors, on fait confiance et on laisse faire dans un espace clos, mais il faudra bien à un moment l’ouvrir pour contrôler, donc dans un autre espace clos. Ou alors, on inverse laisse donne, on laisse faire inhumain et l’IA ne sert que de contrôle. De quoi réfléchir au paradoxe des deux serpents de la performance et de la sécurité qui se mordent l’un et l’autre la queue de l’autre et de l’un. Plus de sécurité, c’est moins de performance, puisqu’ajouter des contrôles, du chiffrement, des vérifications ou des limites ralentit les traitements, augmente la latence et alourdit les processus de contrôles avant le résultat. Et plus de performance, c’est moins de sécurité, car privilégier la puissance et la vitesse maximale demande de contourner ou alléger les contrôles, au risque du dépassement humain et des failles, des erreurs et surtout des risques.
On attend la suite de Anthropic, dans une position qui va devenir intenable par cet effet « morsures des queues », puisque les équipes qui renforcent la sécurité et dégradent la performance vont se heurter à celles qui, commercialement ou dans la compétition internationale, souhaitent le relâchement des garde-fous. Dans les deux cas, le paradoxe opère et la vulnérabilité apparaît, soit dans le dépassement des produits, soit dans celui du contrôle ou même de la compréhension humaine. Qui va gagner, probablement pas l’humanité ?
Référence :
Geoffre-Rouland, A. (2026). Des systèmes d'IA qui se construisent eux-mêmes : même le créateur de Claude prend peur et active ses garde-fous les plus stricts. Les Numériques (publie le 17 novembre 2026, d'après le prospectus S-1/A d'Anthropic soumis à la SEC). https://www.lesnumeriques.com/intelligence-artificielle/des-systemes-d-ia-qui-se-construisent-eux-memes-meme-le-createur-de-claude-prend-peur-et-active-ses-garde-fous-les-plus-stricts-n267760.html
Responsible Scaling Policy (RSP) d’Anthropic : il s’agit d’un cadre volontaire, édité en septembre 2023, pour évaluer et réduire les risques catastrophiques liés aux modèles d'IA avancés, notamment dans les domaines chimiques et biologiques, de la cybersécurité et de l’autonomie et l’alignement. La version v3.4 est en vigueur depuis le 8 juillet 2026 - https://www.anthropic.com/responsible-scaling-policy
Claude Mythos (version Mythos 5.2 du 9 novembre 2026) est un modèle d'IA d'Anthropic spécialisé dans la cybersécurité et la recherche en sciences de la vie. https://www.anthropic.com/claude/mythos
Aucun commentaire:
Enregistrer un commentaire