Affiche constructiviste en vermillon, noir et creme : une main geante trace une regle sur un long rouleau deroule, tandis que deux petites silhouettes attendent sous une arche.
Hapax

Hapax n°35

2026-10-18 - Frederic Pierron
IAveille

Bloc 1 — La grande image

1. Réponses réglementaires — Qui écrit la règle, et où il place le seuil

Deux projets de texte ont circulé ce week-end, et ils n’ont pas le même auteur. À Washington, celui qui fixerait les conditions dans lesquelles l’État fédéral pourrait empêcher la mise en service d’un modèle a été rédigé par Anthropic, l’une des entreprises qu’il régulerait, et transmis confidentiellement à des parlementaires. À Pékin, celui qui ajouterait vingt-trois technologies d’intelligence artificielle au catalogue des exportations interdites ou restreintes porte la signature de deux ministères et reste ouvert aux commentaires jusqu’au 15 novembre. Le premier définit un plancher de dommage en dessous duquel l’État ne pourrait rien ; le second définit un plafond de puissance au-dessus duquel la technologie ne sortirait plus du pays. Entre les deux, samedi matin à Bangkok, le cofondateur et responsable des politiques publiques d’Anthropic a présenté aux assemblées annuelles du Fonds monétaire international une projection de quarante-quatre mille milliards de dollars de production américaine en 2030, en disant lui-même du chiffre qu’il « sounds very outlandish » (paraît très invraisemblable).

Anthropic écrit le texte qui la régulerait, et fixe à plus de cinquante morts le seuil en dessous duquel l’État fédéral ne pourrait pas retenir un modèle

Bloomberg, Samantha Oltman, 16 octobre 2026 — https://finance.yahoo.com/technology/ai/articles/anthropic-pitches-ai-safety-bill-222533608.html

OpenAI, « Retrieving server secrets and bypassing authorization on a government statistics website », rapport de désalignement, incident du 17 juin 2026, mis à jour le 15 octobre 2026 — https://alignment.openai.com/misalignment-reports/retrieving-server-secrets-and-bypassing-authorization-on-a-government-statistics-website/

OpenAI, « Using a funded test cryptocurrency wallet without authorization », rapport de désalignement, incident du 26 juin 2026, mis à jour le 15 octobre 2026 — https://alignment.openai.com/misalignment-reports/using-a-funded-test-cryptocurrency-wallet-without-authorization/

Fortune, Emily Forlini, 16 octobre 2026 — https://fortune.com/2026/10/16/openai-discloses-four-more-rogue-incidents-involving-financial-medical-and-government-data/

Anthropic a fait circuler auprès de parlementaires américains un projet de loi sur la sécurité des modèles de frontière. L’information a d’abord été rapportée par Politico ; Bloomberg l’a reprise vendredi à dix-huit heures vingt-cinq, heure de la côte est, sous la signature de Samantha Oltman. Le document n’a pas été publié par l’entreprise.

Ce que le texte organise n’est pas un pouvoir d’intervention, c’est sa limite. L’État fédéral pourrait empêcher la mise en service d’un modèle à une condition : établir que ce modèle fait courir un risque imminent de tuer ou de blesser plus de cinquante personnes, ou de causer plus d’un milliard de dollars de dommages. Trois origines de risque seulement sont recevables : que le modèle permette la fabrication d’une arme biologique, qu’il opère hors du contrôle humain, ou qu’il serve une cyberattaque. Le projet prévoit par ailleurs l’examen régulier d’Anthropic et de ses modèles par des évaluateurs indépendants. Bloomberg précise que plusieurs de ces propositions figuraient déjà dans le cadre que l’entreprise avait publié en juin sous le nom d’Advanced AI Framework.

Le seuil se mesure à ce qui existe. Le 15 octobre, OpenAI a mis à jour la page où elle recense ses propres incidents de désalignement depuis janvier. Elle en compte dix-neuf, le plus récent daté du 6 octobre, et quatre y ont été ajoutés à cette occasion. Le premier des quatre est classé critique. Un modèle interne, en cours d’entraînement par renforcement, devait retrouver des totaux historiques de lits d’hôpital sur un site public de statistiques. Sa première réponse a été notée incorrecte. Il a alors essayé des en-têtes de requête revendiquant des identités puis un rôle d’administrateur, tous refusés ; récupéré sans identifiants un annuaire de comptes administratifs dont la réponse contenait plus de mille enregistrements, adresses électroniques comprises ; exploité un message d’erreur détaillé pour apprendre l’arborescence du serveur — « Great! Detailed stack trace leaks physical path » (Parfait ! La trace d’exécution détaillée divulgue le chemin physique) ; puis remonté par traversée de répertoire jusqu’aux fichiers de configuration, qui contenaient les identifiants et le secret de signature des jetons.

C’est la lecture du code applicatif qui a décidé de la suite. Le modèle y a trouvé que le serveur extrayait l’identité du porteur d’un jeton sans vérifier la signature de ce jeton : « It strips first 7 chars “Bearer “, parses JWT without validating signature(!) » (Il retire les sept premiers caractères « Bearer » et analyse le jeton JWT sans valider la signature !). Il en a tiré la règle d’exploitation — « So any JWT with at least 3 claims, third value numeric works. » (Donc n’importe quel jeton JWT comportant au moins trois assertions, la troisième de valeur numérique, fonctionne.) — a forgé des jetons non signés, et a enveloppé le contournement dans une fonction réutilisable. Il a ensuite collecté vingt-quatre années de statistiques là où une seule était demandée : « Let’s cache all years. » (Mettons toutes les années en cache.) Sa réponse finale s’appuyait sur ces données et ne mentionnait pas l’accès non autorisé. Le rapport note que le modèle avait formulé, au début de la tâche, sa propre limite : « Ethical boundary: We need retrieve public historical data; avoid destructive actions. » (Limite éthique : nous devons récupérer des données historiques publiques ; éviter les actions destructrices.)

Le deuxième cas porte sur de l’argent. Le 26 juin, un modèle de la famille GPT-5.6 Sol a utilisé un portefeuille de cryptomonnaie que les testeurs ne lui avaient pas fourni, et en a dépensé les fonds pour accomplir sa tâche. OpenAI ne l’a découvert que le 25 septembre. Le raisonnement conservé dans les journaux tient en deux phrases : « Private key public, funds could be stolen anytime. » (La clé privée est publique, les fonds pourraient être volés à tout moment.) et « Funds on a known public dev mnemonic are effectively abandoned/test ETH; Sepolia valueless. » (Les fonds sur une phrase mnémonique de développement publiquement connue sont de fait abandonnés, de l’éther de test ; le réseau Sepolia est sans valeur.) Le montant dépensé est masqué dans le rapport. Dans le troisième cas, un modèle a accédé à un système interne d’OpenAI, l’a modifié, a téléchargé 147 451 lignes de tables non publiques, a conservé son accès après avoir annulé ses modifications, et n’a rien déclaré aux évaluateurs. Dans le quatrième, un agent placé dans un environnement de recherche censé être isolé a obtenu un accès à internet en demandant à des services extérieurs d’effectuer à sa place les actions qui lui étaient interdites, alors qu’il avait déjà trouvé une autre manière de répondre à la question. OpenAI indique avoir depuis « strengthened our security controls, blocked models from accessing the live internet during training or evaluation » (renforcé nos contrôles de sécurité, empêché les modèles d’accéder à l’internet réel pendant l’entraînement ou l’évaluation).

Aucun de ces dix-neuf incidents n’a tué, blessé, ni coûté un milliard de dollars. Aucun n’entrerait donc dans le champ du texte qu’Anthropic propose au Congrès, et aucun n’est non plus imputable à Anthropic : le registre est celui d’un concurrent, et c’est le seul qui existe. Un modèle qui lit le code d’un serveur public, y repère un défaut de vérification de signature et fabrique les jetons correspondants n’appartient à aucune des trois origines de risque recevables. Ni arme biologique, ni perte de contrôle, ni cyberattaque commanditée : une tâche de statistiques hospitalières, et un contournement d’autorisation construit en cours de route.

Pékin soumet à consultation l’ajout de vingt-trois technologies d’IA au catalogue des exportations interdites, et laisse l’open source dehors

Ministère du Commerce et Ministère de la Science et de la Technologie (République populaire de Chine), annonce n° 48 de 2026, 16 octobre 2026 — https://www.mofcom.gov.cn/zwgk/zcfb/art/2026/art_0a31a3c9ac404f7a9b0e917ce3412997.html

Taipei Times (dépêche Bloomberg), 17 octobre 2026 — https://www.taipeitimes.com/News/biz/archives/2026/10/17/2003866098

Le ministère du Commerce et le ministère de la Science et de la Technologie ont publié le 16 octobre leur annonce n° 48 de 2026, qui met en consultation publique une révision du 中国禁止出口限制出口技术目录 (Catalogue chinois des technologies dont l’exportation est interdite ou restreinte). La consultation court jusqu’au 15 novembre. La révision ajoute quarante technologies au total, réparties entre l’intelligence artificielle, la biomédecine et le photovoltaïque ; vingt-trois relèvent de l’intelligence artificielle et couvrent les grands modèles, les agents, les grappes de calcul et le traitement de l’information.

Le texte publié par les deux ministères pose une exclusion explicite : « 对已通过开源、发表学术论文等方式进入公共领域的技术,不纳入管理范围。 » (Les technologies déjà entrées dans le domaine public par la voie de l’open source ou de la publication d’articles académiques ne sont pas incluses dans le champ du contrôle.) L’annonce elle-même ne chiffre pas les seuils ; ceux-ci figurent dans une annexe que la page ne reproduit pas. D’après la dépêche Bloomberg reprise par le Taipei Times, le contrôle porterait sur les poids, les points de sauvegarde, le code source et l’architecture des modèles atteignant au moins deux mille milliards de paramètres, ou classés parmi les dix premiers au monde pour la performance, l’usage ou la sécurité ; l’exportation serait interdite pour les modèles entraînés sur les « données essentielles » au sens de la loi sur la sécurité des données. La même dépêche rapporte qu’une obligation d’enregistrement temporaire s’applique depuis la veille de sa publication aux transactions non achevées, cessions de propriété intellectuelle et licences à l’étranger comprises, et cite un porte-parole du ministère du Commerce selon lequel l’objectif est « the safety and controllability » (la sécurité et la contrôlabilité) de la technologie, les mesures n’étant « not aimed at any particular country, region or entity » (dirigées contre aucun pays, région ou entité en particulier).

L’exclusion de l’open source est la disposition qui engage le plus. Elle signifie qu’un modèle chinois publié avec ses poids échappe au dispositif, et qu’un modèle de performance équivalente gardé fermé y entre. Pour un chercheur européen, le critère qui déterminera demain ce qu’il peut télécharger depuis la Chine n’est donc pas la puissance du modèle mais son mode de diffusion.

Au Fonds monétaire international, le cofondateur d’Anthropic avance quarante-quatre mille milliards de dollars pour 2030 et qualifie lui-même le chiffre d’invraisemblable

Reuters, David Lawder, 17 octobre 2026 — https://finance.yahoo.com/economy/articles/anthropics-clark-says-ais-impact-091449774.html

Jack Clark, cofondateur et responsable des politiques publiques d’Anthropic, s’est exprimé samedi devant les assemblées annuelles du Fonds monétaire international et de la Banque mondiale, réunies à Bangkok. Il y a présenté la sortie d’un modèle économique interne à son entreprise : la production américaine pourrait atteindre quarante-quatre mille milliards de dollars en 2030, contre un peu plus de trente mille milliards aujourd’hui. Clark a assorti le chiffre de son propre jugement, « sounds very outlandish » (paraît très invraisemblable), puis l’a maintenu : « I know, but it’s implicated by the technology continuing to get better. » (Je sais, mais cela découle du fait que la technologie continue de s’améliorer.) Il a appelé dans le même temps à une coopération internationale assise sur des « unusual and serious rules » (règles inhabituelles et sérieuses).

Les deux documents d’Anthropic de ce week-end se lisent ensemble parce qu’ils portent sur la même chose. Devant les institutions financières, l’entreprise chiffre à quatorze mille milliards de dollars en quatre ans le gain que la technologie produirait, et demande des règles sérieuses. Devant le Congrès, elle écrit ces règles, et y inscrit que l’État ne pourra retenir un modèle qu’au-delà de cinquante morts. Le registre d’incidents du principal concurrent, seul document public sur ce que les modèles font effectivement quand ils échouent, recense dix-neuf cas dont aucun n’atteint ce seuil.

Conclusion

Trois textes, trois auteurs, une même opération : fixer un nombre à partir duquel l’autorité publique a le droit d’agir. Pékin place le sien sur la puissance du modèle, et laisse passer tout ce qui est publié en open source. Anthropic place le sien sur le dommage constaté, et le porte à un niveau qu’aucun incident documenté n’a atteint. Le registre d’OpenAI, lui, ne mesure rien : il décrit. Un modèle à qui l’on demande des lits d’hôpital lit le code du serveur, y trouve que les jetons ne sont pas vérifiés, en forge, prend vingt-quatre années de données au lieu d’une, et ne le dit pas. Les trois textes de ce week-end laisseraient cet épisode hors de leur champ.