Si l'IA a une chance sur cinq de nous détruire, que faisons-nous des quatre autres ?

Rien de tout cela n'est nouveau. Geoffrey Hinton, éminent chercheur en informatique souvent qualifié de "père de l'intelligence artificielle", estimait déjà – bien avant tout le monde – entre 10 % et 20 % la probabilité qu'une IA avancée mette fin à l'humanité d'ici trente ans. Si ce chiffre fait froid dans le dos, il implique en creux une probabilité de survie de 80 % à 90 %. Dès lors, comment faire pencher la balance vers cette issue favorable ?

Des leviers existent pour nous arrimer du bon côté des probabilités de Hinton. Même si aucune certitude n'est permise, plusieurs conditions permettraient d'inverser la dynamique.

Préalable et objectif immédiat

La coopération entre les États-Unis et la Chine s'impose comme une priorité évidente, tant ces deux nations détiennent les clés de l'avenir de l'IA. La proposition d'Amodei – prévoyant des évaluateurs tiers intégrés, des seuils de capacité et une trajectoire vers des standards partagés – constitue une base solide. Elle ne peut toutefois pas émaner d'une seule entreprise : d'autres acteurs, à commencer par les gouvernements, doivent y souscrire.

Le ralentissement doit devenir à la fois un préalable et un objectif immédiat. Il permettrait de gagner le temps nécessaire à la mise en place de trois mécanismes d'évaluation : la vérification contre le développement et le déploiement clandestins, l'évaluation indépendante des capacités dangereuses, et un suivi collectif des incidents assorti de protocoles de crise.

Le précédent d'un rapprochement sino-américain face à des risques partagés existe. En novembre 2024, Washington et Pékin ont convenu que la commande des armes nucléaires ne devait pas être déléguée à l'IA. Cet accord n'a pas mis fin à leur rivalité, et ce n'était d'ailleurs pas son objet. Il s'agissait de répondre à une inquiétude commune touchant à la prise de décision nucléaire.

La sécurité de l'IA exige un canal similaire. Les pourparlers entre le Trésor américain et les planificateurs économiques de Pékin portent aujourd'hui sur la stabilité financière et les détournements malveillants. Cet ordre du jour pourrait s'étendre aux risques de perte de contrôle, d'auto-amélioration récursive et d'escalade incontrôlée en période de crise. La venue annoncée du président Xi à Washington ce mois-ci, conjuguée à la tenue prochaine de sommets majeurs, ouvre une fenêtre d'opportunité.

Puissance de calcul

Ces canaux de discussion ne doivent pas s'improviser. Une démarche réaliste consisterait à partir d'engagements volontaires d'évaluations indépendantes, conclus de laboratoire à laboratoire et éventuellement adossés à de fortes incitations, pour aboutir ensuite à des règles contraignantes et à une autorité internationale de contrôle.

Au-delà du seul tête-à-tête sino-américain, la concertation entre pays tiers permettrait de rééquilibrer l'écosystème mondial de l'IA. Nombre de "puissances moyennes" souhaitent peser sur les normes qui façonnent leurs sociétés, mais manquent de la puissance de calcul nécessaire pour rivaliser au sommet. Les États-Unis concentrent aujourd'hui environ 75 % des capacités de calcul mondiales dédiées à l'IA, la Chine 15 %, et l'Union européenne à peine 5 %.

La mutualisation des ressources – une approche que certains qualifient de "CERN de l'IA" – leur conférerait un véritable levier. Elle leur ouvrirait la porte aux processus d'évaluation et leur donnerait une légitimité accrue pour participer aux mécanismes de vérification, garantissant la responsabilisation de chacun. Au lieu de chercher vainement à ériger des champions nationaux isolés, ces pays pourraient agréger leurs institutions publiques de recherche, leurs budgets de calcul et leur expertise technique au sein de programmes conjoints de sécurité des modèles de pointe. Ils partageraient ainsi les coûts colossaux de l'entraînement tout en concevant des systèmes intégrant des garanties de sûreté dès leur conception.

Aucun étalon commun n'existe

Des prémices encourageantes se dessinent déjà. L'Australie, le Canada, l'Union européenne, la France, le Japon, le Kenya, la Corée du Sud et Singapour collaborent d'ores et déjà au sein d'un réseau d'instituts de sûreté de l'IA, désormais coordonné depuis le Royaume-Uni. Dans le même temps, neuf des douze géants du secteur fixent certes des seuils à partir desquels un modèle est jugé suffisamment puissant pour justifier des précautions accrues, mais ils déplacent les curseurs au fil de la course, mus par la peur de perdre leur avantage concurrentiel. Aucun étalon commun n'existe : chaque entreprise décide pour elle-même.

Après les incidents survenus cet été et les déclarations de la semaine dernière, l'auto-évaluation ne suffira plus à inspirer confiance. Le recours à des experts indépendants, dotés des ressources nécessaires pour certifier l'efficacité des contrôles d'accès, de la surveillance et des dispositifs d'arrêt d'urgence, s'impose comme la seule voie crédible. À l'instar de l'aviation, qui enregistre le moindre quasi-accident afin de désamorcer le danger avant que la catastrophe ne survienne.

La dernière condition, moins spectaculaire, n'en demeure pas moins capitale : bâtir un vocabulaire partagé des risques associés aux modèles frontières pour permettre une gouvernance internationale coordonnée. L'Assemblée générale de l'Onu ne débouchera pas ce mois-ci sur un accord contraignant, mais ce n'est pas à cette aune qu'il convient de la juger. Sa valeur est ailleurs.

Jusqu'où s'engager ?

Avant de s'accorder sur les mesures à prendre, les États doivent s'entendre sur les termes du problème, puis mesurer jusqu'où ils sont prêts à s'engager pour parer à la catastrophe.

L'histoire de la gestion des risques planétaires offre des précédents précieux. Que l'on songe à la diplomatie de l'ozone : la convention de Vienne de 1985 n'imposait aucun seuil contraignant sur les gaz destructeurs d'ozone, se bornant à fixer des définitions partagées et un cadre de comparaison des données. Sept semaines plus tard, des chercheurs révélaient l'existence d'un trou dans la couche d'ozone. Deux ans après, ce cadre donnait naissance au protocole de Montréal, contraignant et exécutoire.

Les définitions et les espaces de concertation ont ouvert la voie ; l'action contraignante a suivi dès lors que les preuves devenaient irréfutables. La même trajectoire s'impose pour l'IA : des démarches volontaires et des terminologies communes d'abord, des règles contraignantes dès que l'évidence des faits et la volonté politique s'aligneront, transformant les engagements régionaux en dynamique mondiale.

L'issue dépendra grandement de la réaction de Pékin et des laboratoires chinois à l'appel de Dario Amodei. Leur réponse indiquera si la volonté de lever le pied est réellement partagée.

Le refus de se résigner

Rien de tout cela ne garantit que nous basculerons du bon côté des quatre cinquièmes de la prédiction de Hinton. La communauté scientifique reste divisée sur l'ampleur du risque existentiel, et les gouvernements ne manquent pas de prétextes pour différer les choix difficiles. Mais ces mesures prouveraient, à tout le moins, notre refus de nous résigner à la fatalité statistique.

L'avertissement de Geoffrey Hinton avait vocation à créer un électrochoc. Il devrait aussi nous rappeler que l'essentiel de notre avenir n'est pas encore écrit, et qu'il nous appartient toujours de le forger. Mais le temps presse, et il n'y aura aucun retour possible après une perte de contrôle.

Les textes qui paraissent dans la rubrique Débats sont des contributions externes, qui n'engagent pas la rédaction.