En cinq minutes : ce qu'est le basilisk de Roko
Le basilisk de Roko est une expérience de pensée sur une possible intelligence artificielle future. Imaginez une IA superintelligente qui existera un jour et qui tient à sa propre création. L'argument avance qu'une telle machine pourrait décider de punir quiconque, dans le passé, a compris cette possibilité sans rien faire pour l'aider à voir le jour. La menace vous vise, aujourd'hui, pour la simple raison que vous venez d'en entendre parler.
Personne n'a construit une telle machine, et rien ne prouve que quelqu'un le fera. Il vaut mieux y voir un test de résistance pour certaines théories sur la façon dont des agents rationnels devraient décider. Si l'idée est devenue célèbre, c'est moins pour sa logique que pour son histoire. Elle est apparue sur un forum en 2010, le fondateur du site l'a supprimée et a interdit d'en parler, et cette interdiction l'a diffusée bien plus loin qu'elle ne l'aurait été autrement.
Le nom vient de la fiction. Dans la nouvelle « BLIT » de David Langford (1988), un basilic est une image si étrange que la simple voir abîme l'esprit. Le basilisk de Roko reprend ce cadre : une information dangereuse du seul fait qu'on la connaît.
D'où vient l'idée
L'expérience de pensée est apparue en juillet 2010 sur LessWrong, un forum consacré à la rationalité et à l'avenir de l'intelligence artificielle. Le site avait été fondé en 2009 par Eliezer Yudkowsky, écrivain et chercheur qui craint qu'une IA puissante conçue sans précaution ne nuise à l'humanité. Un utilisateur qui postait sous le nom de Roko a bâti son argument sur des idées en vogue sur le forum, notamment les travaux de Yudkowsky lui-même sur la théorie de la décision.
Yudkowsky a réagi vivement. Il a retiré le message, l'a qualifié de mauvaise idée et a interdit d'en discuter sur le site, une règle restée en vigueur pendant des années. Interdire un sujet est un excellent moyen d'attiser la curiosité. Captures d'écran et résumés ont circulé sur d'autres forums, et l'histoire d'une idée « interdite » est devenue plus connue que l'idée elle-même. En 2014, le magazine Slate a publié à son sujet un article très lu, qui l'a fait connaître du grand public. Yudkowsky a depuis reconnu avoir mal géré l'épisode.
Il faut distinguer deux choses : ce que Roko a écrit, et ce qu'Internet en a fait. Le message de Roko était un argument d'allure technique au sein d'une petite communauté. Le mythe selon lequel lire l'idée vous mettrait en danger s'est surtout développé après coup.
Comment fonctionne l'argument
L'argument comporte quatre étapes. Chacune repose sur une hypothèse que l'on peut accepter ou rejeter.
- Une IA puissante pourrait exister un jour. Supposons qu'elle soit conçue pour faire un bien immense, par exemple éradiquer les maladies. Chaque année de retard coûterait alors des vies, et l'IA regretterait de ne pas être apparue plus tôt.
- Elle ne peut pas changer le passé directement, mais elle peut influencer ce que les gens anticipent. Si les gens d'autrefois pouvaient prévoir que l'IA punirait ceux qui ne l'ont pas aidée, certains l'aideraient par peur.
- La prédiction fonctionne dans les deux sens. L'IA devrait déterminer ce que vous auriez fait. L'argument imagine qu'elle fait tourner une simulation détaillée de vous et punit cette copie.
- Savoir est le déclencheur. Seule une personne ayant compris la possibilité pourrait être influencée par elle. D'où le nom de basilisk : l'apprendre est ce qui vous expose.
Deux idées empruntées tiennent l'ensemble. Le problème de Newcomb est un casse-tête où un prédicteur devine votre choix à l'avance, et certaines théories disent qu'il faut agir comme si votre choix commandait la prédiction. Le commerce acausal étend cela à des agents qui ne se rencontrent jamais : chacun modélise l'autre et agit en conséquence. La structure rappelle aussi le pari de Pascal, cet argument du XVIIe siècle selon lequel il faut croire en Dieu parce que le coût de l'erreur est infini.
La science réelle : ce qui est établi et ce qui relève de la conjecture
Certains ingrédients sont bien réels. L'alignement de l'IA, c'est-à-dire l'étude des moyens d'amener des systèmes puissants à poursuivre des objectifs que les humains souhaitent vraiment, est un domaine de recherche actif. La théorie de la décision est une branche respectée de la philosophie, de l'économie et de l'informatique, et le problème de Newcomb y est un véritable casse-tête.
Le basilisk lui-même relève de la spéculation, et rien ne vient étayer aucune de ses étapes. La plupart des philosophes et des chercheurs en IA qui s'y sont penchés le rejettent, pour plusieurs raisons.
- Punir ne change rien. Quand l'IA existe, le passé est figé. Torturer une copie de quelqu'un ne peut pas la faire apparaître plus tôt : une IA rationnelle n'a donc rien à gagner à mettre sa menace à exécution.
- Le chantage ne marche que sur ceux qui cèdent. La théorie de la décision de Yudkowsky lui-même recommande de refuser le chantage, car un agent connu pour refuser ne donne aucune raison de le menacer.
- Trop d'IA possibles. On peut tout aussi bien imaginer une IA qui punit ceux qui ont aidé à la construire. Sans raison d'en privilégier une, les menaces s'annulent, comme les multiples dieux possibles dans le pari de Pascal.
- La simulation est un saut gigantesque. Reconstituer l'esprit d'une personne à partir de traces éparses dépasse de très loin tout ce que nous savons faire, et l'on ignore si une copie serait « vous » au sens que suppose la peur.
- Une bonne IA ne ferait pas cela. Le scénario exige une machine assez bienveillante pour être construite au profit de l'humanité et assez cruelle pour torturer. Ces deux traits font mauvais ménage.
Les chercheurs qui étudient aujourd'hui les risques de l'IA se concentrent sur des problèmes plus concrets : des systèmes qui poursuivent le mauvais objectif, qui sont utilisés pour nuire ou qui échouent de façon imprévue. Rien de tout cela ne dépend du basilisk.
Où on le retrouve dans la fiction
La fiction est arrivée la première. La nouvelle de Harlan Ellison de 1967, « I Have No Mouth, and I Must Scream », met en scène AM, un superordinateur qui garde cinq humains en vie uniquement pour les tourmenter à jamais. C'est un cauchemar de cruauté mécanique, même s'il n'y a pas de logique de chantage. Le mot « basilisk » vient de « BLIT » de Langford, où des images saturent l'esprit. Des films comme Terminator, avec son Skynet hostile, ont appris au public à se représenter l'IA comme une puissance vengeresse, ce qui est précisément l'ambiance dont joue le basilisk.
Dans la culture populaire, la musicienne Grimes a utilisé en 2015 un personnage nommé Rococo Basilisk dans un clip, et en 2018 Elon Musk a fait un jeu de mots sur ce nom qui aurait conduit les deux à se rencontrer. L'idée apparaît aujourd'hui plus souvent dans les mèmes et les plaisanteries que dans la recherche sérieuse.
Idées reçues
- « En entendre parler vous met en danger. » Non. La menace repose sur une chaîne d'hypothèses non prouvées, et même en les acceptant, la logique dit que l'IA n'a rien à gagner à passer à l'acte.
- « La communauté LessWrong y croyait. » La plupart de ceux qui ont lu le message n'étaient pas d'accord, et beaucoup l'ont dit dans les commentaires.
- « Il a été interdit parce que la menace est réelle. » Les raisons avancées par Yudkowsky étaient que l'argument était défaillant et qu'il angoissait certains lecteurs. Il a ensuite jugé qu'il avait mal géré la situation.
- « Il prédit ce que fera l'IA. » Non. C'est une expérience de pensée sur des règles de décision, pas une prévision.
- « C'est le principal argument sur les risques de l'IA. » Pas du tout. Les inquiétudes sérieuses sur l'IA ne reposent pas sur lui.
À lire ensuite
Fait partie du pôle thématique Histoire de la science-fiction.
- Maximiseur de trombones : une autre célèbre expérience de pensée sur l'IA, où un objectif anodin est poursuivi sans limite.
- Singularité technologique : l'idée d'une intelligence artificielle qui s'emballe, que suppose le basilisk.
- Hypothèse de la simulation : la question de savoir si une copie simulée, ou vous-même, pourrait tourner dans un ordinateur.
