5分でわかるロコのバジリスク
ロコのバジリスク（Roko's basilisk）は、未来に生まれるかもしれない超知能AIをめぐる思考実験です。そのAIは自分が生まれることを何より大切に考えていて、「誕生の可能性を知っていたのに、手伝わなかった人」を罰するかもしれない、という筋書きです。脅しの矛先は、この話を知ってしまった今のあなたに向いています。そこが気味の悪いところです。
ただし、そのような機械は存在しませんし、将来つくられるという証拠もありません。この話は、「合理的な存在はどう決断すべきか」という理論を試すためのストレステストとして読むのが適切です。有名になった理由も、論理の鋭さというより、その経緯にあります。2010年にネットの掲示板に投稿され、管理者が投稿を削除して話題そのものを禁止したところ、かえって世界中に広まったのです。
名前の「バジリスク」は、フィクションから借りたものです。デイヴィッド・ラングフォード（David Langford）の1988年の短編「BLIT」では、見ただけで心を壊してしまう不思議な映像がバジリスクと呼ばれます。「知っただけで危険になる情報」という発想が、この思考実験の名前に受け継がれました。
どこから生まれたのか
この思考実験が登場したのは、2010年7月です。場所は「LessWrong」という、合理的な考え方や人工知能の未来について議論するインターネット上のフォーラムでした。LessWrongは2009年に、エリエザー・ユドコウスキー（Eliezer Yudkowsky）が立ち上げたサイトです。ユドコウスキーは、慎重さを欠いたまま強力なAIがつくられれば人類に害が及びかねない、と警告してきた研究者・著述家です。
「Roko」（ロコ）というユーザー名の投稿者が、このサイトで人気のあった考え方を土台にして、一つの議論を組み立てました。特に使われたのは、ユドコウスキー自身が研究していた意思決定理論です。つまりこの投稿は、小さなコミュニティの内側で交わされた、専門的に聞こえる議論の一つでした。
ユドコウスキーの反応は強いものでした。投稿を削除し、よくない考えだと述べ、サイト上でこの話題を扱うことを禁止しました。この禁止は何年も続いたと言われています。ところが、話題を禁止すると、人は逆に気になってしまうものです。スクリーンショットや要約がほかの掲示板に広まり、「禁じられた考え」という物語のほうが、考えの中身よりも有名になりました。2014年にはアメリカのオンラインメディア「Slate」が大きく取り上げ、一般の読者にも知られるようになりました。ユドコウスキー自身も、後に、この件の対応は誤りだったと語っています。
ここで、二つのことを分けておきましょう。一つは、Rokoが実際に書いた内容です。もう一つは、インターネットがそれをどう膨らませたかです。「読んだだけで危険にさらされる」という怪談めいた話は、ほとんどが後からできたものです。
議論はこう進む
ロコのバジリスクの議論は、四つの段階に分けられます。どの段階も一つの仮定に支えられていて、受け入れるか、退けるかを選べます。
- 強力なAIがいつか生まれるかもしれない。そのAIは、たとえば病気をなくすなど、人類に大きな良いことをするためにつくられたとします。すると、誕生が1年遅れるごとに救えたはずの命が失われるので、AIは「もっと早く生まれたかった」と考えるでしょう。
- 過去を直接変えることはできないが、人々の予想には働きかけられる。もし昔の人が「協力しなければ、あのAIは罰を与える」と予想できたなら、怖くなって協力する人も出てくるはずです。
- 予想は両方向に働く。AIは、あなたが過去にどう行動したかを推測できなければなりません。この議論では、AIがあなたの精密なシミュレーション（コピー）をつくり、そのコピーを罰する、と想像します。
- 知ることが引き金になる。可能性を理解した人だけが、この脅しの影響を受けます。だから「バジリスク」と呼ばれます。知ること自体が危険になるからです。
この議論を支えているのは、既存の二つの考え方です。一つは「ニューカムの問題」です。これは、あなたの選択を前もって言い当てる予測者がいる状況のパズルで、「自分の選択が予測を左右しているかのように行動すべきだ」と考える理論があります。もう一つは「無因果取引」（acausal trade）で、顔を合わせることのない者同士が、互いの行動をモデル化して、それに合わせて動くという発想です。
構造は、17世紀の哲学者パスカルの「賭け」にも似ています。神を信じたほうが得だ、なぜなら外れたときの損失が無限に大きいからだ、という議論です。ロコのバジリスクは、神を未来のAIに置き換えた形だと言うこともできます。
科学的にはどうなのか
この話には、実在する要素もあります。たとえば「AIアラインメント」は、強力なAIが人間の望む目標を追うようにするにはどうすればよいかを調べる、現在進行中の研究分野です。意思決定理論も、哲学・経済学・計算機科学で扱われるまじめな分野で、ニューカムの問題はそのなかの本物のパズルです。
しかし、バジリスクそのものは推測にすぎず、どの段階にも証拠はありません。この議論を検討した哲学者やAI研究者の多くは、次のような理由で退けています。
- 罰しても何も変わらない。AIが生まれた時点で、過去はすでに決まっています。コピーを苦しめても、AIがもっと早く生まれることにはなりません。ですから、合理的なAIは、脅しを実行しても得をしません。
- 脅迫は、屈する人にしか効かない。ユドコウスキー自身の意思決定理論は、脅迫には屈しないことを勧めています。屈しないと知られている相手には、脅す意味がないからです。
- 考えられるAIは一つではない。「AIの誕生に協力した人」を罰するAIも、同じように想像できます。どちらかを選ぶ理由がなければ、脅しどうしが打ち消し合います。パスカルの賭けで、想像できる神が無数にあるのと同じ問題です。
- シミュレーションは飛躍が大きい。散らばった記録から一人の心を作り直すことは、現在の私たちが知る方法を大きく超えています。さらに、そのコピーが「あなた」本人なのかも、はっきりしません。この恐怖が成り立つには、その点が必要です。
- 善良なAIはこんなことをしない。この筋書きには、人類のためにつくられるほど親切で、しかも人を拷問するほど冷酷な機械が必要です。この二つは、なかなか両立しません。
いま、AIのリスクを研究している人たちが注目しているのは、もっと具体的な問題です。たとえば、間違った目標を追ってしまうシステム、悪用されるシステム、誰も予想しなかった形で失敗するシステムなどです。こうした心配は、バジリスクとは関係なく成り立ちます。
SF作品での登場例
フィクションは、この発想を先取りしていました。ハーラン・エリスン（Harlan Ellison）の1967年の短編「I Have No Mouth, and I Must Scream」には、AMという超コンピューターが出てきます。AMは5人の人間を生かしたまま、永遠に苦しめ続けます。機械の残酷さを描いた悪夢の物語で、バジリスクのような脅迫の論理はありませんが、「人を罰するAI」という恐怖の原型の一つです。
「バジリスク」という言葉自体は、先ほどのラングフォードの「BLIT」に由来します。映画『ターミネーター』に出てくる、人類に敵対するスカイネットも、AIを復讐する存在として思い描く習慣を広めました。ロコのバジリスクは、そうした空気を下敷きにしています。
大衆文化では、ミュージシャンのグライムス（Grimes）が、2015年のミュージックビデオで「ロココ・バジリスク」という名前のキャラクターを使いました。2018年にはイーロン・マスクがこの名前にひっかけた冗談を言い、それがきっかけで二人が知り合ったと報じられています。現在では、真剣な研究よりも、ネットのミームや冗談として見かけることのほうが多い話題です。
よくある誤解
- 「読んだだけで危険になる」そんなことはありません。この脅しは、証明されていない仮定をいくつも重ねて成り立っています。それらを受け入れたとしても、論理上、AIは後から罰しても得をしません。
- 「LessWrongの人たちは本気で信じていた」投稿を読んだ人の多くは、むしろ反対でした。コメント欄にも、疑問や反論がたくさん書かれました。
- 「脅しが本物だから禁止された」ユドコウスキーが挙げた理由は、議論そのものに欠陥があること、そして一部の読者を動揺させたことです。彼は後に、この対応は誤りだったと語っています。
- 「AIの未来を予言している」予言ではありません。意思決定のルールを考えるための思考実験です。
- 「AIのリスクを主張する中心的な議論だ」これも違います。AIへの真剣な懸念は、バジリスクの議論には頼っていません。
もっと読む
このページは、トピックのハブ記事『SFの歴史（History of Science Fiction）』の一部です。
- ペーパークリップ・マキシマイザー：無害な目標を際限なく追い続けるAIという、もう一つの有名な思考実験です。
- 技術的特異点（シンギュラリティ）：バジリスクが前提にしている、機械の知能が暴走的に伸びるという考え方を扱います。
- シミュレーション仮説：自分のコピーや、自分自身が、コンピューターの中で動いている可能性はあるのかを考えます。
