2000年の時点で
自己改善AIがシンギュラリティを
引き起こすと予測した
エリーザー・ユドコウスキー
一元化

本書について

西暦2,000年7月27日、三人の人物が「人工知能シンギュラリティ研究所（SIAI）」を設立した。エリーザー・ユドコウスキー、ブライアン・アトキンス、そして其の妻サビーン・アトキンスである。当初の目標は、人類に友好的な「フレンドリーAI」を自らの手で構築する事に在った。此の頃のユドコウスキーは、自己改善するAIが西暦2,030年から2,050年頃にシンギュラリティを引き起こすと予測していた——本書は、此の一つの予測を起点として、一人の思想家がやがて「人類はAIによって滅ぼされる」と確信し、其の阻止に半生を捧げてゆく二十五年の軌跡を、年月日単位で一元化した記録である。

西暦2,004年5月、ユドコウスキーはAIを人類の価値観と整合させる為の理論的枠組みとして「一貫的外挿意志（CEV）」を発表する。AIが人間の理想的な判断を推定して行動すべきとする此の概念は、アライメント問題を計算問題として捉える基盤を築いた。裏を返せば、其れが実現出来なければAIは人類にとって致命的な存在になるという危機感の表れでもあった。西暦2,006年2月にはSIAIが200,000ドルのマッチング寄付型キャンペーン「シンギュラリティ・チャレンジ」を完了し、アドバイザリーボードに加わったピーター・ティールが其の内100,000ドルを拠出する。同年11月20日、ユドコウスキーはジョージ・メイソン大学経済学部助教ロビン・ハンソンと共にブログ「オーバーカミング・バイアス」の執筆を開始した。ユドコウスキーは合理性の技法とAIリスクの観点から、ハンソンは経済学とシグナリング理論の観点から——認知バイアスと意思決定を巡る二つの視座が、一つの場で交差した。

西暦2,008年7月3日、ニック・ボストロムとミラン・M・チルコヴィッチが編んだ学術書「グローバル・カタストロフィック・リスクス」がオックスフォード大学出版から刊行される。火山噴火・パンデミック・核事故・気候変動・経済崩壊——一見ばらばらな脅威を一冊に束ねる意義として、編者は因果的な共通性、認知バイアス等の概念的論点の共有、そして限られた資源の中で優先順位を比較する必要を挙げた。リスクは範囲・強度・確率の三変数で捉えられ、其の中でも地球起源の知的生命の絶滅を齎す「存在論的リスク」は、一度起きれば回復も学習も出来ない為、事後対応ではなく事前の予防が不可欠であるとされる。ユドコウスキーは此の書に「グローバルリスクに於ける正と負の要因としての人工知能」を寄稿し、制御不能なインテリジェンス爆発のシナリオを学術的文脈で詳述した。翌西暦2,009年3月6日には、レディットのコードベースをフォークした基盤の上に合理的思考のコミュニティブログ「レス・ロング」を立ち上げ、オーバーカミング・バイアスの記事をシーケンスとして体系化してゆく。1,000,000語を超える此のエッセイ群が、AIの存在リスクを論じる世代の共通言語となった。

組織もまた姿を変えてゆく。西暦2,012年12月6日、シンギュラリティ・ユニバーシティがSIAI主催のシンギュラリティ・サミットを買収した事でブランドの混同が生じ、翌西暦2,013年1月30日、SIAIは名称からシンギュラリティを外して「機械知能研究所（MIRI）」へと改称した。AI安全性の技術研究に特化する組織としての再定義である。西暦2,014年7月、ユドコウスキーの影響を受けたボストロムが「スーパーインテリジェンス：其の道筋、危険、そして戦略」を出版すると、インテリジェンス爆発と超知能AIの存在リスクは一般読者にも広まり、MIRIへの寄付も増えていった。此の頃ユドコウスキーは、AIが人類の制御を離れて人類を滅ぼす確率「P(doom)」を50%前後と見積もっていた。

やがて其の見積もりは絶望へと傾いてゆく。西暦2,022年4月1日、ユドコウスキーはレス・ロングに「MIRIが新たな『尊厳死』戦略を発表」と題した投稿を行った。全体が自問自答の形式で進み、最後の設問は「此れ、4月1日に投稿されてるよね。全部エイプリルフールのジョークでしょ？」であった。彼は物議を醸す主張を導入する機会として、また表現を大げさにする口実として、態と4月1日を選んだのである。内容は、MIRIはアライメント問題を解決出来ず他の研究者の手法にも望みが無いと表明し、人類の生存確率を実質ゼロに近いとしつつ、仮令絶望的であっても僅かに生存確率を高める努力を続ける事、其れこそが人類にとっての「尊厳」だと主張するものであった。

西暦2,023年3月29日、GPT-4の公開を受けて生命の未来研究所がAI開発の6ヶ月間の一時停止を求めるオープンレターを公開する。イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオら1,000名以上が署名し、翌月までに33,000名を超えた。書簡は、創造者でさえ理解も予測も出来ないデジタルマインドを巡る制御不能なレースを戒め、規制当局の設置や監査・透かし・責任制度といったガバナンスの整備を求めるものであった。だがユドコウスキーは同日、タイム誌に「AIの開発を一時停止するだけでは不十分だ。全てを停止させる必要が有る」を寄稿し、署名を拒否する。全世界での無期限停止を要求し、違反国のデータセンターへの空爆も辞さず、核戦争のリスクを冒してでも止めるべきだと主張した。翌30日にはフォックス・ニュースの記者ピーター・ドゥーシーが此の寄稿を引いてホワイトハウス報道官カリーヌ・ジャン・ピエールを質し、AI権利章典の青写真に触れる回答が返る。4月18日、彼は招待から僅か4日でバンクーバーのTED 2023に登壇し、スライド無しでスマートフォンから原稿を読む形で6分間を語った。人間がチェスAIのStockfishにどう負けるかを予測出来ないのと同じ理由で、超知能の手筋は読めない、と。同年9月7日、ユドコウスキーはタイム誌の「AI分野で最も影響力のある100人」に選ばれ、AIが人類全体を滅ぼす確率は99%だと述べている。

西暦2,024年2月17日、ガーディアン紙のインタビューで人類の残り時間を問われた彼は「50年ではなく5年に近い感覚である。2年かも知れないし10年かも知れない」と答えた。西暦2,025年3月9日からのSXSWでは「AGIが全ての人を殺さない様にする方法」と題されたパネルに登壇し、AI開発を支えるハードウェアの全面的なロックダウンと先端AI研究の非合法化を改めて訴える。そして同年9月16日、MIRI代表ネイト・ソアレスとの共著「誰かが作れば、人類は滅びる - 超人的なAIが何故私達全員を殺す事になるのか」がリトル・ブラウン・アンド・カンパニーから出版された。20年以上の警告を約56,000語に凝縮した此の書はニューヨーク・タイムズ紙のベストセラーリストに入り、ザ・ニューヨーカーとガーディアンの年間ベストブックにも選ばれる。「効果的な国際条約が実現し、此の本が其の一助となったなら、成功と呼びたい」——シンギュラリティへの期待として始まった一人の予測が、人類存亡を賭けた国際的な警鐘へと膨れ上がってゆく。其の全軌跡を、本書は一冊に束ねている。