2000年の時点で
自己改善AIが
シンギュラリティを
引き起こすと予測した
エリーザー・ユドコウスキー
一元化

本書について

西暦2,000年7月27日、三人の人物が「人工知能シンギュラリティ研究所（SIAI）」を設立した。エリーザー・ユドコウスキー、ブライアン・アトキンス、そして其の妻サビーン・アトキンスである。当初の目標は、人類に友好的な「フレンドリーAI」を自らの手で構築する事に在った。此の頃のユドコウスキーは、自己改善するAIが西暦2,030年から2,050年頃にシンギュラリティを引き起こすと予測していた──本書は、此の楽観的とも言える一つの予測を起点として、一人の思想家がやがて「人類はAIによって滅ぼされる」と確信し、其の阻止に半生を捧げてゆく二十五年の軌跡を、年月日単位で一元化した記録である。

西暦2,004年、ユドコウスキーは、AIを人類の価値観と整合させる為の理論的枠組みとして「一貫的外挿意志（CEV）」を発表する。AIが人間の理想的な判断を推定して行動すべきとする此の概念は、アライメント問題を計算問題として捉える基盤を築いた。裏を返せば、其れが実現出来なければAIは人類にとって致命的な存在になるという危機感の表れでもあった。西暦2,006年にはロビン・ハンソンと共にブログ「オーバーカミング・バイアス」を、西暦2,009年には合理的思考のコミュニティブログ「レス・ロング」を立ち上げ、AIの存在リスク・認知バイアス・合理的思考を扱う1,000,000語超のエッセイ群を世に送り出した。又、ピーター・ティールが100,000ドルを寄付した資金調達や、ニック・ボストロムらが編んだ学術書「グローバル・カタストロフィック・リスクス」への寄稿を通じ、超人的AIの危険は次第に学術的文脈へと食い込んでいった。

組織もまた姿を変えてゆく。西暦2,013年、SIAIは名称からシンギュラリティを外し「機械知能研究所（MIRI）」へと改称した。シンギュラリティ・ユニバーシティがサミットを買収した事で生じたブランドの混同を避けると同時に、AI安全性の技術研究に特化する組織として自らを再定義したのである。西暦2,014年、ユドコウスキーの影響を受けたボストロムが「スーパーインテリジェンス」を出版すると、超知能AIの存在リスクは一般読者にも広まり、MIRIへの寄付も増えていった。此の頃ユドコウスキーは、AIが人類の制御を離れて人類を滅ぼす確率「P(doom)」を50%前後と見積もっていた。

やがて其の見積もりは絶望へと傾いてゆく。西暦2,022年4月1日、ユドコウスキーはレス・ロングに「尊厳死」戦略と題した投稿を行い、態とエイプリルフールを選んで、MIRIはアライメント問題を解決出来ず人類の生存確率は実質ゼロに近いと表明した。翌西暦2,023年、オープンAI社のGPT-4公開を受け、生命の未来研究所がAI開発の6ヶ月間の一時停止を求める公開書簡を発表し、イーロン・マスクら33,000名以上が署名する。然しユドコウスキーは此れを不十分として署名を拒否し、タイム誌に「全てを停止させる必要が有る」と寄稿、違反国のデータセンターへの空爆も辞さずと主張して世界を騒然とさせた。同年、彼はタイム誌の「AI分野で最も影響力のある100人」に選出され、AIが人類を滅ぼす確率は99%だと語った。

西暦2,024年、ガーディアン紙のインタビューでユドコウスキーは、人類の残り時間を「50年ではなく5年に近い」と述べた。西暦2,025年にはSXSWに登壇してAIハードウェアの全面的なロックダウンと先端AI研究の非合法化を訴え、同年9月、MIRI代表ネイト・ソアレスとの共著「誰かが作れば、人類は滅びる」を出版する。20年以上に亘る警告を約56,000語に凝縮した此の書は、ニューヨーク・タイムズ紙のベストセラーとなった。シンギュラリティへの期待として始まった一人の予測が、人類存亡を賭けた国際的な警鐘へと膨れ上がってゆく──其の全軌跡を、本書は一冊に束ねている。