2000年の時点で
自己改善AIが
シンギュラリティを引き起こすと
予測した
エリーザー・ユドコウスキー
一元化
本書について
西暦2000年、エリーザー・ユドコウスキーがブライアン・アトキンス夫妻と共にSIAI（人工知能シンギュラリティ研究所）を設立してから、西暦2025年、共著「誰かが作れば、人類は滅びる」がニューヨーク・タイムズ紙のベストセラーリストに入るまで。本書は、自己改善AIが人類を滅ぼすと警告し続けた一人の思想家の四半世紀を一本の時系列に貫き、一元化した一冊である。
西暦2000年の時点で、ユドコウスキーは自己改善するAIが西暦2030〜2050年頃にシンギュラリティを引き起こすと予測していた。当初はフレンドリーAIを自ら構築する事を目標としていたが、西暦2004年にCEV（一貫的外挿意志）を発表し、AIのアライメント問題を計算問題として捉える理論的基盤を築いた。此れが実現出来なければAIは人類にとって致命的な存在になるという危機感の表れでもあった。
西暦2009年にレス・ロングを立ち上げ、1,000,000語を超えるエッセイ群でAIの存在リスクと合理的思考を広く論じた。西暦2013年にはSIAIからMIRI（機械知能研究所）へと改称し、AI安全性の技術研究に特化する組織としてリブランドした。西暦2014年にはP(doom)を50%前後と見積もり、西暦2022年には「尊厳死」戦略を発表して人類の生存確率を実質ゼロに近いと宣言した。
西暦2023年、生命の未来研究所がAI開発の6ヶ月間の一時停止を求めるオープンレターを公開した際、ユドコウスキーは此れでは不十分であるとして署名を拒否し、全世界でのAI開発の無期限停止を要求した。違反する国のデータセンターへの空爆も辞さず、核戦争のリスクを冒してでもAI開発を止めるべきだと主張した。タイム誌の「AI分野で最も影響力のある100人」に選出された同年、AIが人類全体を滅ぼす確率は99%であると発言した。本書は、シンギュラリティの予測から全面停止の要求に至るまでの全過程を、年月日単位で記録した年表である。
登場人物
- エリーザー・ユドコウスキー SIAI（後のMIRI）共同設立者。西暦2000年の時点で自己改善AIがシンギュラリティを引き起こすと予測し、以後四半世紀に亘りAIによる人類滅亡のリスクを警告し続けた。P(doom)を50%から99%へと引き上げ、AI開発の全面停止を主張した。
- ブライアン・アトキンス SIAI共同設立者。西暦2000年7月27日、ユドコウスキー及び妻サビーンと共にSIAIを設立した。
- サビーン・アトキンス SIAI共同設立者。ブライアン・アトキンスの妻。
- ロビン・ハンソン ジョージ・メイソン大学経済学部助教。西暦2006年、ユドコウスキーと共にブログ「オーバーカミング・バイアス」の執筆を開始した。経済学・シグナリング理論の観点から記事を執筆した。
- ピーター・ティール コンフィニティ社、パランティア・テクノロジーズ社の共同創業者。SIAIのアドバイザリーボードメンバーとして参加し、「シンギュラリティ・チャレンジ」に100,000ドルを寄付した。
- ニック・ボストロム オックスフォード・マーティン・スクールのフューチャー・オブ・ヒューマニティ・インスティテュートのディレクター。西暦2008年に「グローバル・カタストロフィック・リスクス」を編集し、西暦2014年に「スーパーインテリジェンス」を出版した。ユドコウスキーの影響を受けた内容で、超知能AIによる存在リスクの概念を一般読者に広めた。
- ミラン・M・チルコヴィッチ ベオグラード天文台の上級研究員でノヴィ・サド大学物理学部教授。ニック・ボストロムと共に「グローバル・カタストロフィック・リスクス」を編集した。
- ネイト・ソアレス MIRI代表。西暦2025年、ユドコウスキーとの共著「誰かが作れば、人類は滅びる」をリトル・ブラウン・アンド・カンパニーから出版した。
- イーロン・マスク テスラ社共同創業者でスペースX社創業者。西暦2023年、生命の未来研究所のAI開発一時停止を求めるオープンレターに署名した。
- ヨシュア・ベンジオ モントリオール大学計算機科学・オペレーションズリサーチ学科教授でミラ・ケベックAI研究所共同創設者。AI開発一時停止を求めるオープンレターに署名した。
- スティーブ・ウォズニアック アップル社共同創業者。AI開発一時停止を求めるオープンレターに署名した。
- ピーター・ドゥーシー フォックス・ニュースの記者。西暦2023年3月30日、ユドコウスキーのタイム誌寄稿を引用し、ホワイトハウス報道官に質問した。
- カリーヌ・ジャン・ピエール ホワイトハウス報道官。ドゥーシーの質問に対し、AI権利章典の青写真に言及しつつ具体的な回答を避けた。
主要な概念・組織
- SIAI 人工知能シンギュラリティ研究所。西暦2000年にユドコウスキーらが設立。当初はフレンドリーAIの構築を目標としていた。西暦2013年にMIRIに改称。
- MIRI 機械知能研究所。SIAIからの改称後、AI安全性の技術研究に特化する組織としてリブランドされた。
- CEV コヒーレント・エクストラポレイテッド・ヴォリション（一貫的外挿意志）。西暦2004年にユドコウスキーが発表した、AIを人類の価値観と整合させる為の理論的枠組み。
- レス・ロング 西暦2009年にユドコウスキーが立ち上げた、人間の合理性を磨く技術に専念するコミュニティブログ。1,000,000語を超えるエッセイ群を収録。
- オーバーカミング・バイアス 西暦2006年にユドコウスキーとロビン・ハンソンが執筆を開始したブログ。認知バイアス・意思決定理論・確率的思考等を扱った。レス・ロングのシードコンテンツとなった。
- P(doom) 超知能AIが人類の制御を離れて人類を滅ぼす確率。ユドコウスキーは西暦2014年頃に50%前後と見積もり、西暦2023年には99%と発言した。
- 生命の未来研究所 カリフォルニア州キャンベルに所在する非営利団体。西暦2023年にAI開発の6ヶ月間の一時停止を求めるオープンレターを公開した。
