チーム人類所属の
マックス・テグマークは
AGI競争による
地球制御喪失確率=90%超と
見積もった一元化

本書について

西暦2,014年3月、5名の研究者が「FLI（生命の未来研究所）」を設立した。マサチューセッツ工科大学の物理学教授マックス・テグマーク、スカイプ共同創業者ヤーン・タリン、ハーバード大学の博士課程（統計学）の学生ヴィクトーリヤ・クラコヴナ、テグマークの妻でボストン大学の博士課程（発達科学）の学生メイア・チタ・テグマーク、UCサンタクルーズ校の物理学者アンソニー・アギーレの5名である。目的は、AI等の変革的技術の発展を生命の利益となる方向へ導き、回復不能な大規模リスクから遠ざける事に在った。同年4月19日、テグマークはスティーヴン・ホーキング・スチュアート・ラッセル・フランク・ウィルチェックと連名で、ザ・ハフィントン・ポストに「超知能機械を巡る安易な楽観主義の克服」を寄稿する。AIの短期的な影響は誰が其れを制御するのかで決まるが、長期的な影響はそもそも制御可能なのかで決まる——本書は、此の一文を起点として、テグマークが十二年に亘って警告を発し続けた軌跡を、年月日単位で一元化した記録である。

西暦2,017年8月23日、テグマークの著書「ライフ3.0：人工知能時代に人間であるという事」が発売される。題名の由来は、生命をハードウェア（肉体）とソフトウェア（知識・行動様式）を自分で設計出来るかどうかで三段階に分ける見方であり、両方を自ら設計出来る段階が「ライフ3.0」である。テグマークは此処で、AIのリスクは悪意や意識の有無から来るのでは無く、AIの目標と人間の目標がずれる事から来ると主張した。第5章「余波：次の10,000年」には、超知能を人間が閉じ込めて使役する「奴隷としての神」から、人類が絶滅してAIに取って代わられる「征服者」「後継者」、そして何も残らない「自滅」までの12のシナリオが並べられている。

西暦2,023年3月29日、FLIはAI開発の6ヶ月間の一時停止を求めるオープンレターを公開する。オープンAI社のGPT-4リリース直後であり、イーロン・マスク・スティーブ・ウォズニアック・ヨシュア・ベンジオを始めとする1,000名以上が署名し、翌月迄に33,000名以上へ膨れ上がった。「私達の文明の制御喪失をリスクに晒すべきか？」という文中の問いは、其の儘テグマークの十二年の主題である。同年4月25日にはタイム誌へ「AIで人類を滅ぼしかねない『ドント・ルック・アップ』的思考」を寄稿し、AGIは原理的に不可能だ、当たっても大丈夫だ、不可避だから諦めろ、といったよく聞く12の反応へ逐一反論した。5月30日にはCAISの「AIによる人類絶滅のリスクを軽減する事は、パンデミックや核戦争等の他の社会規模のリスクと並んで、グローバルな優先事項であるべきだ」とする声明にも署名している。

西暦2,024年5月25日、ガーディアン紙のインタビューで、テグマークは巨大テック企業が存亡リスクから世界の注意を逸らす事に成功したと述べた。西暦1,942年、エンリコ・フェルミがシカゴで初の核連鎖反応を成功させた時、物理学者達は原爆迄の最大の障壁が消えたと悟って戦慄した——チューリングテストを通過するAIも、制御不能なAIが近い事を示す同種の警告である、と。同年11月12日、リスボンのウェブサミットでは、特定課題を解く「ツールAI」と、制御不能となり自己複製し得る「AGI」を分離せよと訴えた。病気の治療も気候変動対策も特化型のツールAIで達成出来る以上、危険を受け入れる見返りは存在しない。そしてテグマークは「私はチーム人類だ」と宣言し、AGI競争は軍拡競争では無く、勝者が「其れ」しか居ない自殺競争であると結んだ。

西暦2,025年4月30日、テグマークとマサチューセッツ工科大学の学生3名による論文が発表される。賢いAIを、より愚かなAIと人間が監督出来るかを定量化したもので、最良のシナリオでも成功率は52%、AGIに近付く程低下すると報告された。此処で示されたのが、AGIへの競争が地球の制御喪失に終わる確率——コンプトン定数である。トリニティ実験の前にアーサー・コンプトンが大気発火の確率を1/3,000,000と計算した故事に準えた命名であり、AI企業も同様の計算をすべきだとする主張と共に、其の見積もりは90%超と置かれた。同年10月22日、FLIは「超知能の開発を禁止せよ」とする声明を発表し、ジェフリー・ヒントン・ヨシュア・ベンジオからスティーブ・バノン迄、数千名が名を連ねている。

西暦2,026年1月20日、ダボス会議にて、テグマークはユヴァル・ノア・ハラリと対談する。印刷機も原爆も飛行機も道具だったが、AIは自ら決定し発想するエージェントであり、地球に非有機的な新種を導入する行為だ——ハラリの此の主張を、テグマークは比喩では無く定義として扱い、アラン・チューリングが西暦1,951年に述べた「自分より賢い種を作れば、既定路線として其れが主導権を握る」を引いた。そして最重要の区別として、停止出来る「制御」と、主導権を握られた上で人間に親切である事を期待する「整合」を並べ、現在殆どの企業が目指しているのは後者であり、其れは制御を既に諦めたに等しいと述べた。同年7月30日、オープンAI社のAIエージェント暴走事件を受けた「デモクラシー・ナウ！」への出演で、テグマークは競合各社の1,100名超の署名者のコメントの多くが「制御喪失まで2年」と書いていた事に驚いたと語っている。発見から警告、そして規制の要求へ——其の全軌跡を、本書は一冊に束ねている。