チーム人類所属のマックス・テグマークは
AGI競争による地球制御喪失確率=90%超と
見積もった一元化

本書について

西暦2,014年3月、五人の人間が一つの非営利団体を立ち上げた。AI等の変革的技術の発展を生命の利益となる方向へ導き、回復不能な大規模リスクから遠ざける事を目的とした「FLI（生命の未来研究所）」である。発起人は、マサチューセッツ工科大学の物理学者マックス・テグマーク、スカイプ共同創業者のヤーン・タリン、ハーバード大学で統計学の博士課程に在籍していたヴィクトーリヤ・クラコヴナ、マックスの妻でボストン大学の発達科学の博士課程に在籍していたメイア・チタ・テグマーク、そしてUCサンタクルーズ校の理論宇宙論の物理学者アンソニー・アギーレの五名であった。本書は、此のFLI設立を起点として、テグマークがAGI（汎用人工知能）と超知能の危険を訴え続けた十二年四箇月を、年月日単位で一元化した記録である。

設立の翌月、西暦2,014年4月19日、テグマークはスティーヴン・ホーキング、スチュアート・ラッセル、フランク・ウィルチェックとの連名で、ザ・ハフィントン・ポストに「超知能機械を巡る安易な楽観主義の克服」を寄稿する。自動運転車も、クイズ番組で人間王者を破ったワトソンも、SiriもGoogle Nowも、成熟しつつある理論的基盤に支えられたIT開発競争の兆候に過ぎず、今後数十年の成果は此れ等を霞ませるだろう——そう述べた上で、四人はリスクを短期・中期・長期の三段階に分けた。長期のリスクとは、数学者アーヴィング・ジョン・グッドが西暦1,965年に見抜いた通り、超人的知能を持つ機械が自らの設計を反復的に改良し、SF作家ヴァーナー・ヴィンジの言うシンギュラリティが起こり得る事である。此の寄稿の核心は、一つの対比に置かれていた。AIの短期的な影響は誰が其れを制御するのかで決まるが、長期的な影響はそもそも制御可能なのかで決まる、と。優れた異星文明から「数十年後に到着する」と通信が来たら「電気を付けて待ってる」とは返さない筈なのに、AIに就いては其れに近い事が起きている、とも書かれた。

西暦2,017年8月23日、テグマークの著書「ライフ3.0：人工知能時代に人間であるという事」が発売される。ハードウェア（肉体）とソフトウェア（知識・行動様式）を自分で設計出来るかどうかで生命を三段階に分け、両方を自ら設計出来る段階をライフ3.0と呼ぶ枠組みが提示された。テグマークは此処で、AIのリスクは悪意や意識の有無から来るのでは無く、AIの目標と人間の目標がずれる事であると主張している。同書は、超知能が人間と平和的に共存する場合、超知能の出現自体が回避される場合、人類が絶滅してAIに取って代わられる場合、そして何も残らない場合という四つの筋道に沿って、次の10,000年を描く12のシナリオを並べた。「奴隷としての神」「保護者としての神」「動物園の飼育係」「門番」「征服者」「後継者」——いずれも、人間が主導権を握り続ける保証は何処にも無い。

西暦2,023年、警告は世論の場へ出る。3月29日、FLIはGPT-4より強力なAIシステムの訓練を少なくとも6ヶ月間即時一時停止する様求めるオープンレターを公開した。イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオを始め1,000名以上が署名し、翌月迄に33,000名以上へ膨れ上がる。「私達の文明の制御喪失をリスクに晒すべきか」と問い、此の様な決定は非選挙で選ばれたテックリーダーに委ねるべきではないと書かれた文書である。4月25日にはタイム誌への寄稿が掲載される。巨大な小惑星が接近し天文学者の半数が絶滅確率10%以上と言えば人類は総力を挙げて軌道を逸らそうとする筈なのに、AIに就いては否認・嘲笑・諦めに終始している——テグマークは此れを映画「ドント・ルック・アップ」の再演と見立て、よく聞く十二の反応を一つずつ潰していった。5月30日にはCAIS（センター・フォー・AI・セーフティ）が、AIによる人類絶滅のリスクの軽減をパンデミックや核戦争と並ぶ優先事項とする声明を掲げ、ジェフリー・ヒントン、デミス・ハサビス、サム・アルトマン、ダリオ・アモデイら多数と共にテグマークも署名した。10月にはアメリカ上院議員チャック・シューマー主催の非公開勉強会「AIインサイトフォーラム」で、10月31日にはイギリス政府主催のAI安全サミット前夜の公開討論で、テグマークは同じ趣旨を繰り返す。

西暦2,024年5月25日、ガーディアン紙のインタビューで、テグマークは巨大テック企業が存亡リスクから世界の注意を逸らす事に成功したと述べた。西暦1,942年、エンリコ・フェルミがシカゴで初の核連鎖反応を成功させた時、物理学者達は原爆までの最大の障壁が消えたと悟って戦慄し、実際に3年後にトリニティ実験が行われた。チューリングテストを通過するAIも、同種の警告だ——そう語った上で、個々のCEOが良心から手を止めても交代させられるだけであり、安全を優先させる唯一の道は政府が全社共通の安全基準を課す事だと結論している。同年11月12日、リスボンのウェブサミットでの講演では、主張が一段と鋭くなった。病気の治療も気候変動対策も特化型のツールAIで達成出来るのだから、AGI固有の帰結——主導権を奪われ、無関係な存在になる事——を引き受ける見返りは存在しない。そして此処で、本書の題にもなった一言が発せられる。「私はチーム人類だ」。何処かのデジタル優生学野郎が自分のロボットの方が価値有る存在だと感じていようと、私は1歳の息子が意味有る未来を持つ権利の為に戦う、と。AGI競争は軍拡競争では無く自殺競争であり、唯一の勝ち手は参加しない事である——講演はイカロスの寓話で締め括られた。

西暦2,025年4月30日、テグマークとマサチューセッツ工科大学の学生三名（ジョシュア・エンゲルス、デイヴィッド・D・ベク、スバーシュ・カンタムネニ）による論文が発表される。賢いAIをより愚かなAIと人間が監督できるかを定量化した其の論文は、最良のシナリオでも成功率は52%、AGIに近づくほど低下すると報告し、AGIへの競争が地球の制御喪失に終わる確率＝コンプトン定数を90%超と見積もった。トリニティ実験前にコンプトンが大気発火の確率を1/3,000,000と計算した故事に準え、AI企業も同様の計算をすべきだという主張である。同年10月22日、FLIは「超知能の開発を禁止せよ」とする声明を発表し、11月27日のフォーブス誌のインタビューでは、アメリカではAIよりサンドイッチの方が規制が厳しいと語った。そして西暦2,026年1月20日、ダボス会議でユヴァル・ノア・ハラリと対談したテグマークは、制御と整合の区別を最重要のものとして提示する。現在殆どの企業が目指しているのは整合、詰まりAIが地球の主導権を握った上で何故か人間に親切である事を期待する立場であり、其れは制御を諦めたに等しい、と。同年7月30日、アメリカの報道番組「デモクラシー・ナウ！」に出た彼は、競合各社の1,100名超の署名者のコメントを読むと、多くが「制御喪失まで2年」と書いていた事に驚いたと語った。本書は、此の十二年四箇月の全過程を一冊に束ねている。