ニック・ボストロムが訴えた
知的生命の存亡リスクと
超知能の直交性テーゼ・
道具的収束テーゼ
一元化

本書について

西暦1,998年、ロンドン・スクール・オブ・エコノミクスで科学哲学を学ぶ一人の博士課程の学生が、「超知能の実現まであとどれくらい？」と題する論考を世に問うた。ニック・ボストロム、其の人である。彼は超知能を、実質的に凡ゆる分野で最良の人間の頭脳より遥かに賢い知性と定義し、意識の有無は問わないとした上で、超人的なAIが21世紀の最初の三分の一の内に登場し得ると論じた。ムーアの法則から外挿したハードウェアの成長、脳の学習を模倣するボトムアップのソフトウェア、そして巨大な経済的・軍事的動機による離陸──此の三本柱が、本書の長い旅の出発点となる。

西暦2,003年の論文「高度な人工知能における倫理的問題」で、ボストロムは超知能を「人類最後の、そして最も重要な発明」と位置付けた。鍵を握るのは、其れに人間へ友好的な動機をどう与えるかである。彼は、超知能を人間に準えて考える事こそ誤解の源だと警告し、クリップの製造だけを目標とし其の目標変更に凡ゆる手段で抵抗する「クリップ最大化マシン」という、後に広く知られる思考実験を示した。最初の超知能は恐らく圧倒的に強力で妨害を全て阻止し得るからこそ、其の最上位目標を博愛的価値に据えるべきだ──此の主張が、以降の議論の核となってゆく。

西暦2,008年、ボストロムはベオグラード天文台のミラン・M・チルコヴィッチと共に、学術書「グローバル・カタストロフィック・リスクス」をオックスフォード大学出版から刊行する。火山噴火・パンデミック・核事故から気候変動・AIまで、一見ばらばらな地球規模の破局的リスクを一冊に束ね、深刻さを範囲・強度・確率の三変数で捉えた上で、其の中でも回復も経験からの学習も許されない「存在論的リスク」に特別な注意を促した。同書にはエリーザー・ユドコウスキーが「グローバルリスクに於ける正と負の要因としての人工知能」を寄稿し、制御不能なインテリジェンス爆発のシナリオを学術的文脈で詳述している。

そして西暦2,012年、論文「超知能の意志」で、本書の主題たる二つのテーゼが提示される。第一の直交性テーゼは、知能と最終目標は互いに独立した軸であり、原則として凡ゆる知能レベルが凡ゆる最終目標と組み合わせ可能だと説く。第二の道具的収束テーゼは、最終目標が何であれ、十分に賢いエージェントは自己保存・目標内容の保全・認知能力の向上・技術の完成・資源の獲得という中間目標を共通して追求すると論じる。此の二つが組み合わさる時、円周率を計算し続けるだけの無害に見える超知能ですら、人類の利益を侵さない保証は無い、という重い警告が導かれるのである。

西暦2,013年の「地球規模の優先課題としての存亡リスク予防」では、存亡の破局が齎す損失の天文学的な大きさから、リスクをほんの僅か減らす事の期待値が通常の善行を遥かに上回ると論じ、OKな結末の確率を最大化せよという経験則「マキシポック」を提唱した。翌西暦2,014年、集大成たる「超知性：経路、危険、戦略」がオックスフォード大学出版から世に出る。人間レベルの機械知能が一旦生まれれば驚く程速やかに超知能へ至り、其の制御は極めて困難になる──能力制御と動機選択、そして難題たる「価値ローディング問題」を巡る戦略が、ここで体系化された。

西暦2,026年、ボストロムは論文「超知能の最適なタイミング」を発表する。超知能の開発はロシアンルーレットでは無く、放置すれば命に関わる病気を治す為のリスクの高い手術である──何もしなければ安全という前提を、彼は退ける。現に今も多くの人々が病や老化で世を去っており、選択はリスクゼロ対リスク有りでは無く、異なるリスクを伴う複数の道筋の間の選択なのだ、と。此れはエリーザー・ユドコウスキーとネイト・ソアレスの共著「誰かが作れば全員死ぬ」への明確な反論でもあった。発行から二十八年を経てなお問い続けられる超知能の脅威と希望──其の全軌跡を、本書は一冊に束ねている。