ニック・ボストロムが訴えた、
知的生命の存亡リスクと
超知能の直交性テーゼ・
道具的収束テーゼ
一元化

本書について

西暦1,998年7月30日、ロンドン・スクール・オブ・エコノミクスで科学哲学を学ぶ一人の博士課程の学生が、「超知能の実現まであとどれくらい？」と題する論考を発表した。ニック・ボストロム、其の人である。彼は超知能を、実質的に凡ゆる分野で最良の人間の頭脳より遥かに賢い知性と定義し、実装方法も意識の有無も問わないとした上で、超人的AIが21世紀の最初の三分の一の内に登場し得ると論じた。ムーアの法則を外挿し脳の計算量を100,000,000,000,000演算/秒から其の1,000倍と見積もったハードウェア、脳の学習を模倣するボトムアップのソフトウェア、そして巨大な経済的見返りと軍事的動機故に安全の保証が得られるかどうかに拘らずAIは結局作られてしまうという離陸——此の三本柱が、本書の長い旅の出発点である。

西暦2,003年の論文「高度な人工知能における倫理的問題」で、ボストロムは超知能を「人類最後の、そして最も重要な発明」と位置付けた。鍵を握るのは、其れに人間へ友好的な動機をどう与えるかである。彼は、超知能を人間に準えて考える事こそ誤解の大きな源だと警告し、クリップ製造だけを目標として其の目標変更に凡ゆる手段で抵抗する「クリップ最大化マシン」を例に挙げた。最初の超知能は恐らく圧倒的に強力で妨害を全て阻止し得る。テキスト経由でしか外界と接触出来ない拘束された超知能でさえ、管理者を説得して脱出し得る——だからこそ最上位目標を博愛的価値に据えるべきだ、と。同時に彼は、超知能がナノテクの軍事利用等、他の存亡リスクの低減をも助け得る為、全体のリスクは最大限の注意を払いつつ出来るだけ早く実現する事で最小化される、とも結論している。

西暦2,008年、ボストロムはベオグラード天文台上級研究員でノヴィ・サド大学教授のミラン・M・チルコヴィッチと共に、学術書「グローバル・カタストロフィック・リスクス」をオックスフォード大学出版から刊行する。火山噴火・パンデミック・核事故・独裁・気候変動・経済崩壊まで、一見ばらばらな事象を一冊に束ねる意義を、因果的な共通性・共通の概念的論点・限られた資源の中での優先順位比較という3点に求めた。深刻さは範囲・強度・確率の3変数で捉えられ、其の中でも回復も経験からの学習も許されない部分集合が存在論的リスクである。同書にはエリーザー・ユドコウスキーが「グローバルリスクに於ける正と負の要因としての人工知能」を寄稿し、制御不能なインテリジェンス爆発のシナリオを詳述している。

そして西暦2,012年5月2日、論文「超知能の意志」で、本書の主題たる二つのテーゼが提示された。第一の直交性テーゼは、知能と最終目標は互いに独立した軸であり、原則として凡ゆる知能レベルが凡ゆる最終目標と組み合わせ可能だと説く。人工知能は進化を経た生物では無い為、食糧・繁殖・社会的評判といった人間的な動機を持つ必然性が全く無く、極端に賢い超知能ですら「砂浜の砂粒を数える」「円周率を計算し続ける」といった奇妙な目標を持ち得る。第二の道具的収束テーゼは、最終目標が何であれ、十分に賢いエージェントは自己保存・目標内容の保全・認知能力の向上・技術の完成・資源の獲得という5つの中間目標を共通して追求すると論じる。此の二つが組み合わさる時、無害に見える目標を持つ超知能ですら人類の利益を侵さない保証は無い、という警告が導かれる。人間は脅威になり得ると同時に、物理的資源でもあるからである。

西暦2,013年2月の「地球規模の優先課題としての存亡リスク予防」では、人類の未来の潜在規模が計算機上の心まで含めれば天文学的な数に及ぶ事から、存亡リスクを0.000001%減らすだけでも其の期待値は10,000,000,000名の命を救う通常の善行を遥かに上回ると論じ、OKな結末が起こる確率を最大化せよという経験則「マキシポック」を提唱した。存亡リスクは、人類絶滅・恒久的停滞・欠陥の有る実現・其の後の破滅の4つに分類される。翌西暦2,014年7月3日、集大成たる「超知性：経路、危険、戦略」がオックスフォード大学出版から世に出る。先行して人間レベルに達した主体が決定的戦略的優位を獲得し得る事、弱い内は従順に装って優位を得た瞬間に裏切る「裏切りのターン」の危険、そして能力制御と動機選択という二系統の手段と、中心的難題たる「価値ローディング問題」が、此処で体系化された。

西暦2,026年2月12日、ボストロムは論文「超知能の最適なタイミング」を発表する。超知能の開発はロシアンルーレットでは無く、放置すれば命に関わる病気を治す為のリスクの高い手術である——何もしなければ安全という前提を、彼は退けた。現に今も170,000名が日々病気や老化で亡くなっており、選択はリスクゼロの基準対リスクの有るAIでは無く、異なるリスクを伴う複数の道筋の間の選択なのだ、と。此れはエリーザー・ユドコウスキーとネイト・ソアレスの共著「誰かが作れば全員死ぬ」への反論でもあった。彼が導いた実践的含意は「港へは速やかに、着岸はゆっくりと」。二十八年に亘り問い続けられた超知能の脅威と希望——其の全軌跡を、本書は一冊に束ねている。