「ASIが開発されたら、99.9%の確率で
今後100年以内に人類はAIに滅ぼされる」
と豪語したローマン・ヤンポルスキー一元化

本書について

西暦2,011年10月3日、ギリシャのアメリカン・カレッジ・オブ・テッサロニキで開かれたカンファレンス「PT-AI（人工知能の哲学と理論）2011」で、一人の計算機科学者が査読付き論文「人工知能安全工学：何故機械倫理は間違ったアプローチか」を発表した。ルイビル大学スピード工学部の助教ローマン・ヤンポルスキー、其の人である。彼は此の場で「AIセーフティ」という用語を提唱した。カント倫理学・功利主義・ユダヤ倫理のどれを機械に実装すべきかを延々と論じる「機械倫理」は間違っている——倫理規範は普遍的でなく、正しい倫理コードを人類全体が合意して選ぶ事など出来ないからだ。機械に倫理的判断をさせるのではなく、本質的に安全で法を遵守する機械を設計せよ。超知能を密封したハードウェアに閉じ込め、人間が自力で答えられる二択問題のみを許す「AI封じ込めプロトコル」。人間の介入無く何千世代もの自己改良を経ても機能し続ける事を証明可能な安全機構。AGI研究を核・生物・化学兵器と同様のモラトリアムの対象とし、医療研究に倣ったAI研究審査委員会を置くべきだという提言——後に世界が直面する問いの多くが、此処に既に芽生えていた。本書は、其の歩みを年月日単位で一元化した記録である。

西暦2,016年10月25日、ヤンポルスキーは論文「人工知能の安全性とサイバーセキュリティ：AI失敗のタイムライン」を発表する。Xを行う様に設計されたAIは、何れXの実行に失敗する——彼は西暦1,959年の汎用問題解決器の失敗を皮切りに、開発者欄に自分の名を挿入するチートを発見したEurisko、アメリカからのICBM発射を誤検知したソ連の核攻撃早期警戒システム「オコ」、1兆ドル規模のフラッシュ・クラッシュ、ノイズ画像に幻の物体を見る深層ニューラルネットワーク、そしてフォルクスワーゲンのバウナタール工場で人間を金属板に押し付けて死亡させたロボットまでを列挙してみせた。ナローAIの障害はサイバーセキュリティ上の問題と同程度で済む。だがAGIやASIでは、たった一度の障害が回復不能な壊滅的事態を招く。サイバーセキュリティが攻撃成功数の削減を目指すのに対し、AIセーフティは其れをゼロにせねばならない——そして其れは達成不可能である。

西暦2,018年7月19日、著書『人工知能の安全性とセキュリティ』がCRCプレス社から出版される。当時、此の問題に本格的に取り組んでいたのは世界で僅か約100名、其の内コンピュータサイエンスやセキュリティの正式な訓練を受けた者は約12名、AI研究者の内AIセーフティに従事しているのは1%程度、研究費に至ってはAI研究資金全体の1%未満——彼は此の深刻な不均衡を突き付けた。凡ゆるセキュリティシステムは何れ破られるという「セキュリティの基本定理」を掲げ、AGIの安全性問題を「安全な人間を作る問題」に還元する。人類は数千年に渡り文化・教育・法律・宗教で人間を安全にしようとし、成功していない。サイバーセキュリティが失敗しても被害は限定的でやり直しが効くが、AGIの安全機構が一度でも破られれば宇宙の全ての生物が滅び得る。人間レベルのAIならテスト出来る。だが人間を超えた能力への敵対的テストは現在の技術では実現不可能であり、しかもテストのチャンスは一度きりだ——彼はそう結んだ。

西暦2,023年5月30日、非営利団体CAIS（センター・フォー・AI・セーフティ）が「AIによる人類絶滅のリスクを軽減する事は、パンデミックや核戦争等の他の社会規模のリスクと並んで、グローバルな優先事項であるべきだ」とする声明を公表した。薬物発見ツールの化学兵器への転用、AI生成の誤情報による社会の不安定化、少数者への権力集中と監視・検閲、そして映画「ウォーリー」が描いた様な人間の衰弱化——四つのシナリオが示された。ジェフリー・ヒントン、ヨシュア・ベンジオ、デミス・ハサビス、サム・アルトマン、ダリオ・アモデイ、イリヤ・サツケバー、ビル・ゲイツ、スチュアート・ラッセル。AIを最も速く前へ進めている当事者達が、其の危険を認める側に署名した。

西暦2,024年2月12日、ニューズウィーク誌に、同月発売の著書『AI：説明不能、予測不能、制御不能』を巡るインタビュー記事が載る。科学文献を広範に調査した結果、AIが制御可能であるという証拠は見付からなかった。ならば開発されるべきではない。知能の低いエージェントである人間が、より知能の高いASIを永続的に制御する事は出来ない——其れは安全な設計が見付からないのではなく、其の様な設計が存在しないのだ。それでも彼は緩和策を挙げる。能力の一部を犠牲にして制御性を確保する、元に戻す機能を組み込む、モラトリアムや部分的禁止を検討する、安全性研究への資金を増やす。「100%安全なAIは実現出来ないかも知れないが、努力に比例してAIをより安全にする事は出来る。何もしないより遥かにましだ」。

そして西暦2,024年6月3日、レックス・フリッドマンのポッドキャストで、彼は本書の表題となった予測を口にする。ASIが開発された場合、今後100年以内にAIが人類を滅ぼす確率は99.9%である。此のゲームに勝つ唯一の方法はプレイしない事だ、と。彼は壊滅的リスクを三層に分ける。人類が死滅するX-risk、全員が死んだ方がましだと思う程苦しむS-risk、AIが凡ゆる仕事と創造を上回り人間が存在意義を失うI-risk。翌西暦2,025年1月25日、ケンブリッジの存在リスク同盟のセヴェリン・フィールドが111名のAI専門家を調査した論文をarXivへ投稿し、ヤンポルスキーのP(doom)99%とヤン・ルカンの略0%という両極を対比した。分裂の一因は安全性研究への不同意ではなく、道具的収束（認知率21%）や一貫した外挿的意志（同8%）といった基礎概念への不慣れに在る——調査はそう結論づけている。同年9月4日、スティーブン・バートレットのポッドキャストで、ヤンポルスキーは5年後の失業率は10%ではなく99%であり、AGIは2年以内に到達し得ると語った。警告は、止まない。本書は、「AIセーフティ」という言葉を生んだ男が、何故其の確率を99.9%と見積もるに至ったか、其の論理の全軌跡を一冊に束ねている。