ASIが開発されたら99.9%の確率で
今後100年以内に人類はAIに滅ぼされると豪語した
ローマン・ヤンポルスキー一元化

本書について

西暦2,011年10月、ギリシャのテッサロニキで開かれたカンファレンス「PT-AI（人工知能の哲学と理論）2011」で、一人の若き計算機科学者が査読付き論文「人工知能安全工学：何故機械倫理は間違ったアプローチか」を発表した。ルイビル大学助教ローマン・ヤンポルスキー、其の人である。彼は此の論文で「AIセーフティ」という用語を提唱し、カント倫理学や功利主義のどれを機械に実装すべきかを延々と論じる「機械倫理」では無く、本質的に安全で法を遵守する機械を設計する「AI安全工学」という新分野を確立すべきだと主張した。超知能を密封したハードウェアに閉じ込める「AI封じ込めプロトコル」、人間の介入無く何千世代もの自己改良に耐える安全機構——後に世界が直面する問いの多くが、此処に既に芽生えていた。本書は、其の歩みを年月日単位で一元化した記録である。

西暦2,016年、ヤンポルスキーは論文「人工知能の安全性とサイバーセキュリティ：AI失敗のタイムライン」で、西暦1,959年以降のAI障害事例を列挙し、AIの能力向上に比例して障害の頻度と深刻度が増大すると論じた。ソ連の核早期警戒システムの誤検知、1兆ドル規模のフラッシュ・クラッシュ、画像分類AIの幻覚——ナローAIの失敗はやり直しが効くが、AGIやASIではたった一度の失敗が回復不能な破局を招く。西暦2,018年の著書『人工知能の安全性とセキュリティ』で彼は、凡ゆるセキュリティシステムは何れ破られるという「セキュリティの基本定理」を掲げ、AGIの安全性問題を「安全な人間を作る問題」に還元してみせた。人類は数千年、文化・教育・法律・宗教で人間を安全にしようとして成功していない——超知能を相手にした敵対的テストは現在の技術では不可能であり、しかもチャンスは一度きりだと彼は結んだ。

西暦2,023年5月、AIによる人類絶滅のリスクをパンデミックや核戦争と並ぶ世界的優先事項とすべきだとするCAIS（センター・フォー・AI・セーフティ）の声明に、ジェフリー・ヒントンやサム・アルトマンら錚々たる顔ぶれと共にヤンポルスキーも名を連ねた。翌西暦2,024年、ニューズウィーク誌のインタビューと著書『AI：説明不能、予測不能、制御不能』で、彼は科学文献を広範に調査してもAIが制御可能だという証拠は見付からなかったと述べる。知能の低い人間が、より知能の高いASIを永続的に制御する事は出来ない——其れは安全な設計が見付からないのでは無く、其の様な設計が存在しないのだ、と。

そして西暦2,024年6月、レックス・フリッドマンのポッドキャストで、彼は本書の表題ともなった予測を口にする。ASIが開発された場合、今後100年以内にAIが人類を滅ぼす確率は99.9%である、と。此のゲームに勝つ唯一の方法は、プレイしない事だ——彼はそう言い切った。ヤンポルスキーはAIの齎す壊滅的リスクを三層に分類する。人類が死滅するX-risk、全員が死んだ方がましだと思う程苦しむS-risk、そしてAIが凡ゆる仕事と創造を上回り人間が存在意義を失うI-risk。其の何れもが、彼の99.9%という数字の内側に畳み込まれている。

西暦2,025年、ケンブリッジの研究者が111名のAI専門家を調査した論文は、ヤンポルスキーのP(doom)99%と、ヤン・ルカンの略0%という両極を対比し、専門家の見解がなぜ斯くも分かれるのかを問うた。其の一因は安全性研究そのものへの不同意では無く、道具的収束や一貫した外挿的意志といった概念への不慣れに有る——調査はそう結論づけた。同年9月、スティーブン・バートレットのポッドキャストでヤンポルスキーは、5年後には99%の失業率が訪れ、AGIは2年以内に到達し得ると語っている。警告は、止まない。本書は、「AIセーフティ」という言葉を生んだ男が、何故其の確率を99.9%と見積もるに至ったか、其の論理の全軌跡を一冊に束ねている。