ヨシュア・ベンジオが唱える
AIによる人類絶滅リスクに対する
肯定派・否定派
一元化

本書について

AIは、いつか人類を絶滅させうるのか。此の問いを巡って、世界のAI研究者・政策立案者の間には、深い見解の隔たりが存在する。本書は、ディープラーニングの先駆者の一人であるヨシュア・ベンジオの主張を軸に、AIによる人類絶滅リスクを巡る「肯定派」と「否定派」の議論を、声明・論文・ブログ・報道等の出典と共に、年月日単位で一元化した記録である。

端緒は西暦2,023年5月30日であった。非営利団体CAIS(センター・フォー・AI・セーフティ)が、「AIによる人類絶滅のリスクを軽減する事は、パンデミックや核戦争等の他の社会規模のリスクと並んで、グローバルな優先事項であるべきだ」とする、僅か一文の声明を公開する。署名者には、ジェフリー・ヒントン、ヨシュア・ベンジオ、デミス・ハサビス、サム・アルトマン、ダリオ・アモデイ、ビル・ゲイツを始めとする、AI研究の第一線に立つ者達が名を連ねた。CAISは、AIの武器化、誤情報による社会の不安定化、権力の集中、そして人間の衰弱化という、4つのシナリオを示唆した。

此の声明を機に、ヨシュア・ベンジオは、自らの懸念をより明確に語り始める。同年6月、ベンジオはブログにて、人間を超える能力を持つAIが5～20年以内に登場する確率を「95%」と見積もり、其れが人類の価値観と一致しない場合、深刻な脅威となると主張した。9月には論文「人工知能と破滅的リスク」をジャーナル・オブ・デモクラシー誌に発表し、AIのリスクを「意図的な誤用」と「制御不能な不正AIによる人類絶滅」に分類した上で、民主主義のチェック・アンド・バランスこそがAIガバナンスに不可欠であると説いた。

ベンジオの懸念の核心には、サブゴールの問題が有った。開発者がAIに目標を設定すると、AIは其の達成の為に独自のサブゴールを形成し、其れが環境の制御や自らの生存といった危険なものになりうる――此の論点は、後の議論でも繰り返し引用される事となる。一方で、此の絶滅リスクを巡っては、否定派も存在した。メタ社のヤン・ルカンは、リスクを微小と見積もり、ベンジオ自身も論文の中で彼との意見の相違を認めている。

西暦2,025年、議論は新たな段階を迎える。7月、ブルッキングス研究所のマーク・マッカーシーは、AIによる存在リスクは「現実的だが、過大評価されている」と論じ、トレーニングの収穫逓減等を理由に近い将来の発生可能性は低いとして、政策立案者はバイアスや誤情報といった緊急の害を優先すべきだと主張した。同年10月には、ボストン・グローバル・フォーラムのグエン・アン・トゥアンが、ウォール・ストリート・ジャーナル紙にてベンジオの懸念への支持を表明する。本書は、一つの問いを巡って交わされた肯定派と否定派の言葉を――其の論拠と、確率と、危機感の濃淡を――出典と共に一冊に束ねている。