ヨシュア・ベンジオが唱える
AIによる人類絶滅リスクに対する
肯定派・否定派
一元化

本書について

AIは、いつか人類を絶滅させうるのか——此の問いに対する答えは、AI研究の最前線に立つ者達の間でさえ、真っ二つに割れている。本書は、モントリオール大学コンピュータサイエンス教授でケベック人工知能研究所創設者のヨシュア・ベンジオの主張を軸に据え、AIによる人類絶滅リスクを巡る肯定派と否定派の言葉を、声明・ブログ・論文・記事といった出典と共に年月日単位で一元化した記録である。

端緒は西暦2,023年5月30日であった。非営利団体CAIS(センター・フォー・AI・セーフティ)が「AIによる人類絶滅のリスクを軽減する事は、パンデミックや核戦争等の他の社会規模のリスクと並んで、グローバルな優先事項であるべきだ」とする声明をホームページに掲載する。CAISが示唆したのは、①薬物発見ツールが化学兵器の構築に使われる様なAIの武器化、②AI生成の誤情報による社会の不安定化と集団的意思決定の毀損、③AIの力が少数の手に集中し、広範な監視と抑圧的な検閲を通じて狭い価値観を強制する体制、④映画「ウォーリー」に似た、AIへの依存による人間の衰弱化——という4つのシナリオであった。此の一文の声明に、ジェフリー・ヒントン、ヨシュア・ベンジオ、デミス・ハサビス、サム・アルトマン、ダリオ・アモデイ、ビル・ゲイツ、イリヤ・サツケバー、スチュアート・ラッセル等、研究者・経営者・政治家・活動家が国境を越えて署名した。

同年6月24日、ベンジオは自身のブログで、より踏み込んだ数字を出す。95%の確率で、人間を超える能力を持つAIが5〜20年以内に登場する——そして其れが人類の価値観と一致しない場合、深刻な脅威となる。リスクの原因として彼が挙げたのは、①スケーリングや推論能力の向上によるAIの急速な進化、②自然言語インターフェースがもたらすアクセシビリティ、③報酬学習による目標追求という自律性の3点であった。不確実性が高いからこそ即時行動しなければならない、として、ベンジオは規制投資・安全研究・国際条約を説き、安全なAIで悪用を防ぎ利益を公平に分配する事は道徳的義務である、と結んだ。

西暦2,023年9月、ベンジオの論文「人工知能と破滅的リスク」がジャーナル・オブ・デモクラシー誌に掲載される。彼は、AIのリスクを①選挙干渉や生物兵器等の意図的誤用と、②制御不能な不正AIによる人類絶滅とに分類し、商業的インセンティブが進歩とリスクの双方を加速させる為に安全研究が緊急である事、民主主義のチェック・アンド・バランスがAIガバナンスに不可欠である事を主張した。対策として彼が構想したのは、民主主義国家間で連携した独立非営利研究ラボのネットワークであり、政府主導の資金で安全な防御AIを開発し、研究を機密扱いとし、軍事・経済的優位より人類の防衛を優先する、というものであった。此の論文の中でベンジオは、ヤン・ルカンの様な絶滅リスク否定派との意見の相違を、自ら認めてもいる。

そして西暦2,025年、議論は次の段階へ進む。7月11日、ブルッキングス研究所非常勤上級研究員マーク・マッカーシーが「AIによる存在リスクは現実のものなのか―そして私達はどう対処すべきか？」と題した記事を掲載し、ベンジオのサブゴール論を引いた上で、存在リスクは現実的だが過大評価されており、近い将来に発生する可能性は低いと論じた。現在のAIからAGIへ進化し自己改善の連鎖で超知能が生まれるというシナリオは、データ量や計算リソースを増やしても性能向上の割合が減っていく収穫逓減によって遠のいている——だから政策立案者は、資源の制約を踏まえ、バイアスや誤情報といった緊急の害への対応を優先すべきだ、と。対して10月5日、BGF(ボストン・グローバル・フォーラム)CEOグエン・アン・トゥアンは、ウォール・ストリート・ジャーナル紙でベンジオへの支持を表明し、人間中心のAI開発と集団的利益の為のグローバル協力を訴えた。一つの問いを巡って交わされた賛否の言葉を——其の論拠と、確率と、危機感の濃淡を——本書は一冊に束ねている。