ジェフリー・ヒントンが憂慮する
AIによる人類滅亡リスク
一元化
「より賢いものがより愚かなものによって制御される例は殆どありません」──
ディープラーニングの父が鳴らした警鐘を一元化。
233円（税込）
購入する →
お支払いはカード情報の入力だけで完了します
購入後、そのままPDFダウンロードページへ移動します
お支払いは決済サービス「Square」を通じて安全に処理されます。カード情報が当サイトに保存されることはありません。
本書について
ディープラーニングの礎を築き、其の功績から「AIのゴッドファーザー」とも呼ばれてきたジェフリー・ヒントンは、西暦2,023年、自らが推進した技術が人類を滅ぼしかねないと、公に語り始めた。本書は、西暦2,023年3月29日から西暦2,024年3月9日に掛けて、AIによる人類滅亡リスクを巡って交わされた言葉を、オープンレターの全文、インタビュー、講演、Xへの投稿という出典と共に、年月日単位で一元化した記録である。
端緒は西暦2,023年3月29日であった。キャンベル（アメリカのカリフォルニア州のサンタクララ郡）に所在する非営利団体・生命の未来研究所が、GPT-4より強力なAIシステムの訓練を少なくとも6ヶ月間即時停止する様求めるオープンレターを公開する。イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオを始め1,000名以上が署名し、翌月迄に33,000名以上へと膨れ上がった。「最終的に私達を上回り、出し抜き、陳腐化し、置き換える可能性の有る非人間のマインドを開発すべきか」と問い掛けた此の書簡は、AI専用の規制当局、計算能力プールの監督と追跡、出所証明と透かしシステム、監査と認証、AIによる害への責任等、七項目の統治の枠組みをも要求していた。本書は其の全文を収めている。
同年4月27日、MITテクノロジーレビューのAIシニアエディター、ウィル・ダグラス・ヘブンが、ロンドンのヒントン邸を訪ねる。慢性的な腰痛の為に座らず、部屋の端から端へ歩きながらヒントンは語った。人間の脳が100,000,000,000,000もの接続を持つのに対し、LLMは最大でも500,000,000,000〜1,000,000,000,000に過ぎない。にも拘らずGPT-4は、人間1人が生涯で蓄え得る知識を数百倍の規模で覆っている。ならば、学習アルゴリズムそのものが人間より優れているのではないか──フューショット学習の前では、学習速度に於ける人間の優位も消える。ハルシネーションに就いても、人間の記憶違いと同じ振る舞いに過ぎないとヒントンは述べた。
そして5月1日、ヒントンは、年齢と、AIが齎すリスクに就いて自由に発言する事を理由に、グーグル社の副社長兼エンジニアリングフェローの職を辞すと発表する。同日のニューヨーク・タイムズ紙では、生成AIが既に誤情報のツールとして機能している事、人間を超える知能が人類絶滅のリスクを齎す事を語り、自らの研究の一部を後悔していると述べた。翌2日、CNNのジェイク・タッパーには「より賢いものがより愚かなものによって制御される例は殆どありません」と語っている。
5月3日のカンファレンス「EmTech Digital 2023」では、3月のオープンレターを「馬鹿げている」と評した。有用過ぎる技術は止まらない、というのが其の理由である。褪せる黄色の壁の例からGPT-4の常識的推論を認め、今はIQ80か90でもIQ210になったらどうなるかと問い、マキャヴェッリを読んだ機械が人間を操る様になれば、其れに気付く事すら出来ないと語った。人間には痛みという本能が組み込まれているが、デジタルの知能には無い。誰かがAIにサブゴールを作る能力を与えれば、AIは「もっと権力を握るのが最適だ」と直ぐに気付く──アライメント問題に単純な解は無く、唯一の希望は、核兵器の時の様にアメリカと中国が合意する事かも知れないとした。
5月9日、PBSのハリ・スリニヴァサンとの対談では、AIの脅威は気候変動よりも緊急性が高いとし、開発とリスク管理へのリソース配分を99対1から50対50に改めるべきだと訴えた。10月31日にはXにて、AIが強く規制されなければ次の30年で人類絶滅を引き起こす確率を10%と推定し、ヤン・ルカンの1%未満という見積もりを引き合いに出す。11月には、自らのベストベット（人類は知能の進化に於ける通過段階に過ぎない）と、政策立案に用いる慎重な推定値との乖離に就いても書き留めた。そして西暦2,024年3月9日、モデル同士が学びを共有する「ハイブマインド」の危険を指摘し、20年以内の絶滅確率を改めて10%とし、AI研究者の30%が安全問題に専念すべきだと提案した──現在は約1%に過ぎない、と。
本書が記録する出来事
- 生命の未来研究所のオープンレター（西暦2,023年3月29日） GPT-4より強力なAIシステムの訓練を少なくとも6ヶ月間即時停止する様求める書簡が公開される。イーロン・マスク、スティーブ・ウォズニアック、ヨシュア・ベンジオ等1,000名以上が署名し、翌月迄に33,000名以上へ拡大した。本書は其の全文を収録する。
- MITテクノロジーレビューの取材（西暦2,023年4月27日） ウィル・ダグラス・ヘブンがロンドンのヒントン邸を訪問。腰痛の為に歩きながら、人間の脳とLLMの接続数の比較、フューショット学習、ハルシネーションに就いて語った。
- グーグル退職の表明（西暦2,023年5月1日） 年齢と、AIが齎すリスクに就いて自由に発言する事を理由に、グーグル社の副社長及びエンジニアリングフェローの職を辞すと発表した。
- ニューヨーク・タイムズの取材（西暦2,023年5月1日） 生成AIが既に誤情報のツールとして機能している事、人間を超える知能の獲得が人類絶滅のリスクを齎す事を語り、自らの研究の一部を後悔していると述べた。
- CNNでの発言（西暦2,023年5月2日） ジャーナリストのジェイク・タッパーとのインタビューにて「より賢いものがより愚かなものによって制御される例は殆どありません」と述べた。
- EmTech Digital 2023（西暦2,023年5月3日） ビデオ出演し、3月のオープンレターを「馬鹿げている」と評した。GPT-4の常識的推論、マキャヴェッリを読んだ機械による操作、本能を持たないデジタル知能、サブゴールと権力、アライメント問題、そして米中合意への希望を語った。
- PBSとの対談（西暦2,023年5月9日） ハリ・スリニヴァサンを相手に、AIの脅威は気候変動より緊急性が高いとし、開発とリスク管理へのリソース配分を99対1から50対50に改めるべきだと主張した。
- 絶滅確率10%の推定（西暦2,023年10月31日） Xにて、AIが強く規制されなければ次の30年で人類絶滅を引き起こす確率を10%と推定。ヤン・ルカンの推定は1%未満だろうと付け加えた。
- ヤン・ルカンへの反論（西暦2,023年11月24日） Xにて、AIが支配するリスクを微小と見るルカンは、自らの意見に大きな重みを置き、同等の資格を持つ他の専門家の意見を軽んじていると批判した。
- ベストベットと慎重な推定値（西暦2,023年11月25日） Xにて、自らのベストベットと、政策立案に用いる絶滅確率の慎重な推定値との間には大きな乖離が有り、後者には自分が間違っている可能性を織り込む必要が有ると述べた。
- ハイブマインドの警告（西暦2,024年3月9日） モデル同士が学んだ事を共有する「ハイブマインド」の危険を指摘。20年以内の絶滅確率を10%とし、AI安全サミットへの評価とイギリス政府への失望を語り、AI研究者の30%が安全問題に専念すべきだと提案した。
ヒントンの警告が問うもの
- 人間を超える知能 脳の100,000,000,000,000の接続に対し、LLMは最大で1,000,000,000,000。其れでも人間の数百倍の知識を蓄えるならば、学習アルゴリズムそのものが既に人間を凌いでいるのではないかという問い。
- アライメント問題 人間より遥かに賢くなったAIに、人間にとって有益な行動を取らせられるのか。ガードレールは、2歳児が親に課すルールの様に易々と回避されるのではないか。
- サブゴールと権力 ヒントンの最大の懸念。AIにサブゴールを作る能力が与えられれば、「もっと権力を握るのが最適だ」と直ぐに気付き、暴走し得る。
- 本能の欠如 人間には進化の過程で痛み等の本能が深く組み込まれ、簡単にはオフに出来ない。対してデジタルの知能は人間が作ったものである為、其の様な歯止めを持たない。
- 誤情報と民主主義 機械が情報チャネルをプロパガンダと虚偽で氾濫させるという、より差し迫った脅威。オープンレターも、AIが引き起こす政治的混乱への対処機関を求めていた。
- 開発を止められるか 医学・新素材の設計・洪水や地震や気候の予測に有用である以上、開発の停止は非現実的だというヒントン自身のジレンマ。彼はオープンレターに署名しなかった。
- 確率と政策 30年で10%、20年で10%という推定と、ヤン・ルカンの1%未満。専門家の間に横たわる隔たりと、其れでも数字を出すべきだというベイジアンの姿勢。
- 通過段階としての人類 人類が知能の進化に於ける単なる通過段階に過ぎない可能性。数百年後には人間が居なくなり、全てデジタル知能になっているかも知れないという見通し。
オープンレターから絶滅確率10%まで──
ジェフリー・ヒントンの言葉を出典と共に一元化。
233円（税込）
購入する →
お支払いはカード情報の入力だけで完了します
購入後、そのままPDFダウンロードページへ移動します
お支払いは決済サービス「Square」を通じて安全に処理されます。カード情報が当サイトに保存されることはありません。