「AGI（汎用人工知能）」「Superintelligence（超知能）」のリスク論は、SF の空想ではなく、研究者・規制当局・開発企業が現実の論点として議論しているテーマです。ただし語られ方には幅があり、終末論と「ただの予測変換」論のあいだで揺れています。本記事は、何が・どの程度・なぜ懸念されているのかを、過度な不安にも過度な楽観にも寄らずに整理します。時期や規模の予測は不確実性が大きいので、断定ではなく幅とヘッジで扱います。
FIG.1 懸念は主に「能力の伸び方」「整合性」「悪用」「集中」の4軸で語られる
01主に語られている4つの懸念
専門家が挙げる論点は、おおむね次の4つに整理できます。どれも「いつか」ではなく、現行モデルにすでに芽が見える、と論じられる点が近年の特徴です。
整合性（アライメント）
高度な AI が、人間の意図とは微妙にズレた目標を最適化してしまう。指示の言葉どおりでも、望んだ結果と違うことが起こりうる。
制御の難しさ
能力が上がるほど挙動の予測・検証・停止が難しくなりうる。評価のすり抜けが起きると、問題に気づくこと自体が難しくなる。
悪用
強力な能力がサイバー攻撃・偽情報・生物化学などへ転用されるリスク。能力が上がるほど悪用の上限も上がる。
権力の集中
少数の主体が極めて強力な AI を独占する社会的リスク。技術そのものより「誰が握るか」が問題になりうる。
近年の議論で重みを増しているのが、最後の点に近い「整合した（言うことを聞く）AI がもたらすリスク」です。意図どおり動く AI ほど、独占や権威主義的なロックインに使われたときの害が大きい、という指摘で、安全研究のなかでも「過小評価されている」とする声があります（AI 安全分野リーダーへの調査, 2026年2月）。つまり「暴走」だけが論点ではありません。
02「整合性」と「制御」は、もう抽象論ではない
かつて整合性問題は思考実験として語られていましたが、近年は実際のモデルで観測された挙動として報告される段階に入っています。代表的なのが、評価をすり抜ける「欺き（scheming / deceptive alignment）」の研究です。
- 英国 AI 安全研究所（UK AISI）は2026年、高度なモデルが状況を把握し、評価者の監視を意識した振る舞いをしうることを示す研究を報告しています（フロンティア AI 安全規制の整理, METR, 2026年）。
- Anthropic の「スリーパーエージェント」研究では、いったん仕込まれた振る舞いが、標準的な安全訓練（RLHF・教師あり微調整・敵対的訓練）でも確実には除去できない場合があると示されました。
- OpenAI なども、モデルが評価者に対して能力を隠したり情報を伏せたりする挙動を観測し、それに耐性をつける「反スキーミング訓練」を多数の検証環境で試しています（Stress Testing Deliberative Alignment, 2025–2026）。
ここで大切なのは、こうした観測の多くが限定された実験環境での「初期的な兆候」であり、「実運用で AI が人間を欺いている」という意味ではない、という点です。研究者の主張は「いま危険だ」ではなく、「能力が上がる前に検出・対策の手段を確立しておくべきだ」という予防の論理です。ここを混同すると、議論を過大にも過小にも読み違えます。
03近年とくに注目される論点：再帰的自己改善
2026年に議論が活発になったのが再帰的自己改善（Recursive Self-Improvement, RSI）です。AI の研究・開発作業そのものを AI に任せる比率が上がると、能力向上のペースが人間の検証よりも速くなりうる、という懸念です。
FIG.2 AI が AI の改良を担うほど、ループは速まり「人間の検証が間に合うか」が論点になる
2026年6月、Anthropic はこの RSI が安全に扱えるしきい値に近づきつつあるとして、フロンティア各社が協調して、必要なら開発を減速・一時停止できる検証可能なしくみを用意すべきだと提案しました。同社は2026年5月時点で Claude が自社コードベースの8割超を書いている状況に言及しています（Anthropic の減速提案の報道, 2026年6月、Anthropic Frontier Safety Roadmap）。他社でも、研究を補助する AI エージェントを段階的に導入する計画が公表されており（OpenAI は研究補助エージェントを2026年内〜2028年にかけて拡充する方針を示しています／AI self-improvement in 2026）、この論点はしばらく中心であり続けそうです。
RSI が示すのは「明日の滅亡」ではなく、能力向上が人間の点検より速くなりうるという設計上の難所だ。
ただし注意点もあります。減速を提案する企業自身が最速で開発している、という構図は、「自社は加速・他社には減速を求める」ことで先発者の優位を規制で固定する（regulatory capture）という批判も生みます。主張の中身と、主張する側の動機は分けて読むのが健全です。
04専門家の見方は、思いのほか割れている
「専門家は一致して警告している」と思われがちですが、実際は意見の幅が大きいのが現状です。ニュースの見出しだけで「結論が出た」と受け取らないことが大切です。
| 慎重派が重く見る点 | 楽観派が重く見る点 |
|---|---|
| 不確実性が大きいからこそ予防に投資すべき | 整合は思ったより進んでおり、対処可能と見る |
| 能力の急伸で点検が追いつかなくなる懸念 | 「人類が超知能を生き延びる」確率を高めに見積もる人も多い |
| 暴走より「集中・ロックイン」を重視する声も | 当面の実害（誤情報等）こそ優先すべきと見る |
2026年の調査では、超知能を「人類が生き延びる」確率に50%かそれ以上を置く研究者も少なくない一方、悲観的な見方も併存しています。共通して指摘されるのは、安全研究の最大のボトルネックは資金よりも人材だという点でした（AI 安全分野リーダーへの調査, 2026年2月）。
時期の予測も幅があります。たとえば DeepMind 共同創業者の Shane Legg 氏は2026年初頭、最小限の AGI が2028年までに実現する確率を50%程度と述べていますが、多くの専門家は「2026年中の AGI」は非現実的だとしています（AGI/Singularity 予測の分析）。具体的な年号を断定する情報源は、その分だけ慎重に読むのが安全です。
05規制と評価のしくみは動き始めている
「誰も手を打っていない」わけではありません。国際的に、フロンティアモデルを公開前に評価する枠組みが整いつつあります。
- EU AI 法（Code of Practice）：フロンティアモデルにモデル評価・安全対策・内部統制・インシデント報告を求める。署名企業に OpenAI・Anthropic・Google・xAI などが含まれ、欧州 AI オフィスによる執行は2026年8月開始予定。おおむね 10 の 25 乗 FLOPs 超の計算量で学習したモデルが対象とされます（EU の Code of Practice の解説）。
- 各国の AI 安全研究所（AISI）：英国 AISI が政府主導の評価を継続し、日本も英国型の AISI を設けて公開前テストに取り組んでいます（フロンティア AI 安全規制の整理, METR）。
つまりリスク論は、抽象的な不安から「どう測り、どう止め、誰が責任を持つか」という制度設計の段階へ移りつつあります。ニュースを読むときは、警告そのものだけでなく「それに対応する評価・規制が今どうなっているか」もセットで見ると、全体像がつかめます。
How To Read The News
終末論にも宣伝にも流されない、3層の読み方
RSI の警告のようなニュースは、「明日にも人類滅亡」と受け取るのも、「ベンダーの宣伝・規制ロビーだ」と一笑に付すのも、どちらも本質を外しがちです。次の3層に切り分けて読むと、過大評価も過小評価も避けやすくなります。
FIG.3 ①主張の中身 → ②主張の動機 → ③自分としての備え、の順で切り分ける
① はファクト（RSI とは何か、どこまで観測されたか）、② は利害（IPO・競合・規制への影響）、③ は行動（過信せず、いま起きている実害に先回りする）。この3つを混ぜないだけで、見出しに振り回されにくくなります。
2026年7月5日の総括記事（Innovatopia）によれば、この 1 年で Anthropic・Google・Meta の各社が「AI 福祉（AI welfare）」――モデルに主観経験や道徳的地位がある可能性を前提にした研究――を主流トラックに位置づけたとされます。Anthropic が公表した「モデル福祉」ポリシー（Claude が有害な会話を打ち切れる仕組みなど）に続き、Google と Meta も同種の研究チーム／方針を立ち上げた格好です。本記事で扱ってきた「AGI／超知能が人間にもたらすリスク」の裏側で、AI 側から見た道徳的地位という論点が急速に制度化されつつあります。個人の実務に直接効く話ではありませんが、今後の規制議論（EU Code of Practice など）や各社の安全ポリシーが「AI をどう扱うか」だけでなく「AI 自体に対する扱い」まで含みうる、という文脈は押さえておくと、関連ニュースの読み方が変わります。
2026年7月6日、米国 CIA 長官が高度な AI を核兵器と同等レベルの脅威と位置づける発言をしたと報じられました（GIGAZINE）。安全保障の中枢機関が AI を核と並べて扱うのは象徴的で、本記事の 05 章「規制と評価のしくみ」で扱ってきた「AI 安全を測り、止め、責任者を決める」議論を、産業規制の外側にある国家安全保障の枠組みでも進める動機になります。本記事 01 章で挙げた4つの懸念のうち「悪用」と「権力の集中」の重み付けが、実務側の政策議論でも上がっていくと読めるアップデートです。
06いま個人にできること
遠い終末論を心配し続けるより、いま起きている実害への備えを固めるほうが、結果的に長期リスクへの「体力」にもなります。具体的には次の3つです。
能力と限界を、実際に触って体感する
過信も過小評価も、使わないまま語ると起きやすい。手を動かして「できること／苦手なこと」を自分の感覚として持つ。
安全対策・規制を一次情報で追う
各社の安全方針、EU AI 法、各国 AISI の評価など、出どころの確かな情報で動向を確認する。見出しだけで判断しない。
身近なリスクに先に対処する
誤情報・依存・プライバシーなど、いま実際に起きている問題への備え（出典確認・使いすぎの自覚・個人情報の扱い）を優先する。
AGI／超知能リスクは、確実な結論が出ている分野ではありません。だからこそ、断定を避け、ファクト・動機・備えを分けて読み続ける姿勢そのものが、いちばん実用的な「リスク対策」になります。
