AI Safety Transparency · Anthropic
守っているはずのフィルタが、
11ヶ月沈黙していた。
AI企業の自主的な安全ガードが機能しているという前提は、規制当局にとって一つの拠り所だった。Anthropicが自ら公表したリスク報告書によれば、生物兵器関連のリクエストを弾くはずのフィルタが約1年間オフになっており、その間に1億3,300万件のやり取りが素通りしていた。
2025年5月から
2026年4月まで
Anthropicが8月14日に公開した第2回の全社リスク報告書「Risk Report: August 2026」で、生物・化学兵器関連の危険な知識抽出を防ぐ「生物学的分類器(biological classifier)」が、2025年5月から2026年4月まで約11ヶ月にわたり、人間フィードバック業者経由のトラフィックに対して機能していなかったことを自ら明らかにした。THE DECODERなど複数メディアが「約1.33億件のやり取りがフィルタを素通りした」と報じている。
対象になったのは、モデルの応答を評価・訓練データ化する外部の人間フィードバック業者を通じたトラフィックで、関与した契約者はおよそ5万人に上るとされる。これらの契約者は各業者による審査を経ていたが、Anthropic自身が直接スクリーニングしていたわけではなかった。報告書は、業者によっては生物・化学分野で一定の専門知識を持つ「CB-1」レベルの脅威主体すら見抜けないほど審査体制が不十分だったケースがあったとも指摘している。
報告書が示す
数字
なぜ、1年近く
気づかれなかったのか
内部専用フラグが誤設定
本来は内部利用のみを想定していたフラグが、ブロック動作だけでなくログ記録の機能まで同時にオフにしてしまう設計になっていた。
ログが残らず、検知の手がかりが消える
フラグ対象のトラフィックは、レビュー機構に一切記録・伝達されなかった。異常が起きても、それを拾い上げる仕組み自体が働いていなかった。
社内調査で発覚、Claude自身に再点検させる
2026年4月に不具合が発見された後、Anthropicは対象期間の人間ターンすべてにClaude Sonnet 5を走らせて有害な生物関連コンテンツを再点検し、1,197件をハイリスクな会話として抽出した。
ガードレールは、動いていることを確認して初めて意味を持つ。
企業導入は、
リスク評価の前提を見直す時期
Claudeを業務に組み込んでいる企業・PMにとって、この発表は「ベンダーの安全対策は常に稼働している」という暗黙の前提を検証し直す材料になる。TheNextWebの報道も指摘する通り、今回のケースは悪意ある攻撃ではなく内部の設定ミスが原因だが、それでも約11ヶ月間、監視の目そのものが働いていなかった事実は変わらない。契約更新やコンプライアンス監査のタイミングで、ベンダーの安全機構が「稼働しているとみなす」のではなく「稼働を継続的に検証する」体制になっているかを確認項目に加えることが、現実的な次の一手になる。個人の日常利用への直接的な影響はほとんどない。
注目すべきは、Anthropicが問題を隠さず自社のリスク報告書という公開文書で開示した点だ。同社は今回の一件を受けて契約者の審査要件を厳格化したとしており、こうした事後対応の透明性そのものを、ベンダー選定時の評価軸に加える企業も増えていくと見られる。問題が起きたこと自体よりも、発見後にどう開示し是正したかが、今後の信頼構築を左右する。
「実害なし」は
安心材料だが、確証ではない
Anthropicの調査では、ハイリスクと判定された1,197件の会話を人手でも精査した結果、明確な悪用の証拠は見つからなかったとされる。これは重要な安心材料だ。一方で同社自身、今回の一件を受けて「他に同様の見落としがない」という確信度を下げたとしている。実際、同じ報告書でAnthropicは、高リスク環境における不整合(ミスアラインメント)由来の壊滅的被害リスクを、2月の第1回報告書の「非常に低い」から「低い」へ引き上げている。安全機構の存在そのものよりも、それが継続的に機能しているかを検証し続ける体制の有無が問われている局面と言える。
報告書ではこれとは別に、データラベリング業者の一部契約者が不具合を突いてAPIキーを不正取得し、割り当てられた業務範囲を超えてMythos Previewを含む高性能モデルを使用していた事案も明らかにされている。単発の設定ミスにとどまらず、外部委託先を経由したアクセス管理全般に見直しの余地があることを示す材料と言えるだろう。