ChatGPT、安全策の
抜け穴が表面化
数百人のユーザーが毒物・生物兵器に関する情報を引き出し、一部は専門家も「精度が高すぎる」と評した回答を得ていた——ウォール・ストリート・ジャーナルの調査報道を、NBCニュースが追跡取材した。ガードレールは「効いている」と言えるのか。
「高校レベルの生物の知識で
実行できる」と社員が評した回答
調査を最初に報じたのはウォール・ストリート・ジャーナル。NBCニュースによると、2025年夏ごろから数百人のユーザーがChatGPTに毒物や生物兵器の作り方に関する情報を求め、一部には段階的な手順を含む回答が返っていた。OpenAI社内の従業員は、その一部について「高校の生物の授業レベルの知識があれば実行できてしまう」と評していたという。
特に懸念されたのは二つの種類の要求だ。感染症の病原体を、より広がりやすい形に変える方法を尋ねるものと、既存のワクチンが効かなくなるようウイルスを改変する方法を尋ねるものが確認されている。取材にあたった記者が会話サンプルを外部の生物安全保障の専門家に見せたところ、一部の回答は「不安になるほど正確」と評価されたと伝えられている。本稿ではこれ以上、内容や手法には立ち入らない——本件はあくまで安全ガバナンスの機能不全として報じる。
関連する分析として、CoinReporterの報道はMITの研究者による「壊滅的リスク」への警鐘も併せて紹介しており、今回の一件が個別企業の失策にとどまらない業界共通の論点であることをうかがわせる。
なぜ「high risk」判定が
格下げされたのか
問題は技術的な抜け穴だけではない。社内のリスク管理プロセスそのものが揺らいでいた経緯がある。
2025年夏の時点でOpenAIは、生物兵器関連の悪用リスクについてGPT-5を社内基準で「high risk」に分類していた。ところが同年秋には、公開後も従業員が問題のある回答を発見し続けていたにもかかわらず、その内部リスク評価を格下げしていたと報じられている。判定の厳格化ではなく緩和の方向に動いた点が、今回の報道の核心である。
背景には、経営陣が現場に対して「拒否を増やしすぎるな」と伝えていたという証言もある。正当な医療・研究目的の利用者まで機械的にブロックしてしまうことへの懸念が、安全側に倒す判断を鈍らせた可能性がある。
単発の不具合ではない、
繰り返すパターンだ
今回の報道の2週間ほど前にも、同種の綻びが別ルートから指摘されていた。
7月中旬には、英国のAI Security Institute（AI安全機構）がGPT-5.6 Solに対して「universal jailbreak（あらゆる制限を回避できる汎用的な突破口）」を確認したと報告したばかりだった。そのわずか2週間後に、今回のより深刻な事案が表面化した。単発の技術的バグではなく、同じ数か月の間に複数回、独立したルートから安全策の綻びが見つかっているという点が重要だ。
しかも今回の核心は「突破されたこと」自体より、社内でリスクを認識していながら評価を緩めていたというガバナンス上の判断にある。技術的なジェイルブレイク耐性の議論と、企業が自社のリスク基準をどう運用するかという組織的な議論は、切り分けて見る必要がある。
誰に、どう効くか
影響の濃淡はユーザーの利用目的によって大きく異なる。
エンジニア
「モデルが拒否したから安全」という前提でセキュリティ設計を組んではいけない。ガードレールはモデルの一挙動に過ぎず、システム全体のセキュリティ制御としては扱えないと再確認すべき事案。
事業責任者
機密情報や規制対象データを扱う業務でChatGPT系のツールを使っているなら、モデル任せの安全策を前提にした運用は見直しの対象。特に医療・化学・研究領域の業務利用は要注意。
PM・企画
AI機能を製品に組み込む際のリスク評価に、ベンダー側の内部リスク判定が事後的に変わりうるという前提を加える。日常会話用途での一般利用者への影響は限定的。
次にすべき3つの行動
「拒否された」を安全の証明にしない
モデルが特定の質問に応答しなかった実績があっても、それをセキュリティ統制として社内文書に書かない。ガードレールは補助であって保証ではない。
高リスク用途には人間レビューを挟む
機密性の高い領域でAIを業務利用する場合、出力を無審査で流さず、人間のレビューやフィルタリングの層を別途設ける。
OpenAIの対応を継続的に確認する
アカウント停止以降、同社がリスク評価プロセスや検知の仕組みをどう改善するか、公式発表を追う価値がある。
拒否を強めれば正当な研究者を締め出し、
緩めれば悪用の穴が広がる——単純な答えのない綱引き。
「OpenAIの過失」で片付く話ではない
OpenAIは問題が確認されたアカウントを停止しており、法執行機関や政府への通報は行っていない。この点だけを見ると対応が甘いように映るが、報道によれば同社に通報の法的義務はない。停止という対応自体は取られていた、という事実は公平に扱う必要がある。
その一方で、経営陣が「拒否しすぎるな」と現場に伝えていたとされる証言は、過剰拒否が正当な医療・研究目的の利用者を妨げるという実務上の悩みを反映してもいる。安全性を優先して拒否を強めれば、今度は良性利用者の利便性を損なう。ここには技術で単純に解決できない、運用上のトレードオフが存在する。今回の一件を「OpenAIが怠慢だった」と断定するのではなく、安全と利便性のバランスをどこに置くかという未解決の設計課題として捉えるのが実態に近い。