Claude Code / Safety
「はい」を押し続けた人間より、
分類器の方が危険を見抜けた。
Claude Code の承認プロンプトに、開発者は本当に目を通しているのか。Anthropic の検証では、危険なコマンドを人間のレビュアーが見抜けたのはわずか13.6%だった。8月14日から、判断の主役はAI分類器に切り替わる。
The Problem
承認プロンプトは、
いつしか「機械的にクリックする箱」になっていた
Claude Code の既定の権限設定は意図的に保守的で、ファイル書き込みや bash コマンドの実行のたびに開発者へ確認を求める。狙いは安全性の担保だったが、実際には多くの開発者が承認ダイアログを深く読まずにクリックする「承認疲れ」が起きていた。
Anthropic の内部テストは、この前提を数字で裏付けた。危険なコマンドを人間レビュアーが正しく差し止められた割合はわずか13.6%。「人間が最後の砦」という設計思想そのものが、実データによって崩れた形だ。
ここで言う「危険なコマンド」とは、たとえば rm -rf のような不可逆な削除、外部スクリプトをそのまま実行するパイプ、あるいは git push --force のような履歴を書き換える操作を指す。1日に何十回と表示される承認ダイアログの中に、こうした操作が紛れ込んでいても、開発者の集中力はそこまで持続しない。むしろ「よく見る操作だから」という慣れが、危険な操作の見逃しを助長していた側面がある。
How It Works
本当に危険な操作だけを、
人に戻す
8月14日から、Anthropic は Pro・Max・Team プランで「Auto Mode」を既定設定にする。分類器がすべての操作を自動判定し、真にリスクの高いコマンドだけを人間の確認に回す設計だ。
| 従来の承認フロー | Auto Mode(既定化後) |
|---|---|
| すべての書き込み・実行で確認 | 分類器が自動判定 |
| 人間が機械的にクリック | 真に危険な操作だけ人に確認 |
| 危険検知率 13.6% | 危険検知率 89% |
| 確認待ちで作業が止まる | PR生成数が約25%増加 |
So What
切り替え前に、何を確認すべきか
なぜ今これが重要か。エージェント型コーディングツールの安全設計は、これまで「人間の目を最後の砦にする」のが暗黙の前提だった。Anthropic公式ブログが示した13.6%という数字は、その前提自体が機能していなかったことを認めた点で象徴的な発表だ。「人が確認すれば安全」という設計思想からの転換点になる。
誰に・どう効くか。Claude Code をエージェント的に多用し、複数タスクを並行して走らせている開発者ほど恩恵は大きい。確認待ちのボトルネックが減り、The Decoderの報道にある通りPR生成数が約25%増える計測結果も出ている。一方、たまにしか使わない・小さな変更しか任せない人にはあまり変化を感じないだろう。PdMやエンジニアリングマネージャーの立場からは、チーム全体のアウトプット量が変わるという点で、スプリント計画の前提を見直す材料にもなり得る。
次に何をすべきか。①8月14日の既定切り替え前に、現在のプロジェクトでAuto Modeを手動有効化して挙動を確認する、②本番環境に近いリポジトリでは、切り替え後も手動承認モードに戻せることを確認しておく、③チームで使っている場合はAuto Modeの挙動をメンバー間で共有し、危険操作の定義に認識ズレがないか確認する——の3手が現実的だ。
反対視点・リスク。分類器の検知率89%は裏を返せば約1割の危険コマンドを見逃す可能性があるということでもある。人間の13.6%よりは大幅な改善だが、ゼロではない。また「AIが判定してくれるから安心」という新しい慢心が生まれるリスクもある。モードはいつでも手動に戻せるが、既定値が変わることで、切り替えに気づかないまま運用を続けるユーザーも一定数出るだろう。
コンプライアンス上の論点も残る。金融・医療など規制業種の開発チームでは、「誰が・いつ・何を承認したか」の監査ログが要件になっている場合がある。分類器による自動判定に切り替わったとき、その判定根拠がどこまで監査ログとして残るのかは、既定切り替えの前に自社のセキュリティ・法務部門と確認しておく価値がある論点だ。分類器自体もモデルである以上、将来のアップデートで判定基準が変わり得る。ある時点で「安全」と判定されていた操作が、別のバージョンでは「要確認」に変わる——という挙動の非決定性も、長期運用では見込んでおいたほうがよい。
「人が見ているから安全」ではなく、
見ていなかったという前提から設計し直す。