プロンプトを思いつきで書き換えていると、「昨日まで良かった答えが今日は崩れた」が起こります。これを防ぐ考え方がプロンプト管理——プロンプトを「テスト・観測・バージョン管理されるコード」として扱う、という発想です。本章では代表的な3ツール、Promptfoo（評価）・LangSmith（トレース）・Helicone（観測）を、何のための道具なのかが初めてでも分かるように整理します。
まず大枠をつかみましょう。LLMを業務に組み込むと、改善のたびに「本当に良くなったのか」「いくらかかっているのか」「どこで失敗したのか」を知りたくなります。この3つの問い——評価・コスト/観測・デバッグ——に答えるのが、これらのツールの役割です。
FIG.1 プロンプト改善は「評価・観測・トレース」の3つの問いを回し続ける営み
013ツールの守備範囲
名前が似ていて混同しがちですが、得意分野ははっきり分かれています。ざっくり言えば——Promptfoo＝採点係、LangSmith＝顕微鏡、Helicone＝メーター。それぞれを見ていきます。
Promptfoo
プロンプトやモデルを並べて比較し、変更で品質が落ちていないかを自動採点する「評価」ツール。CI（自動テスト）に組み込んで回帰チェックに使う。
LangSmith
LLMの実行を1ステップずつ記録し、入力・出力・遅延・トークン数を可視化する「トレース／デバッグ」ツール。プロンプトの版管理や評価機能も持つ。
Helicone
API呼び出しの経路（プロキシ）に立ち、コスト・レイテンシ・回数を計測し、キャッシュもかける「観測」ツール。導入はURLを差し替えるだけ。
1つに全部を任せる必要はありません。多くのチームは「まず観測（Helicone系）→ 次に評価（Promptfoo）→ 必要に応じて詳細トレース（LangSmith）」と段階的に足していきます。役割が重なる部分もあるため、自社の悩みに直結する1つから始めるのが現実的です。
02Promptfoo — 変更を「テスト」する
Promptfoo（プロンプトフー）は、オープンソース（MITライセンス）のLLM評価フレームワークです。YAMLという設定ファイルに「このプロンプトに、この入力を与えたら、こういう出力であってほしい」と宣言的に書いておくと、複数のモデル（GPT・Claude・Geminiなど）を横並びで走らせ、結果を採点してくれます。コードを変えるたびに走らせれば、品質の作り込みが壊れていないかを機械的に確認できます。
FIG.2 同じテストを複数モデルに当て、合否としてCIに返す（回帰テスト）
採点の仕方は2通りを組み合わせます。「特定の語が含まれる」「JSONとして妥当」のような機械的な一致判定と、別のLLMに答案を評価させるLLM-as-judge（LLMを採点者にする）です。後者は便利ですが採点者のLLMも間違えるため、重要な指標は人手レビューや決め打ちの一致判定と併用するのが安全です。
もう一つの大きな機能がレッドチーミング（攻撃テスト）です。プロンプトインジェクション、ジェイルブレイク、個人情報の漏えい、ハルシネーションなど50種類以上の脆弱性カテゴリについて、攻撃用の入力を自動生成して安全性を点検できます。OWASP LLM Top 10 や NIST AI RMF といった外部フレームワークに対応したプリセットも用意されています。
プロンプトを変えるたびに走る自動テストがあれば、「直したつもりが別の所を壊した」を出荷前に止められる。
なお Promptfoo は2026年3月に OpenAI に買収されましたが、引き続きオープンソース（MIT）として公開されています。OpenAI・Anthropic を含む開発元でも利用されています。ライセンスや提供形態は今後変わりうるため、採用時は公式の最新情報を確認してください。
03LangSmith — 実行を「見える化」する
LangSmith（ラングスミス）は LangChain 社が提供する、LLMアプリのトレース（実行の追跡）・評価・プロンプト管理を1か所で行うプラットフォームです。名前に LangChain と付きますが、LangChain を使っていなくても利用できます——OpenAI SDK や Anthropic SDK、Vercel AI SDK など、フレームワークを問わず接続できます。
トレースとは、1回のリクエストが「どんな入力で、どのステップを通り、何を返したか」を1ステップずつ記録すること。エージェントのように何段も処理が連なるアプリで、どこで遅くなり、どこで失敗したかを追えるのが最大の価値です。各ステップの入力・出力・遅延・トークン使用量・エラーが見えます。
FIG.3 多段処理を木構造に展開し、遅延やエラーの発生箇所を突き止める
LangSmith はトレースだけでなく、本番トラフィックに評価をかけるオンライン評価、人手レビューのための注釈キュー、プロンプトを試し比べるプレイグラウンド、版管理や共有のための LangChain Hub も備えます。料金は無料の Developer プラン（1シート・月5,000トレース程度まで）から、チーム向けの Plus プラン（1シートあたり月39ドル程度）まで段階があります。トレース超過分は従量課金で、プランや無料枠は頻繁に変わるため公式で最新を確認してください。
04Helicone — コストを「測る」
Helicone（ヘリコーン）は、オープンソース（Apache 2.0）のLLM観測プラットフォームです。最大の特徴は導入の手軽さで、呼び出し先のURLを Helicone のものに差し替えるだけ。SDKを置き換える必要がありません。すべてのリクエストが Helicone のプロキシ（中継役）を通り、リクエストとレスポンス、トークン数、コストが記録され、必要に応じてキャッシュやレート制限が適用されてから本来のプロバイダへ転送されます。
FIG.4 Helicone はアプリとプロバイダの間に立つプロキシ。だから1行で導入できる
記録された情報はダッシュボードで、コスト・レイテンシ・呼び出し回数として集計されます。同じ入力への応答をエッジ（Cloudflare）でキャッシュすればコストと待ち時間を削れます。OpenAI・Anthropic・Azure OpenAI・Gemini など100以上のモデルに対応し、自社サーバへの自己ホスト（Docker / Kubernetes）も可能です。プロキシを通したくない場合は、処理経路の外で記録する非同期ログ方式も選べます。
ただし重要な注意点があります。Helicone は2026年3月に Mintlify に買収され、現在はメンテナンスモード（新機能の追加は予定なし）に入りました。既存機能は使えますが、新規採用にあたっては将来性も含めて判断し、必要なら他の観測ツールも比較してください。
053ツールの比較
主眼・導入方法・提供形態を並べると、選びやすくなります。
| 観点 | 3ツールの位置づけ |
|---|---|
| 主眼 | Promptfoo＝評価／回帰テスト・安全性検査、LangSmith＝トレース／デバッグ＋評価、Helicone＝コスト/レイテンシの観測＋キャッシュ |
| 使う場面 | Promptfoo＝CI（出荷前）、LangSmith＝開発・本番のデバッグ、Helicone＝本番の運用監視 |
| 導入方法 | Promptfoo＝YAML＋CLI、LangSmith＝SDK連携、Helicone＝URL差し替え（最小） |
| 提供形態 | Promptfoo＝OSS(MIT)、LangSmith＝SaaS（無料枠あり）、Helicone＝OSS(Apache2.0)・自己ホスト可（※メンテナンスモード） |
役割が一部重なる点に注意してください。LangSmith にもコスト集計や評価はあり、Promptfoo にも比較表示はあります。「評価が主眼か／実行追跡が主眼か／コスト監視が主眼か」という主目的でまず1つ選び、足りない部分を後から足すのが失敗しにくい進め方です。
06導入の順序
いきなり全部を入れる必要はありません。次の順に積み上げると、各段の効果を実感しながら進められます。
まず観測（見える化）
「何が・何回呼ばれ、いくらかかっているか」を可視化する。問題があるかどうかも、ここが無いと分からない。導入が最も軽い段階。
次に評価（測る基盤）
変更の良し悪しを数字で測れるようにする。評価用のテスト集（入力＋期待する出力）を少数でも用意し、CIで自動採点する。
そしてトレース／版管理
多段処理の失敗箇所を追えるようにし、プロンプトを「資産」として版管理する。誰が・いつ・何を変えたかを残す。
Data & Privacy
ツールに何を送っているかを忘れない
これらのツールには、プロンプト本文・入力データ・LLMの応答が流れ込みます。便利さの裏で、機密情報や個人情報を外部サービスへ送っていないかは必ず確認すべき点です。判断の軸は次の3つ。
FIG.5 外部送信の前にマスキング、機密が重いなら自己ホストを検討
第一にデータ取扱い規約と保存期間を読む（送ったデータがどこに・いつまで残るか）。第二に、個人情報や機密番号は送る前にマスキングする。第三に、規制データを扱うなら自己ホスト（Helicone は Docker/Kubernetes 対応）でデータを社内に留める選択肢を検討する。「とりあえず全部送る」設計は事故のもとです。
07ツールは手段、評価設計が本体
最後に最も大事な点を。ツールを入れれば品質が上がるわけではありません。効くかどうかは、その手前の評価設計——「何を良しとするか（指標）」と「何で測るか（評価データ）」——で決まります。自社の業務に近い質問と理想の答えを集めた評価セットこそが、長く効く資産です。
計測なき改善は改善でない。指標とデータを先に決め、ツールはそれを回すために選ぶ。
まとめると、プロンプトは「テスト・観測・バージョン管理されるコード」です。まず観測で現状を見え、次に評価で変更を測り、トレースと版管理で改善を積み上げる。Promptfoo・LangSmith・Helicone は、その3つの問いに答えるための道具立てです。料金・機能・提供形態は変動が速いので、採用時は必ず公式の最新情報を確認してください。
