音声AIに推論が来た。
遅延は、据え置きのまま。
OpenAIは2026年7月6日、音声特化モデルの新版gpt-realtime-2.1と軽量版gpt-realtime-2.1-miniをRealtime APIに追加した（7月9日に一般提供開始）。目玉は推論の強さを5段階（minimal/low/medium/high/xhigh）で調整できるようにしたうえで、既定のlow運用ではp95レイテンシを従来比25%以上短縮したことだ。「推論を足すと応答が遅くなる」という、5月のgpt-realtime-2以来の悩みに、正面から手を打ってきた。
「推論を足すと遅くなる」は、
もう前提じゃない
音声モデルに推論が乗ったのは今回が初めてではない。変わったのは、その「代償」の扱い方だ。
OpenAIが音声にGPT-5級の推論を初めて載せたのは、2026年5月7日出荷のgpt-realtime-2だった。ここで音声エージェントは複雑な依頼を筋道立てて処理できるようになった一方、推論をオンにすると応答が目に見えて遅くなるという副作用がついてきた。リアルタイム対話では、この遅延はそのまま「間」の不自然さになる。
7月6日発表・7月9日GAのgpt-realtime-2.1は、この構図を崩しにきた。OpenAIの発表によれば、キャッシュ機構の改善によりRealtime系モデル全体でp95レイテンシを25%以上削減。加えて推論の強さをreasoning.effortパラメータでminimal / low / medium / high / xhighの5段階から選べるようにし、既定値はlowに設定した。つまり「推論を切る」のではなく「推論を軽くかけたまま、遅延だけ元に戻す」ことができるようになった。
| gpt-realtime-2（5月） | gpt-realtime-2.1（7月） |
|---|---|
| 推論は常時オン/オフの二択に近い | reasoning.effortを5段階で明示指定 |
| 推論オンで応答が遅くなりがち | 既定lowでp95レイテンシ -25%以上 |
| 英数字の読み上げ・割り込み対応が弱点 | 英数字認識／無音・雑音判定／割り込み処理を改善 |
| miniは非推論モデル | miniも推論対応、価格は旧miniと同水準 |
reasoning.effortという、
新しいノブ
効果を切るか入れるかの二択ではなく、ターンごとに強さを選べるダイヤルになった。
この設計がエンジニアにとって意味を持つのは、effortをセッション単位・ターン単位で動的に切り替えられる点だ。OpenAIの公式モデルドキュメントによれば、session.updateで reasoning.effort を送るだけで、次のターンから即座に効果レベルが変わる。会話の大半を占める定型応答はlowのまま流し、複雑なツール呼び出しが必要な瞬間だけmedium以上に上げる——という「使い分け運用」が、モデル切り替えなしで実現できる。
あわせてgpt-realtime-2.1-miniも推論に対応した。料金はテキスト入力$0.60/出力$2.40（各100万トークン）、音声入力$10/出力$20と旧miniと同一水準を維持したまま推論機能が追加されている。コストを上げずに応答品質だけ底上げできる、という組み合わせは地味に効く変更だ。
既存の音声エージェントを
移行する3手順
モデルIDを差し替えるだけでは終わらない。effortの使い分けまで含めて設計し直すのが本筋。
モデルIDを切り替える
Realtime APIのセッション設定で model を gpt-realtime / gpt-realtime-2 から gpt-realtime-2.1（または gpt-realtime-2.1-mini）へ変更し、reasoning.effort を明示的に指定する。未指定でも既定lowが使われるが、意図を明示しておくと後の調整がしやすい。
lowのまま計測し、必要な箇所だけ上げる
まずはlow運用で本番トラフィックのp95/p99レイテンシを実測する。注文照会・複数ツールをまたぐ依頼など、精度が優先される特定のターンだけ session.update でmedium以上に一時的に引き上げるハイブリッド運用にする。
effort別にコストを分けて監視する
音声トークン単価はgpt-realtime-2.1が入力$32/出力$64、miniが入力$10/出力$20（各100万トークン）。effortを上げるほど出力トークンも増えるため、コストダッシュボードをeffort別に分解しておかないと、精度改善のつもりが想定外の請求増につながる。
効くのは、こういう現場
全ての音声UIに恩恵があるわけではない。効果が大きいのは「精度と速度が両方欲しい」現場だ。
サポートIVRの注文番号読み上げ
gpt-realtime-2.1は英数字の読み上げ精度・無音/雑音判定・割り込み処理が改善されている。注文番号や確認コードの聞き取り直しが減れば、通話1件あたりの平均処理時間そのものが縮む。
通話中の多段ツール呼び出し
会話を止めずにfunction callingできるため、「在庫を確認しながら」「別システムの予約状況を見ながら」話す設計がしやすい。medium/high effortと組み合わせると、依頼の言い換えや条件分岐にも粘り強く追従する。
コスト据え置きでの品質底上げ
miniで動かしている高頻度・低単価の音声フローは、料金を上げずにgpt-realtime-2.1-miniへ切り替えるだけで推論能力を得られる。まずはここから移行し、効果を見てから上位モデルの適用範囲を広げるのが手堅い。
音声AIの遅さは、賢さの代償ではなく、
キャッシュ設計の宿題だった。
過信は禁物。effortを上げれば、
結局は遅くなる
強調しておきたいのは、「推論を足しても遅延ゼロ」なのはあくまで既定のlow運用に限った話だという点だ。OpenAI公式コミュニティのアナウンスでも、effortを上げるほどレイテンシと出力トークン消費は増えると明記されている。つまりmedium/high/xhighに引き上げた時点で、5月のgpt-realtime-2と同じ「速さと精度のトレードオフ」に舞い戻る。今回の改善は「トレードオフを消した」のではなく「デフォルト地点を速い側にずらした」と捉えるのが正確だ。
もう一点、p95 -25%・alphanumeric改善などの数値はいずれもOpenAI自身が公表したベンチマークで、第三者による独立検証はまだ出そろっていない。本番投入前には、自社の対話ログでp95/p99を実測し、effort別のコストと精度を自分たちの手で確認しておく必要がある。Realtime API固有のセッション設計（reasoning.effortやキャッシュ挙動）に依存する分だけ、他ベンダーへの乗り換えコストも上がる点は留意したい。