電話越しの「もしもし」に、もう人間のオペレーターが出るとは限らない時代が近づいています。今週は音声エージェント・リアルタイム会話AI——電話や顧客サポートで使われる低遅延の会話AI——の最新動向を、モデルの進化とアーキテクチャの両面からまとめます。
OpenAIのgpt-realtime-2.1——レイテンシ25%改善とツール呼び出しの強化
OpenAIは2026年7月、Realtime API向けの新モデル「gpt-realtime-2.1」と軽量版「gpt-realtime-2.1-mini」を公開しました。5月に発表されたgpt-realtime-2の後継で、注文番号や電話番号の読み上げに関わる英数字認識、無音・雑音への対応、割り込み（バージイン）時の挙動が改善されています。
あわせてキャッシュ機構の改善により、Realtime系モデル全体でp95レイテンシが25%以上短縮されたと発表されました。推論の強度（reasoning effort）を設定できる点も特徴で、通話中に関数を呼び出して外部システムを操作する「エージェント的」な音声対応がしやすくなっています。詳細はOpenAIコミュニティの発表スレッドで確認できます。
Googleの Gemini Live API——感情対応とプロアクティブ発話がGAに
GoogleのGemini Live APIでは、低遅延の音声エージェント向けモデル「gemini-live-2.5-flash-native-audio」が正式運用（GA）となりました。ユーザーの話し方に合わせて応答のトーンを変える「affective dialog（感情対応）」や、モデル側から自発的に話しかける「proactive audio」、話している最中にいつでも割り込める音声区間検出（VAD）によるバージイン対応が特徴です。
24言語での会話に対応し、リアルタイムの音声翻訳機能も用意されています。Gemini Enterprise Agent Platformのドキュメントでは、より複雑なルーティングやマルチエージェント連携が必要な場合、LiveKit（WebRTC）とAgent Development Kit（ADK）を組み合わせる構成が推奨されています。
ElevenLabs AgentsがIVR電話メニューを突破
ElevenLabsは、自社の音声エージェント製品「ElevenLabs Agents」に、企業の電話自動応答（IVR）メニューをプッシュ音（DTMFトーン）で操作する機能を追加しました。これまでAIエージェントが人間に代わって別の会社に電話をかけても、IVRの「1を押してください」的な案内で自動操作が止まってしまう課題がありましたが、この機能により電話の取り次ぎ自体を自動化できます。既存のテレフォニー基盤に1行のコードで組み込める設計です。
カスケード型 vs ネイティブ音声-音声モデル——レイテンシの正体
音声エージェントの応答速度は、内部構成によって大きく変わります。従来型は「音声認識（STT）→ LLM推論 → 音声合成（TTS）」を順につなぐカスケード型で、各層を得意なモデルに置き換えられる柔軟性がありますが、段階ごとに遅延が積み重なります。一方でOpenAIのRealtime APIやGoogleのGemini Live APIのようなネイティブ音声-音声モデルは、音声を音声のまま直接処理するため遅延を抑えやすい一方、内部の挙動を細かく制御しづらい面があります。AssemblyAIの解説によれば、電話越しの音声品質や規制業種での透明性が重要な場面ではカスケード型が、自然な会話感を優先する場面ではネイティブ型が向いているとされています。
| 処理段階 | 目安のレイテンシ | 備考 |
|---|---|---|
| ストリーミングSTT（音声認識） | 約100〜150ms | カスケード型のみ発生 |
| LLM推論（最初のトークンまで） | 約300ms〜1.2秒 | モデルサイズ・推論強度に依存 |
| TTS（音声合成、最初の音まで） | 約100〜150ms | カスケード型のみ発生 |
| ネイティブ音声-音声モデル全体 | 約320〜800ms | STT/TTSの分離段階を持たない |
出典：Cerebrium、Forasoft（LiveKit解説）の数値を基に作成。実際の遅延はネットワークやツール呼び出しの有無で変動します。
主要な音声エージェント構築プラットフォーム比較
電話や顧客サポート向けに音声エージェントを組む場合、自前でモデルを組み合わせるか、パッケージ化されたプラットフォームを使うかという選択肢があります。代表的なサービスを整理しました。
| サービス | 特徴 | 向いている用途 |
|---|---|---|
| LiveKit | オープンソースのリアルタイム基盤。STT/LLM/TTSを自由に組み合わせ、セルフホストも可能 | エンジニアリングでの細かい制御を重視する開発チーム |
| Vapi | 開発者向けのAPIベースのプラットフォーム。多数のLLM・TTSベンダーを切り替え可能 | 予約対応など定型フローの音声アプリを素早く構築したい場合 |
| Retell AI | ノーコードとAPIの両方に対応。既存の電話回線（SIPトランキング）と接続しやすい | 着信・発信の電話サポートを本番運用したい企業 |
| ElevenLabs Agents | ElevenLabs高品質音声合成をベースにした会話エージェント。IVR操作にも対応 | ブランドとしての「声の自然さ」を重視するプロダクト |
| Bland AI | 音声に加えチャット・SMSも含む多チャネル対応。大量の発信キャンペーンに強い | アウトバウンド営業やコレクション業務など高ボリュームの発信 |
まとめ
- OpenAIとGoogleはいずれも、音声エージェントの応答速度と「ツールを呼び出して実際に動く」能力を同時に高めている。
- ElevenLabsのようなTTS専業ベンダーも、電話の自動操作（IVR突破）まで踏み込み始めている。
- 自作するか既存プラットフォームに乗るかは、レイテンシ要件・カスタマイズ度・既存の電話基盤との相性で判断するのが実務的。
主な情報源
- OpenAI API Changelog
- OpenAI: Advancing voice intelligence with new models in the API
- OpenAI Community: New Realtime models gpt-realtime-2.1
- Google AI for Developers: Live API capabilities guide
- Google Cloud: Gemini Live API overview
- ElevenLabs: IVR navigation blog
- AssemblyAI: Best Speech-to-Speech Voice Agent API
- Cerebrium: A Low-Latency Architecture for Voice Agents
- Forasoft: Build and Deploy LiveKit AI Voice Agents
音声クローン等は本人の同意と各サービス規約の遵守が前提です。生成物の権利・商用条件は各規約をご確認ください。情報は公開時点のもの。収集・要約はAI、公開判断は人。