ChatGPT音声会話アプリの開発手順｜Realtime APIとAgents SDKで作る音声対話システム

ChatGPTと音声でやり取りできるアプリを自作したい――そう考えるエンジニアが増えています。OpenAIが2025年に一般提供（GA）を開始したRealtime APIとAgents SDKにより、音声会話アプリの開発ハードルは大きく下がりました。

従来は音声認識（STT）→ テキスト生成（LLM）→ 音声合成（TTS）の3段パイプラインが必要でしたが、Realtime APIは音声を直接入出力するSpeech-to-Speech方式を採用し、応答遅延を大幅に短縮しています。

ChatGPT音声対話の2つのモード — Standard VoiceとAdvanced Voice

ChatGPTの音声会話機能にはStandard VoiceとAdvanced Voiceの2種類があります。開発でどちらの技術スタックを参考にするかを決めるうえで、両者の違いを把握しておくことが重要です。

Standard Voice — Whisper + TTSパイプライン

Standard Voiceは、OpenAIの音声認識エンジンWhisperでユーザーの発話をテキスト化し、GPTモデルで応答を生成した後、TTSモデルで音声に変換する3段階の処理を行います。処理が直列に進むため、応答までに数秒のレイテンシが発生します。

自前でこのパイプラインを構築する場合、Whisper API → Chat Completions API → TTS APIの3つのエンドポイントを順番に呼び出す構成になります。

Advanced Voice — GPT-4oネイティブ音声対話

Advanced VoiceはGPT-4oがテキストを介さずに音声を直接処理するモードです。声のトーンや笑い声といった非言語情報も把握でき、人間同士の会話に近い応答速度と自然さを実現しています。50以上の言語に対応し、会話の途中で言語を切り替えることも可能です。

API開発者向けには、この仕組みを利用できるRealtime APIが提供されています。

無料プランと有料プランの利用上限

無料プランでもAdvanced Voiceを試せますが、日次の利用制限があります。開発目的であれば、APIを直接利用するほうがコスト管理がしやすくなります。

音声会話アプリを作る3つの開発アプローチ

ChatGPTの音声会話機能を自作アプリに組み込む方法は、技術スタックによって大きく3つに分かれます。

アプローチ1 — STT + Chat API + TTS の3段パイプライン

もっとも理解しやすい構成です。音声認識・テキスト生成・音声合成をそれぞれ独立したAPIで処理します。

処理フロー:

マイク入力 → Whisper API（STT） → Chat Completions API → TTS API → スピーカー出力

向いているケース:

• 音声認識の結果をログとして残したい
• 中間テキストを加工・フィルタリングしたい
• Raspberry Piなどの組み込み機器で稼働させたい

デメリット:

• 3回のAPI呼び出しが直列に実行されるため、体感で2〜5秒の遅延が発生
• 声のトーンや非言語情報が失われる

アプローチ2 — Realtime APIによるSpeech-to-Speech

OpenAIのRealtime APIを使うと、音声入力と音声出力を1つのモデルが直接処理します。WebSocketまたはWebRTCで常時接続し、ストリーミングで双方向の音声をやり取りする構成です。

処理フロー:

マイク入力 ⇄ Realtime API（gpt-realtime） ⇄ スピーカー出力

向いているケース:

• 低遅延の音声対話が必要（電話対応、受付システム）
• 声のトーンや感情を反映した応答が求められる
• 会話中にFunction Callingで外部APIを呼びたい

アプローチ3 — Agents SDKでボイスエージェント構築

OpenAIが提供するAgents SDK（Python / TypeScript）は、Realtime APIをラップした高レベルフレームワークです。ボイスエージェントの構築に特化した機能（自動割り込み検知、コンテキスト管理、ガードレール）を備えており、少ないコード量で本格的な音声会話システムを構築できます。

向いているケース:

• マルチエージェント構成（ルーティング → 専門エージェントへ転送）
• ガードレールや安全機構を組み込みたい
• 素早くプロトタイプを作りたい

3つのアプローチの比較

Realtime API入門 — 接続方式・対応モデル・料金

Realtime APIは、ChatGPTのAdvanced Voiceと同等の音声対話能力をAPI経由で利用できる仕組みです。2025年8月にGA（一般提供）となり、全開発者が利用可能になりました。

gpt-realtimeモデルの仕様

gpt-realtimeはGPT-4oベースの音声対話専用モデルです。テキスト・音声・画像のマルチモーダル入力に対応し、テキストと音声の同時出力が可能です。

主な特徴:

• 「早口でプロフェッショナルに話して」「共感的にフランス語アクセントで」など、細かい話し方の指示に従える
• 笑い声や言い淀みなど非言語の手がかりを捉える
• 会話中に言語を切り替えられる
• Function Callingの精度が向上（呼び出しタイミング・引数の正確性）

軽量版としてgpt-realtime-miniも提供されています。

WebRTC・WebSocket・SIPの使い分け

ブラウザ上で動作するアプリを作る場合はWebRTCが第一選択です。サーバー側で音声を処理・加工する必要がある場合はWebSocketを選びます。2025年のアップデートで追加されたSIP対応により、コールセンターなどの電話システムとの直接統合も実現しています。

料金体系（gpt-realtimeモデル）

キャッシュ入力を活用すると、通常の音声入力コストの約1/80で済みます。長時間の会話セッションでは、会話コンテキストのトークン上限を設定し、古いターンをまとめて削除する運用がコスト最適化に有効です。

音声活動検知（VAD）とターン制御

Realtime APIにはサーバーサイドのVAD（Voice Activity Detection）が組み込まれています。ユーザーが話し終えたタイミングを自動検出し、モデルの応答を開始します。

ユーザーがモデルの発話中に割り込んだ場合（バージイン）、モデルは自動的に応答を中断し、新しい入力の処理に切り替わります。

Function Callingで外部システムと連携

Realtime APIはFunction Callingをネイティブにサポートしています。音声会話の最中に、天気情報の取得、データベース検索、外部APIの呼び出しなどをモデルが自律的に判断して実行します。

# Function Calling の定義例
tools = [
    {
        "type": "function",
        "name": "get_weather",
        "description": "指定された都市の天気予報を取得する",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "都市名"}
            },
            "required": ["city"]
        }
    }
]

Pythonで始める音声会話bot開発

Whisper API + Chat API + TTS による基本構成

もっともシンプルな3段パイプラインの実装です。

必要パッケージ:

pip install openai pyaudio

実装の流れ:

import openai
import tempfile
import subprocess

client = openai.OpenAI()

def speech_to_text(audio_file_path: str) -> str:
    """Whisper APIで音声をテキストに変換"""
    with open(audio_file_path, "rb") as f:
        transcript = client.audio.transcriptions.create(
            model="whisper-1",
            file=f,
            language="ja"
        )
    return transcript.text

def generate_response(user_message: str, history: list) -> str:
    """Chat Completions APIで応答を生成"""
    history.append({"role": "user", "content": user_message})
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=history
    )
    reply = response.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

def text_to_speech(text: str, output_path: str):
    """TTS APIで音声ファイルを生成"""
    response = client.audio.speech.create(
        model="tts-1",
        voice="nova",
        input=text
    )
    response.stream_to_file(output_path)

このパイプラインは処理がシンプルなため、Raspberry Piのような組み込み環境でも動作します。OpenJTalkやVOICEVOXなどローカルTTSに差し替えれば、TTS APIのコストを削減することも可能です。

Realtime API（WebSocket）による低遅延構成

Realtime APIを使えば、音声の入出力を1つの接続で同時に処理できます。

import asyncio
import json
import base64
import websockets

OPENAI_API_KEY = "sk-..."
URL = "wss://api.openai.com/v1/realtime?model=gpt-realtime"

async def realtime_session():
    headers = {
        "Authorization": f"Bearer {OPENAI_API_KEY}",
        "OpenAI-Beta": "realtime=v1"
    }

    async with websockets.connect(URL, extra_headers=headers) as ws:
        # セッション設定
        await ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "modalities": ["text", "audio"],
                "instructions": "あなたは親切な日本語アシスタントです。",
                "voice": "cedar",
                "input_audio_format": "pcm16",
                "output_audio_format": "pcm16",
                "turn_detection": {
                    "type": "server_vad",
                    "threshold": 0.5,
                    "silence_duration_ms": 500
                }
            }
        }))

        # 音声データの送受信ループ
        async for message in ws:
            event = json.loads(message)

            if event["type"] == "response.audio.delta":
                # 音声出力データ（Base64エンコード）
                audio_chunk = base64.b64decode(event["delta"])
                # スピーカーへ出力する処理
                play_audio(audio_chunk)

            elif event["type"] == "response.text.delta":
                # テキスト出力（字幕表示等に利用）
                print(event["delta"], end="", flush=True)

voiceパラメータで応答音声を変更できます。cedarやmarinはアシスタント用途に最適化された音声です。

TypeScript / ブラウザで作る音声会話UI

Web Speech API + Chat APIの簡易構成

ブラウザの標準APIであるWeb Speech APIを使えば、外部サービスなしで音声入力・音声出力を実現できます。ChatGPT APIとの組み合わせで、フロントエンドだけで動作する音声チャットが構築可能です。

// Web Speech APIによる音声認識
const recognition = new webkitSpeechRecognition();
recognition.lang = "ja-JP";
recognition.continuous = false;

recognition.onresult = async (event: SpeechRecognitionEvent) => {
  const transcript = event.results[0][0].transcript;

  // ChatGPT APIに送信（バックエンド経由）
  const response = await fetch("/api/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ message: transcript })
  });

  const data = await response.json();

  // Web Speech APIで音声出力
  const utterance = new SpeechSynthesisUtterance(data.reply);
  utterance.lang = "ja-JP";
  speechSynthesis.speak(utterance);
};

recognition.start();

Web Speech APIの音声合成はブラウザ内蔵の音声を使うため無料ですが、品質はOpenAIのTTSモデルに劣ります。商用品質が必要な場合はTTS APIへの差し替えを検討してください。

Agents SDK（TypeScript）でWebRTCボイスエージェント

OpenAI Agents SDK for TypeScriptを使うと、ブラウザ上で自動的にWebRTC接続が確立され、数行のコードで音声会話が動作します。

import { RealtimeAgent, RealtimeSession } from "@openai/agents-realtime";

const agent = new RealtimeAgent({
  name: "customer-support",
  instructions: "あなたはECサイトのカスタマーサポート担当です。注文状況の確認や返品手続きの案内を行ってください。",
  tools: [orderLookupTool, returnProcessTool]
});

const session = new RealtimeSession({ agent });

// ブラウザのマイクとスピーカーを自動接続
await session.connectMicrophone();
await session.connectSpeaker();

サーバー側（Node.js）で実行する場合は、自動的にWebSocket接続に切り替わります。

音声会話開発で直面しやすい課題と対処法

音声認識の精度を改善するには

• サンプリングレートの統一: Realtime APIは16kHz / 24kHz PCM16を推奨。マイクの設定が異なるとノイズが混入します
• 環境ノイズの除去: WebRTCにはエコーキャンセラーが組み込まれていますが、WebSocketの場合はクライアント側でノイズ除去が必要です
• プロンプトでの制御: 「聞き取れなかった場合は聞き返してください」という指示をsystem promptに含めると、誤認識時のリカバリが向上します

レイテンシを最小化する設計ポイント

• WebRTCを第一選択に: WebSocketよりもWebRTCのほうがエンドツーエンドの遅延が小さくなります
• VADのthreshold調整: silence_duration_msを短く設定すると応答開始が早まりますが、短すぎると途中で割り込まれます。500〜800msが一般的な設定値です
• ストリーミング再生: 音声出力を全バッファしてから再生するのではなく、チャンクごとに再生を開始します

セキュリティとプライバシーの注意点

• APIキーをフロントエンドに埋め込まない。WebRTCの場合もエフェメラルトークンを使用します
• 音声データはOpenAIのサーバーを経由するため、機密情報の取り扱いポリシーを事前に確認してください
• OpenAIのAPI利用規約では、音声データの学習利用はデフォルトでオフになっています（API経由の場合）

コスト管理 — キャッシュ活用とトークン最適化

Realtime APIの音声トークンは高コストです。以下の工夫でコストを抑えられます。

• キャッシュ入力の活用: 繰り返し同じコンテキストを送信する場合、キャッシュされた入力トークンは通常の約1/80の料金です
• 会話ターンの切り詰め: 長時間のセッションでは古いターンを定期的に削除し、コンテキストのトークン数を制限します
• gpt-realtime-miniの活用: 高度な推論が不要な用途（定型応答、FAQ対応）では軽量モデルでコストを抑制できます

ChatGPT音声会話の代表的なユースケース

語学学習・英会話練習ボット

ChatGPTの音声会話は語学練習に適しています。Advanced Voiceの自然なイントネーションにより、教科書的な発音ではなくネイティブに近いリズムでの練習が可能です。

開発例としては、system promptに「CEFR B1レベルの英語で会話し、文法ミスがあれば指摘してください」と設定するだけで、パーソナライズされた英会話レッスンが成立します。

社内ナレッジ問い合わせシステム

Function Callingと組み合わせることで、社内文書やFAQデータベースを検索しながら音声で回答するシステムを構築できます。RAG（Retrieval Augmented Generation）パイプラインとRealtime APIを統合する構成がこのユースケースに適しています。

AIインタビュアー・模擬面接システム

ボイスモードの自然な応答を活かし、面接練習や社内の振り返りセッションにChatGPTを活用する事例が増えています。Agents SDKのマルチエージェント機能を使えば、「面接官エージェント」→「フィードバックエージェント」のように役割を分担させることも可能です。

IoTデバイス（Raspberry Pi等）での組み込み

Raspberry Pi + マイク + スピーカーの構成で、音声対話デバイスを自作できます。3段パイプライン方式であればPython環境のみで実装でき、OpenJTalkのようなローカルTTSを使えばオフライン環境への部分対応も可能です。

海外で先行する音声AI活用の動向

米国では、ChatGPTの音声会話技術を業務システムに組み込む動きが進んでいます。日本でも参考にできるトレンドを整理します。

SIP電話統合によるコールセンター自動化

Realtime APIのSIP対応（2025年8月GA）により、既存の電話インフラと直接統合できるようになりました。米国ではVapi、Retell AIなどの音声AIプラットフォームがRealtime APIを基盤に採用し、コールセンター業務の自動化を推進しています。

日本でも、PBXシステムと連携させた一次対応の自動化や、電話予約システムへの組み込みが現実的な活用先として期待されます。

カメラ映像 + 音声会話のマルチモーダル対応

ChatGPTのVoice with Video機能は、カメラ映像をリアルタイムで認識しながら音声会話を行う仕組みです。Realtime API単体では画像入力に未対応ですが、Chat Completions API（GPT-4oのVision機能）と組み合わせることで、「目の前のものを見せながらAIに質問する」というユースケースを構築できます。

製造業での品質検査サポートや、フィールドサービスでの現場支援など、視覚 + 音声を組み合わせた業務支援への応用が海外で先行しています。

MCP連携による拡張性

2025年のRealtime APIアップデートではMCPサーバーのサポートが追加されました。MCP（Model Context Protocol）を通じて、データベース、ファイルシステム、外部サービスなどをFunction Callingよりも柔軟に接続できます。

まとめ — 音声会話アプリ開発の技術選定チェックリスト

ChatGPTの音声会話機能をアプリに組み込む場合、以下の基準で技術を選定するのが効率的です。

レイテンシ重視（リアルタイム対話） → Realtime API（WebRTC接続）またはAgents SDK

コスト重視（バッチ処理的な用途） → 3段パイプライン（Whisper + Chat API + TTS）

開発速度重視（プロトタイプ） → Agents SDK（Python / TypeScript）

既存電話網との統合 → Realtime API（SIP接続）

Realtime APIの料金は音声入力 $32 / 100万トークン、音声出力 $64 / 100万トークンです（出典: OpenAI Pricing）。キャッシュ入力は $0.40 / 100万トークンと大幅に安いため、繰り返しのコンテキスト送信ではキャッシュの活用がコスト最適化の鍵になります。

Agents SDKのクイックスタートガイドはOpenAI公式ドキュメントで公開されています。Realtime APIの詳細な仕様はAPIリファレンスを参照してください。