继在语音 AI 领域取得进展后，OpenAI 再次发力，推出三款全新自主研发语音模型：gpt-4o-transcribe、gpt-4o-mini-transcribe 和 gpt-4o-mini-tts。其中，gpt-4o-transcribe 最受关注。
这些新模型已通过 API 向第三方开发者开放，开发者可利用它们构建更智能的应用。OpenAI 还提供 OpenAI.fm 演示网站供个人用户体验。
核心功能详解
gpt-4o-transcribe 是 OpenAI 两年前发布的开源语音转录模型 Whisper 的升级版，旨在提供更低的文字错误率和更强大的性能。
OpenAI 数据显示，在 33 种语言测试中，gpt-4o-transcribe 的错误率较 Whisper 显著下降，尤其在英语方面，错误率仅为 2.46%！这对于高精度语音转录场景意义重大。
该模型在复杂环境下也能保持出色性能。无论在嘈杂环境，面对不同口音，还是处理快慢语速，gpt-4o-transcribe 都能提供更准确的转录结果，并支持 100 多种语言。
为提升转录准确性，gpt-4o-transcribe 还加入了噪声消除和语义语音活动检测技术。
OpenAI 技术人员 Jeff Harris 解释说，语义语音活动检测可帮助模型判断说话者是否表达完整想法，避免断句错误，提高转录质量。此外，gpt-4o-transcribe 还支持流式语音转文本，开发者可持续输入音频并实时获得文本结果，使对话更自然。
需要注意，gpt-4o-transcribe 模型家族目前不具备“说话人分离”（diarization）功能，主要专注于将接收到的音频（包含多人声音）统一转录成文本，不区分和标记不同说话人。
虽然在需要区分发言人的场合存在限制，但其在提高整体转录准确性方面的优势依然显著。
API 接口开放：开发者先行
gpt-4o-transcribe 已通过 OpenAI 的 API 接口提供给开发者使用。开发者可快速将该语音转录能力集成到应用中，为用户带来更便捷的语音交互体验。
OpenAI 在直播中演示，对于基于 GPT-4o 等文本大模型构建的应用，只需约九行代码 就能轻松添加语音交互功能。例如，电商应用可快速实现语音回复用户订单信息咨询。
OpenAI 表示，考虑到 ChatGPT 在成本和性能方面的特殊需求，这些新模型暂不直接应用于 ChatGPT，但预计未来会逐步整合。对于追求更低延迟、实时语音交互的开发者，OpenAI 推荐使用 Realtime API 中的语音到语音模型。
凭借强大的语音转录能力，gpt-4o-transcribe 有望在客户呼叫中心、会议纪要自动生成以及 AI 驱动的智能助手等领域大显身手。一些体验过新模型的公司反馈称，OpenAI 的音频模型显著提升了语音 AI 的性能。
当然，OpenAI 也面临来自其他语音 AI 公司的竞争，如 ElevenLabs 的 Scribe 模型具备较低的错误率和说话人分离功能。Hume AI 的 Octave TTS 模型在发音和情感控制方面提供更精细的自定义选项。开源社区也有不断涌现的先进语音模型。
根据您提供的源，以下是 OpenAI 新语音模型的定价信息以及一些相关的竞品价格:
模型API定价:
- gpt-4o-transcribe: 每100万个音频输入 tokens 的价格为 $6.00，约合每分钟 $0.006。
- gpt-4o-mini-transcribe: 每100万个音频输入 tokens 的价格为 $3.00，约合每分钟 $0.003。
- gpt-4o-mini-tts: 每100万个文本输入 tokens 的价格为 $0.60，每100万个音频输出 tokens 的价格为 $12.00，约合每分钟 $0.015。
竞品模型定价:
- ElevenLabs Scribe: 每小时音频输入的定价为 $0.40，约合每分钟 $0.006。
- Orpheus3B: 基于 Apache2.0许可开源，开发者可以免费使用，但需要自备相应的硬件或云服务器。
需要注意的是，不同模型的计费方式可能存在差异（例如，基于 token 数量、时长等），因此直接比较价格时需要考虑这些因素。
OpenAI 发布的 gpt-4o-transcribe 等新语音模型，在语音转录领域展现出强大实力和潜力。虽然目前主要面向开发者，但其在提升语音交互体验方面的价值不容忽视。未来，随着技术发展，我们或能看到更多令人惊喜的语音 AI 应用涌现。
