大数跨境
0
0

第一时间接入 OpenAI Realtime API !使用 TEN Framework 快速搭建 Voice AI丨含体验链接

第一时间接入 OpenAI Realtime API !使用 TEN Framework 快速搭建 Voice AI丨含体验链接 RTE开发者社区
2024-10-04
2
导读:访问 agent.theten.ai 立刻体验 Realtime API

OpenAI Realtime API 发布,Voice AI 即将迎来新一次爆发。

Realtime API 让开发者可以构建近乎实时的「语音到语音」(speech-to-speech)的体验,无需将多个模型拼接在一起进行转录、推理和文本到语音的转换,实现更流畅的打断体验,无缝切换多种语言。

在早期 alpha 阶段,已有部分应用将 Realtime API 集成到产品中,如营养和健身指导应用 Healthify 和语言学习平台 Speak。

使用
TEN Framework,你也可以快速搭建属于自己的 Voice AI

TEN Framework Github 仓库第一时间添加了 Realtime API beta 的 extension。现在访问 https://agent.theten.ai 立刻体验接入 Realtime API beta 的最新版本 TEN Agent!

TEN Agent 支持 Voice、Vision、RAG 等多种模式


TEN (Transformative Extensions Network) Framework 是一个平台型开源框架,能够让开发者一站式快速、灵活地搭建属于自己的多模态实时互动 AI Agent。

除了第一时间添加了 Realtime API beta 的 extension,框架还包括以下特点:

  • 基于 Rust 语言开发的 all-in-one TEN manager

  • 支持实时互动的多模态标准协议

  • 支持 Python、Go、C 等多种编程语言混合使用的 TEN Runtime

  • 用于可视化、低代码编排逻辑的 Graph Designer

  • 支持社区公开发布和分享的 Extension Store,供开发者在构建 AI Agent 的过程中即插即用地挑选心仪的模块,并灵活替换。

更多介绍请参看:《
一个真正意义上的实时多模态智能体框架,TEN Framework 为构建下一代 AI Agent 而生


发布会后,AI 媒体「AI 寒武纪」评论了 Realtime API 出现的重要意义:

  1. 解锁实时交互体验: 之前的 API 调用模式是「请求-响应」式的,用户需要等待模型处理完请求后再给出响应,这在某些场景下会造成延迟,影响用户体验。Realtime API 通过 WebSocket 实现了实时双向通信,让 AI 应用能够像人类一样进行实时对话,极大地提升了用户体验,例如在语音助手、在线教育、游戏等场景中,实时交互至关重要。

  2. 降低开发门槛,促进 AI 应用创新: 以前,开发者要构建语音对话应用,需要将语音识别、文本生成和语音合成等多个模型串联起来,开发流程复杂,难度较高。Realtime API 简化了开发流程,开发者只需调用一个 API 就能实现语音对话功能,这将大大降低 AI 应用的开发门槛,并促进 AI 应用的创新。开发者可以更专注于应用逻辑和用户体验的设计,而无需担心底层技术的复杂性。

  3. 拓展 AI 应用场景:Realtime API 的实时交互能力,为 AI 应用开辟了更广阔的应用场景。除了语音助手和在线教育,它还可以应用于游戏、虚拟现实、增强现实等领域,例如,在游戏中,AI 可以作为 NPC 与玩家进行实时对话;在 VR/AR 中,AI 可以作为虚拟人物与用户进行互动。

  4. 推动 AI 技术发展:Realtime API 的发布,也促进了 AI 技术本身的发展。为了实现实时交互,OpenAI 需要不断优化模型的推理速度和效率,并改进 AI 的自然语言理解和生成能力。这将推动 AI 技术朝着更强大、更智能的方向发展。

「降低 AI 应用开发门槛,促进 AI 应用创新」,也正是 TEN Framework 创建的初心。作为一个开源项目,也欢迎更多开发者加入 TEN Framework 社区参与贡献。

欢迎关注 TEN Framework 的网站 www.theten.ai,加入 Discord 社区,和大家一起交流探讨。

TEN Discord


你还可以通过以下平台找到 TEN Framework

GitHub:
https://github.com/TEN-framework/ten_framework

Discord: 

https://discord.gg/VnPftUzAMJ

X(推特): 

https://x.com/TenFramework

Medium: 

https://ten-framework.medium.com/

Reddit: 

https://www.reddit.com/r/TenFramework/

邮箱:
developer@theten.ai

即刻访问 TEN Agent
体验 OpenAI Realtime API 👇

https://agent.theten.ai

尽情享受 TEN 框架
让你的实时多模态 AI 智能体栩栩如生!




RTE 开发者社区持续关注 voice AI 和语音驱动的下一代人机交互界面。如果你对此也有浓厚兴趣,也期待和更多开发者交流(每个月都有线上/线下 meetup),欢迎加入我们的社区(加微信 bob_fu),一同探索人和 AI 的实时互动新范式。


【声明】内容源于网络
0
0
RTE开发者社区
RTE 开发者社区是聚焦实时互动领域的中立开发者社区。不止于纯粹的技术交流,我们相信开发者具备更加丰盈的个体价值。行业发展变革、开发者职涯发展、技术创业创新资源,我们将陪跑开发者,共享、共建、共成长。
内容 1122
粉丝 0
RTE开发者社区 RTE 开发者社区是聚焦实时互动领域的中立开发者社区。不止于纯粹的技术交流,我们相信开发者具备更加丰盈的个体价值。行业发展变革、开发者职涯发展、技术创业创新资源,我们将陪跑开发者,共享、共建、共成长。
总阅读1.4k
粉丝0
内容1.1k