📣
-
TEN (Transformative Extensions Network,https://doc.theten.ai)是一个平台型开源框架,能够让开发者一站式快速、灵活的搭建属于自己的多模态实时互动 AI agent,这个框架包括了基于 Rust 语言开发的 all-in-one TEN manager,支持实时互动的多模态标准协议,支持多种编程语言混合使用的 TEN Runtime,用于可视化低代码编排逻辑的 Graph Designer,以及支持社区公开发布、分享的 Extension Store,供开发者在构建 AI Agent 的过程中即插即用地挑选心仪的模块灵活替换。
-
Astra (https://theastra.ai/)则是一个用 TEN 开发的多模态实时互动的 demo AI Agent,玩家可以通过语音与 LLM 进行交互,还可以通过摄像头和 Astra 进行对话,同时也支持基于特定知识库内容回答问题(RAG)。Astra 完全开源,供社区使用。
🏃🏃
https://github.com/rte-design/ASTRA.ai
导师们照例是选手的大后方,陪选手们奋斗到深夜,因为此刻正是❓(问题)与⚡️(灵感)最充沛的时候。
我和 RTE 开发者社区的伙伴鲍勃也尝试用 TEN 跑了一个自己的实时白板 Agent。下面这个是晚上 12 点在会场响起的声音,鲍勃基于 Astra 的视频理解能力,调用 OBS 虚拟摄像头,录制白板软件,做了一个白板互动 Agent的 demo。
☀️
每场黑客松必跟选手一起熬夜的 plutoless ,他的保留节目就是拍摄黑客松清晨的阳光。
24 小时实在是很短暂,最终有十几个组别提交了完整作品。其中两组获得我们颁发的最佳创意奖,各拿走四千元奖金!
XR Agent 结合 TEN 框架与 Rokid 硬件,构建了一个可跨平台控制与对话的语音助理,允许用户下达语音指令来完成操作,他们还额外开发了 TEN 可用的插件。团队成员基于对 AR 技术的兴趣,将眼镜想象成一个控制流集成终端,搭配 voice agent 提供的智能与命令进行无缝切换,来提升人机交互体验。
小智旅行助手为旅游者提供全方位的陪伴,在 TEN 框架下调用高德地图 API,以更自然的语音交互的方式提供基于用户偏好和位置的智能餐厅推荐,以及旅游地点推荐与天气预警等等。小智团队的成员都是初次见面的网友,但都热爱旅游,所以这个项目的初心是让 J 人更有条理,P 人无计划也不慌乱。
我们的技术合作方也选出了各自的最佳实践奖,包括 AI 宝藏猎人、AI 情感交流、文物探秘、生息、插班生、XR Agent、红酒风味、赛博按摩师等团队。
马拉松跑到了最后,这次赛程当中,也有很多队伍给人留下深刻印象。比如 AI 宝藏猎人是临时组队,但把大家的兴趣点很好地融合在一起;生息对 AI 游戏与冥想的结合非常有热情;赛博按摩是因为有选手经常在照顾家里老人而选择的产品方向。
而比赛的结束,是社区旅程的开始;已经有一些朋友开始更深度地成为社区一员,像 Sam 就为 Astra 的 Github 页面提供了韩语版的 readme,并且提交了几个 issue。
最后,如果有可能,大家下一场黑客松再见👋
接下来,在 Github 上搜索 ASTRA.ai,为我们点 🌟,你可以持续获得 TEN 与 Astra 的最新进展。也欢迎联系 Elliot(微信 cyfyifanchen)加入社群。
https://github.com/rte-design/ASTRA.ai
RTE 开发者社区也会持续关注 voice AI 和语音驱动的下一代人机交互界面,并且会举办线下或线上开发者 meetup 活动。如果你对此有浓厚兴趣,也期待和更多开发者交流,欢迎加入我们的社区(加微信 bob_fu),一同探索人和 AI 的实时互动新范式。



