RTE 领域的发展,为视频编解码标准带来哪些新变化?
Vland x 声网|在元宇宙中共创实时互动的全新实践
声网入选《2022年度第二批上海市创新产品推荐目录》
随着科技的发展,智能锁成为城市家庭家居中的标配。据建博云网葵花大数据测算,2021年中国智能门锁市场家庭用户渗透率突破了 10% 大关,五年前这个数字只有 1%。
不仅如此,伴随经济和互联网技术的发展,用户对智能锁的要求不仅限于锁门的功能,而是有了更多样化的需求,如猫眼功能、可视对话、消息推送等服务,这些也成为用户在选购智能门锁的影响因素之一。
针对智能门锁的续航能力差、通话不顺畅、呼叫的视频画面出现慢、视频接通慢、视频卡顿、画面不清晰等用户抱怨的问题,声网的 IoT 解决方案进行优化和解决,可帮助企业在智能门锁场景中做到低功耗极速出图、低于400ms 的视频通话延迟、低卡顿、高连通率、多端互联互通,助力企业为用户提供更安全的智能家居。更多详情,可点击这里浏览。
近期,声网的音频算法团队 AI 降噪进行了升级,可有效消除相关咳嗽声,更好地保障线上互动场景中主播与用户的互动交流体验。
我们可以通过下方的音频更直观的体验声网 AI 降噪带来的咳嗽声消除的能力,我们将依次展示在线会议与在线K歌两个场景中消除咳嗽声后的对比效果。
除了咳嗽声的消除外,声网 AI 降噪针对各类业务场景的特殊噪声均做了针对性优化,具有较强的场景覆盖能力。例如,声网 AI 降噪可有效的解决同地多设备啸叫的问题。同时,AI 降噪算法是基于声网自研 AI 推理引擎实现,能同时在移动端、PC 端以高精度、高性能、低功耗方式运行。目前声网最新版本的 AI 降噪插件已经可以与最新的声网 SDK 配合使用,如您想进一步体验或者接入声网 AI 降噪,可通过官网电话咨询联系我们。更多详情,可点击这里浏览。
去年,声网与中国音像著作权集体管理协会(下文简称音集协)达成合作,提供直播中使用音乐录音制品的解决方案,同时引入音乐内容运营商敖拜音乐(AllBy Music)对歌曲进行 DRM(数字版权保护)支撑,有效帮助泛娱乐直播、游戏直播、带货直播等场景客户解决了音乐版权纠纷问题。
对于直播平台来说,网络红人需要在直播间中通过演唱、播放当下流行的热门歌曲来吸粉,但由于音乐版权问题,很多平台的热歌不能随便使用。直播平台要想安全合规上架热歌,就得获得音乐权利人的授权,但由于音乐版权涉及的权利主体较多,版权复杂度高,也就造成平台热歌上新周期长、速度慢的问题。
今年,声网将继续在版权合规的基础上,推出直播场景的热歌搜索功能,进一步扩大热歌曲库覆盖率。对没有搜索到的热歌,用户可以进行歌曲提交反馈,如果歌曲热度足够,声网将最快在7天内进行上新。

目前,接入声网提供的直播场景背景音乐解决方案后,企业可享有覆盖音乐录音制品数量10 万+,市面热歌可达90% 以上覆盖,还包括歌词逐字逐句、高清封面等功能。同时,在内容运营上,声网还实时提供最新、最热的榜单管理,涵盖新歌榜、KTV 必唱榜、抖音热歌榜等,并对不良艺人的歌曲及时进行下架处理,进一步提升用户体验的同时也降低了企业负面信息传播的风险。更多详情,可点击这里浏览。
把 ChatGPT 加入 Flutter 开发,会有怎样的体验?
ChatGPT 最近一直都处于技术圈的讨论焦点。它除了可作为普通用户的日常 AI 助手,还可以帮助开发者加速开发进度。而声网的 SDK 就是为了加速 RTC 开发而生的。当两者碰撞在一起能让开发过程发生怎样的变化?我们声网社区的一位开发者就将 ChatGPT 与声网 SDK 结合,做了这样一场实验,欢迎大家一起看看他的实践。
噪声抑制和去混响算法可消除视频会议、语聊房、游戏语音等众多场景中的背景噪声和混响干扰,提升复杂场景下的实时互动体验。
我们整理声网音频算法专家吴渤在 RTE 2022 大会的演讲。他在演讲中主要介绍降噪和去混响的应用场景和技术演进、声网 AI 降噪和去混响系统的设计方案、性能特点、增强效果和竞品对比等。点击这里,阅读原文。
随着 RTC 技术的发展和应用,越来越多的场景都需要接入 RTC 的能力。尤其是随着编码技术、设备能力的迭代,应用场景对视频分辨率、帧率、色彩还原提出了更高的要求。

声网 RTC 在 UHD 视频 4K60FPS、HDR 方面做了一些工程实践和探索,主要应用在教育双师、高端会议、体育运动等场景。在文章中,他介绍了声网 UHD 视频的技术支撑,探讨了 4K60FPS、 HDR 产品化上遇到卡顿、设备适配相关的典型问题。点击这里,阅读原文。
声网的开源项目 Flat 开源教室目前已获得了很多开发者的关注,在 Github 上已有 4.4k 星。在此基础上,我们也推出了便于快速接入的商用版本 Fastboard ,以及支持更多定制化空间的 White SDK。

声网社区的开发者“tjss” 在社区征文活动中分享了一个他的实践。他基于Vue、声网的互动白板的代码模板,搭建出了一个支持多人互动的数独游戏。他在文章中记录了他的实现过程,大家可以点击这里,跟着作者的视角开始一场“白板应用开发之旅”。
RTE 领域的发展,为视频编解码标准带来哪些新变化?
1990 年左右 H.261 标准的制定,开启了视频编解码标准化的历程。视频编解码标准在这几年也在不断推陈出新,更高效的编码算法,更清晰的画质,支持更多的应用场景。
到目前为止,视频编码领域主要还有三大组织在制定标准。他们分别是制定 H.26x 系列的编解码标准的 ITU-T 和 MPEG 联合的组织,制定 Avx 系列的编解码标准的以 Google 为首的 AOM 联盟以及制定 AVSx 系列的编解码标准的中国专家组。
RTE 里的视频应用场景和普通应用场景最明显的区别,在于对视频的端到端延时要求。普通的视频点播因为没有互动的需求,所以基本不关注延时的问题。而在 RTE 场景中通常会涉及到大量的交互与互动,因此对延时有着极高的要求,一般要求至少是在300ms 以内。并且因为超低延时的限制,导致编码的输出码率对网络带宽的变化要更为灵敏。一系列问题的提出,也让编解码标准的发展产生了变化。想了解这一历程,可以点击这里阅读更多。
新一期的社区有奖征文开始了。本期的征文主题是「做减法」!可以聊聊你在日常开发工作中做过哪些减法?或者有哪些做减法的技巧与经验?例如,减少垃圾代码的堆叠和输出,抽象到更高的层面来进行程序设计;减少无用的沟通,用更高效的方式进行项目协作……
早在 2020 年我们就推出了社区激励机制,希望通过邀请热爱前端开发、关心音视频领域发展、愿意将所思所学与大家进行分享的开发者群体,与声网 & 声网 RTE 开发者社区一起共建社区生态。
为了让大家更好的了解社区活动、更好的参与社区共建,近期我们对共建计划重新进行了梳理和升级,更清晰的共建路线、更丰富的共建激励。点击这里,了解积分计划及奖励。
2023 年开年,一款名为《鹅鸭杀》(Goose Goose Duck)的社交游戏异军突起,不仅吸引了很多萌新玩家,还让各大平台的知名游戏主播们沉迷其中,与粉丝们一起夜夜开黑。
鹅鸭杀的场景与太空狼人很相似,所以可以基于声网 RTC、消息信令服务实现其核心功能,包括角色控制、语音通话等。更多详情,可点击这里浏览。
北京时间2月28日,声网母公司 Agora,Inc.(NASDAQ: API) 公布了 2022 年第四季度及全年财报。财报显示,第四季度 Agora,Inc.实现营收 4010 万美元,全年总营收 1.61 亿美元。
得益于在其他多个行业和地区的业务扩张及用量增长,在不包含特定市场受到监管政策影响的 K12 教育收入的情况下,Agora,Inc.2022 年第四季度调整后营收为 4010 万美元,同比增长 16%,2022年全年调整后营收为 1.58 亿美元,同比增长 24%。
客户规模方面,截至 2022 年12 月 31 日,Agora,Inc.全球注册应用超 54.8 万,同比增长 35%;全球活跃客户数量达 3066个,同比增长 15%。点击这里,查看详细财报。
1月17日,由中国信息通信研究院(以下简称“中国信通院”)主办的主题为“智创内容,元启未来”元宇宙创新探索论坛在线上顺利召开。会上,中国信通院发布了第二批数字人产品评测结果,声网数字人在技术能力、工程化能力、安全保障等三方面顺利通过评测,成为拥有权威认证的数字人厂商之一。
Vland x 声网|在元宇宙中共创实时互动的全新实践
超音速永久创业伙伴(超音速 F21 期)Vland云现场是一个企业虚拟空间即服务平台,支持企业搭建虚拟空间并举办元宇宙活动,将音视频体验融入虚拟空间。2022年,Vland使用声网为音视频技术服务商,全年共支持企业元宇宙活动5,000+场。同时,Vland将声网技术应用于虚拟空间的多种音视频使用场景,为用户呈现丰富的在线互动场景和身临其境体验。
作为超音速永久创业伙伴,Vland云现场还和声网一起探索了128人超级互动频道+空间音频+互动白板等全新技术在虚拟活动场景下的应用,进一步挖掘了音视频技术在元宇宙领域的实践应用。
声网入选《2022年度第二批上海市创新产品推荐目录》
2月初,上海市经济和信息化委员会发布了《2022年度第二批上海市创新产品推荐目录》,声网实时互动音视频API平台成功入选,成为上海市重点推荐产品。
《上海市创新产品推荐目录》旨在促进创新产品的市场化、产业化和规模化,培育新动能,发展新经济,全力打响“上海制造”品牌,推进上海产业高质量发展,并可作为政府采购、企事业单位采购、资金资助及投融资机构投资决策的重要参考。声网实时音视频API平台的入选,将助力推动数字化能力与应用建设,更好地服务上海全面推进在线新经济和城市数字化转型战略,作为上海城市数字底座的一个重要板块,全面赋能城市复杂系统,大力提升城市创新能级。