
声网 Native RTC SDK 4.0.0 版本已正式上线官网,支持 Android、iOS、Windows、macOS 平台。4.0.0 SDK 提供了更高的开发灵活度,可明显提升实时场景开发效率,并让第三方插件开发更容易。同时,该版本新增了多项新功能,详情如下。
支持多路媒体流,复杂场景更易实现
该版本支持通过设置 ChannelMediaOptions,实现一个 IRtcEngine 实例同时采集多路音视频源并发布到远端,适应各种业务场景。以视频为例,4.0.0 SDK 支持发布多条外部视频流到任意频道,包括多路摄像头采集,多路屏幕采集,自渲染。每一路不同的视频源,可分别进行视频的前处理,例如剪裁、美颜、水印、镜像等,之后再进入编码、传输的后续流程。

这个功能可以让一些很复杂的场景,更易于开发,比如采用多机位拍摄的直播带货场景,还有需要采用多路视频推流的在线教育场景,还有需要多路视频实时编辑混流的直播助手,以及更多复杂场景。
内置媒体播放器,包体积更小
在 FM 电台、互动游戏房间、一起看电影、一起 KTV、一起听歌、电商直播,以及一些在线教育、IoT 的实时互动场景中,都会出现输入多种视频源的情况,例如在“一起 KTV”场景中,需要播放本地或在线音乐,并将音乐分享给远端的用户。针对这种情况,我们以往会提供 Media Player Kit 作为媒体播放器,但我们也发现,这种方式不仅开发周期长,而且在性能方面的表现也不够好。所以在 4.0.0 SDK 中,我们内置了媒体播放器。
经过我们与部分客户的实际测试发现,内置媒体播放器相对旧方案的优势明显。首先,使用更简单了。开发者可直接通过 API 调用播放器,部分复杂场景的集成时间至少能减少 1 周,而且音视频流的管理更加容易。同时,基于内置媒体播放器实现的场景,包体积可比旧版本减少 30% 左右。详细接口与参数设置,请见声网文档中心,搜索 createMediaPlayer方法或 IMediaPlayer 类。
云市场插件一站式解决方案
为在声网 SDK 的基础上增强实时音视频互动性,该版本支持声网云市场插件的一站式解决方案,对于使用 SDK 的开发者来讲:
● 方便集成:只需执行简单统一的 API 即可实现模块化功能的集成,将实时互动模块集成效率提高约 95%。
● 可扩展性设计:模块化和可扩展的 SDK 设计风格赋予了声网 SDK 良好的可扩展性,更有利于开发者基于声网云市场插件生态快速搭建好用的实时互动应用。
● 打造生态系统:可容纳众多开发者的实时音视频 App 社区,提供多种扩展组合。添加并开启云市场插件后,开发者可以实现更为丰富的实时音视频互动功能,详情请访问声网文档中心,搜索“实现插件功能”。
对于想开发插件的合作伙伴和开发者来讲:
● 助力服务商:支持服务商将技术产品以插件的形式与声网 SDK 做技术上的融合,在声网云市场中展示并售卖,与声网一起共建开发者的实时互动生态系统。经过我们与合作伙伴的测试,基于 4.0.0 SDK 开发插件的效率,比 3.7 版本提高了 84%。关于如何开发和发布插件,请访问声网文档中心,搜索“服务商流程”。
超高清分辨率
为提升视频互动体验,4.0.0 SDK 对视频采集、编码、解码、渲染全流程做出了优化,自该版本起支持 4K 分辨率。为了降低 4K 场景下的视频卡顿率,我们优化了 FEC(Forward Error Correction)算法,可根据视频帧包数与帧率进行自适应切换。
你可以在调用 setVideoEncoderConfiguration 时,设置编码分辨率为 4K (3840 × 2160)、帧率为 60 fps。当你的设备不支持 4K 时,SDK 支持自动回退到适合的分辨率和帧率。
请注意:该功能对设备性能和网络带宽有一定要求,在不同的平台上支持的上下行帧率也不同,如需体验该功能,请登录声网控制台提交工单。
3 项新功能提升音频体验
为了能提供更沉浸的音频体验,并支持更多实时互动场景,我们在 4.0.0 SDK 中,带来了 3 项新功能。
首先是新的 AI 降噪。我们在 3.7 版本中已经提供了基础的 AI 降噪功能,而 4.0.0 中的新版 AI 降噪具有更好的人声保真度、更干净的噪声抑制,并新增了去混响(Dereverberation)能力。如视频所展示的,是新版 AI 降噪的处理效果。我们在此之前也做过技术分享,可点击这里阅读。
另一个新功能就是空间音效。它在语聊房、在线游戏、虚拟演唱会,以及其它元娱乐场景中,可以为用户带来更好的沉浸感。4.0.0 SDK 目前支持 Android 和 iOS 平台。开发者可通过两种不同方式来设置空间音效。详细方法请访问声网文档中心搜索。
请注意:如需开通空间音效功能,或体验新版 AI 降噪,请联系 sales@agora.io,如果需要技术支持,请提交工单。
第三个就是超高音质。针对语聊房、在线 K 歌等对人声质量要求较高的场景,4.0.0 SDK 在 VOICE_BEAUTIFIER_PRESET 中新增 ULTRA_HIGH_QUALITY_VOICE。在语聊、歌唱等以人声为主的场景中,你可以调用 setVoiceBeautifierPreset 并使用该枚举体验超高音质。通过该功能,用户可以分辨出更多细节,从而实现听感的丰富和提升。
支持垫片推流
该版本新增垫片推流功能,即支持在发流时使用本地图片来替代当前发布的视频流画面进行推流。例如,在电商直播、线上活动等场景中,当需要直播间隙需要把视频画面替换为广告图片或背景图的时候,可以启用该功能,而当关闭垫片功能后,观众看到的仍然是你的视频画面。
快速切换频道
该版本通过 leaveChannel 和 joinChannel 切换频道即可实现和 v3.7.0 中 switchChannel 一样的切换速度,无需额外调用 switchChannel 方法。经过我们的测试对比,基于 4.0.0 SDK 的方法,视频场景下离开频道的速度相比 3.7 SDK 有大幅提升。如果用户在例如互动直播、电商直播、视频聊天等场景中频繁切换频道,基于 4.0.0 SDK 切换速度更快,用户可以得到更顺畅的交互体验。
获取本地人声音调,实现唱歌评分功能
该版本在 onAudioVolumeIndication 的 AudioVolumeInfo 中新增 voicePitch 参数。开发者可以通过 voicePitch 获取本地用户的人声音调。基于这些人声音调,可以实现很多不同的业务,例如实现唱歌评分。
为了能支持开发者探索新场景,以及拓展现有产品的使用场景。我们从多个维度对 4.0.0 SDK 进行了优化。
在延时方面,4.0.0 SDK 较上一个版本优化了 60 - 80ms,体验得到大幅提升,尤其是在弱网环境中。例如,在大型商超、机场、火车站、咖啡店等 Wi-Fi 带宽受限的环境下,4.0.0 SDK 的音频在用户主观评分与 3.7 SDK 保持同一水平的情况下,延时平均降低了 100ms,相比绝大部分竞品更低。这意味着,许多习惯于在这类环境中收听音频 FM、语音聊天室、语音通话的用户能获得更好的音频交互体验。
在丢包方面,视频丢包边界从 70% 提升到 80%,在 80% 的丢包率下,仍可进行正常的视频互动。
在卡顿率方面,4.0.0 SDK 比目前绝大部分竞品低 10% 左右。与声网 3.7 版 SDK相比,屏幕共享场景的卡顿率降低了 5%,即使在弱网环境下屏幕共享的体验也得到了明显提升。
除了以上信息,4.0.0 SDK 还有更多新增特性与改进,详情请点击「阅读原文」访问声网文档中心,查看发版公告。我们还将围绕新功能,后续开展一系列讲解体验活动,明天将通过「声网开发者」微信订阅号开启报名,敬请期待。

