

干货|浅谈iOS端短视频SDK技术实现

京东云开发者

2019-12-19

导读：一个优秀短视频SDK的自我修养

短视频SDK主要包含 “视频录制”和“视频编辑”这两个核心功能。

视频录制包括：视频采集、美颜、滤镜、摄像头切换、视音频采集参数设置等功能；

视频编辑包括：视频导入、合成、特效、滤镜、字幕、贴纸、音乐、播放、导出等功能。

一、短视频SDK框架

如上图所示，短视频SDK的技术框架分为三个层级，分别为核心处理层、业务逻辑层和业务接口层：

核心处理层：负责短视频底层的技术实现，包括媒体组合、GPU数据输入、视频过渡、视频特效、视频像素、添加字幕/贴纸、图像转视频、GPU数据、音视频处理、音频混响、音频调节、音频延时、视频预览和媒体合成；
业务逻辑层：负责短视频业务逻辑的实现，包括录制逻辑处理和编辑逻辑处理两部分，具体包括素材时间线管理、音频时间线管理、过渡效果管理、字幕图层管理、贴纸图层管理和视频特效管理；
业务接口层：负责向上业务的对接，包括录制接口和编辑接口。

二、视频录制

视频录制的实现流程就如上图所示，首先开启采集摄像头进行画面以及声音的采集，在采集过程中支持分别对采集的数据进行视频处理和音频处理，包括滤镜、降噪、添加贴纸、混音等，处理完成后进入视频编辑环节，最终通过ffmpeg编码并生成MP4文件。视频录制全程采用了GPU以及硬件编码，使得CPU使用率非常低，即使在性能较差的手机上也能很好的运行。

三、视频编辑

视频编辑是指对录制或选定的视频内容进行编辑处理，其业务流程为先将需要编辑的视频内容进行导入，然后在分别进行视频和音频处理，包括添加滤镜、字幕、贴纸、视频裁剪及复制、视频变速及旋转、添加背景音乐、混音等，处理完的音视频可进行媒体即时预览，最后将编辑完成的媒体文件进行合成并导出。

1、视频处理

视频处理的实现流程如上图所示，将输入的视频内容进行裁剪、分割、复制、旋转、滤镜等视频过渡和特效处理，此外还支持添加字幕和贴纸，处理后的视频内容通过混合器进行混合，最后编码输出。

视频处理主要是利用ffmpeg进行相应的处理，将原始的视频进行解码，然后将解码后的YUV数据映射到GPU的纹理上进行相应的参数调节，然后将调好的参数配置进行编辑处理。

2、音频处理

音频处理的实现流程如上图所示，首先需要从视频源中分离出音频轨道，形成原生的音频轨道，然后将添加的背景音乐的音频轨道插入原声的音频轨道中，通过调整原声和背景音乐的音量，形成原始音频和背景音乐的混合，最后通过媒体合并将混合后的音频轨道与处理完的视频轨道进行相关类合成。

3、媒体预览

媒体预览的实现流程如上图所示，将视频内容、音频内容和背景音乐等可变内容通过自定义合成线程进行处理，包括信息传递、过渡等，最后对处理后的视音频通过播放器进行即时预览。

4、媒体合成

媒体合成的实现流程如上图所示，首先按照时间链读取处理后的需要合并的多个视频内容和混音后的音频内容，然后开始分别对视频内容和音频内容进行合并，合并实现方式为对视频内容和音频内容做基于ffmpeg的编码，将编码后的视音频合并为整体的媒体文件，最后对外输出合并后mp4文件。

四、短视频应用场景

1、电商产品展示

商家端可通过短视频SDK将拍摄的视频或图片快速进行合并、裁剪和编辑，配合字幕、贴纸、音乐等特效，制作商品展示短片，更形象的展示商品，提升用户购物体验。结合京东云点播产品和播放器SDK，可形成完成的短视频端到端解决方案。

2、社交创意分享

短视频有助于用户更生动的表达观点，传递更真实的场景。此外还可通过美颜、滤镜、字幕、贴纸等特效，合并和剪辑等功能来制作新的视频，将个人创意或焦点内容合成一个新的短视频，提高视频热点和点击率。

总结

以上就是iOS端短视频SDK 的主要技术实现方式，京东云短视频SDK配合云端视频点播产品，可为客户提供完整的短视频解决方案，帮助用户聚焦业务本身的同时能够快速具备短视频业务支撑的能力，欢迎大家在京东云官网体验短视频DEMO和下载集成。

点击【阅读原文】，了解更多“短视频SDK详情”

【声明】内容源于网络

京东云开发者

京东云开发者（Developer of JD Technology）是京东科技集团旗下为AI、云计算、IoT等相关领域开发者提供技术分享交流的平台。平台将发布京东产品技术信息、行业技术内容、技术活动等资讯。拥抱技术，与开发者携手预见未来！

内容 1310

粉丝 0

京东云开发者京东云开发者（Developer of JD Technology）是京东科技集团旗下为AI、云计算、IoT等相关领域开发者提供技术分享交流的平台。平台将发布京东产品技术信息、行业技术内容、技术活动等资讯。拥抱技术，与开发者携手预见未来！

总阅读449

粉丝0

内容1.3k