音视频进阶教程-SEI直播补充增强信息实现

1 SEI功能简介

在音视频流媒体应用中,除了可以流媒体通道推拉音视频内容外,还可以使用流 SEI(Supplemental Enhancement Information,媒体补充增强信息)通过流媒体通道将文本信息与音视频内容打包在一起,从主播端(推流端)推出,并从观众端(拉流端)接收,以此实现文本数据与音视频内容的精准同步的目的。

一般可用于视频画面的精准布局、远端歌词同步、直播答题等应用场景。

SEI 的相关概念及原理请参考 如何理解和使用 SEI(媒体补充增强信息)。

适合对消息发送有较高频率和实时性要求,且消息丢失不会影响业务逻辑时,推荐使用 SEI(Supplemental Enhancement Information,媒体补充增强信息)。

2 SEI示例源码下载

请参考 下载示例源码 获取源码。

相关源码请查看 “/ZegoExpressExample/Examples/Others/SupplementalEnhancementInformation” 目录下的文件。

3 实现SEI之前的前提条件

在实现 SEI 功能之前,请确保:

  • 已在项目中集成 ZEGO Express SDK,实现基本的实时音视频功能,详情请参考快速开始 - 集成​ 和快速开始 - 实现视频通话。
  • 已在ZEGO 控制台​ 创建项目,并申请有效的 AppID 和 AppSign,详情请参考控制台 - 项目管理 中的“项目信息”。

4 SEI接口使用步骤

发送与接收 SEI 信息功能需要推流和拉流端配对使用才能展示效果,即需要在推流端发送 SEI 信息,拉流端接收 SEI 信息。以下内容将介绍各端如何使用发送与接收 SEI 信息功能。

音视频进阶教程-SEI直播补充增强信息实现

主播推流发送 SEI 消息调用流程如下:

  1. 调用​​createEngine​​ 接口创建 engine 对象。
  2. 调用​​loginRoom​​ 接口登录房间。
  3. 调用​​startPublishingStream​​ 接口推流。
  4. 在推流成功后,调用​​sendSEI​​ 接口发送 SEI 信息。

观众拉流接收 SEI 消息调用流程如下:

  1. 调用​​createEngine ​​ 接口创建 engine 对象。
  2. 创建​​IZegoEventHandler​​​ 对象,并重写接收 SEI 信息的​​onPlayerRecvSEI​​​ 方法,调用​​setEventHandler​​​ 接口传入创建的​​IZegoEventHandler​​​ 监听​​onPlayerRecvSEI​​ 的回调。
  3. 调用​​loginRoom​​ 接口登录房间。
  4. 调用​​startPlayingStream​​ 接口拉流。
  5. 在拉流成功后,接收到推流端发送的 SEI 信息之后触发​​onPlayerRecvSEI​​​ 回调。
    拉流时,如果开发者通过调用​​​mutePlayStreamVideo​​​ 或​​muteAllPlayStreamVideo​​ 接口,设置了只拉音频流时,将无法接收 SEI 信息。

4.1 (可选)设置 SEI 类型

设置 SEI 类型

由于 SDK 默认使用 ZEGO 自行定义的 SEI(nalu type = 6, payload type = 243)类型打包,且此类型是 SEI 标准未规定的类型,因此跟视频编码器或者视频文件中的 SEI 不存在冲突。但当开发者需要使用第三方解码器解码时(如 FFmpeg),会导致解不出正确的 SEI,此时需要在推流前调用 ​​setSEIConfig​​ 接口更换 SDK 发送 SEI 的类型,使用 UserUnregister 的 SEI(nalu type = 6, payload type = 5)类型打包。

仅当开发者使用第三方解码器解码 SEI 时需要执行该步骤。

  • 接口原型

/**
* 设置媒体增强补充信息(SEI)类型
*
* 必须在推流之前设置。
*
* @param config SEI 配置属性。默认使用 ZEGO 定义的 SEI 类型。
*/
public void setSEIConfig(ZegoSEIConfig config);
  • 调用示例

ZegoSEIConfig seiConfig = new ZegoSEIConfig();
// 采用 H.264 的 SEI (nalu type = 6,payload type = 5) 类型打包,因为视频编码器自身会产生 payload type 为 5 的 SEI,或者使用视频文件推流时,视频文件中也可能存在这样的 SEI,所以使用此类型时,用户需要把 uuid + content 当作 buffer 塞给 SEI 发送接口;此时为了区别视频编码器自身产生的 SEI, App 在发送此类型 SEI 时,可以填写业务特定的 uuid(uuid长度为16字节),接收方使用 SDK 解析 payload type 为 5 的 SEI 时,会根据设置的过滤字符串过滤出 uuid 相符的 SEI 抛给业务,如果没有设置过滤字符串,SDK 会把所有收到的 SEI 都抛给开发者。

seiConfig.type = ZegoSEIType.USER_UNREGISTER;

engine.setSEIConfig(seiConfig);

// 通过 advancedConfig 设置 uuid 过滤字段,设置之后 SDK 只会抛出前 12 个字节为开发者所设置 uuid 的 SEI
ZegoEngineConfig engineConfig = new ZegoEngineConfig();
// 其他用户通过 [onPlayerRecvSEI] 收到的 SEI 信息前 12 个字节一定是 zegozegozego,其他会被过滤
engineConfig.advancedConfig.put("unregister_sei_filter", "zegozegozego");
ZegoExpressEngine.setEngineConfig(engineConfig);

// 开始推流
engine.startPublishingStream("STREAM_ID");
```

4.2 直播推流方

发送 SEI 信息的接口需要在推流成功之后调用,接口原型如下:

  • 接口原型

/**
* 发送媒体增强补充信息
*
* 此接口可在开发者推流传输音视频流数据同时,发送流媒体增强补充信息来同步一些其他附加信息。
* 一般如同步音乐歌词或视频画面精准布局等场景,可选择使用发送 SEI。
* 当推流方发送 SEI 后,拉流方可通过监听 [onPlayerRecvSEI] 的回调获取 SEI 内容。
* 由于 SEI 信息跟随视频帧或音频帧,由于网络问题有可能丢帧,因此 SEI 信息也有可能丢,为解决这种情况,应该在限制频率内多发几次。
* 限制频率:1秒钟不要超过30次。
* SEI 数据长度限制为 4096 字节。
* @param data SEI 内容
*/
public void sendSEI(byte[] data)
  • 调用示例

/** 定义 SDK 引擎对象 */
ZegoExpressEngine engine;

ZegoEngineProfile profile = new ZegoEngineProfile();
/** 请通过官网注册获取,格式为 123456789L */
profile.appID = appID;
/** 请通过官网注册获取,格式为:@"0123456789012345678901234567890123456789012345678901234567890123"(共64个字符)*/
profile.appSign = appSign;
/** 通用场景接入 */
profile.scenario = ZegoScenario.GENERAL;
/** 设置app的application 对象 */
profile.application = getApplication();
/** 创建引擎 */
engine = ZegoExpressEngine.createEngine(profile, null);
// 登录房间
engine.loginRoom("roomid", new ZegoUser("userid_1"));
// 推流
engine.startPublishingStream("streamid");
// 开发者的其他业务逻辑
...;
// 在业务场景需要的时机发送 SEI 信息
engine.sendSEI("12345".getBytes());

4.3 直播拉流方

接收 SEI 信息的回调接口需要在拉流成功之后触发,接口原型如下:

  • 接口原型

/**
* 收到远端流的 SEI 内容
*
* 拉流成功后,当远端流调用 sendSEI 后,本端会收到此回调。
* 若只拉纯音频流,将收不到推流端发送的 SEI 信息。
* @param streamID 拉流的流 ID
* @param data SEI 内容
*/
public void onPlayerRecvSEI(String streamID, byte[] data){

}
  • 调用示例

/** 定义 SDK 引擎对象 */
ZegoExpressEngine engine;

ZegoEngineProfile profile = new ZegoEngineProfile();
/** 请通过官网注册获取,格式为 123456789L */
profile.appID = appID;
/** 请通过官网注册获取,格式为:@"0123456789012345678901234567890123456789012345678901234567890123"(共64个字符)*/
profile.appSign = appSign;
/** 通用场景接入 */
profile.scenario = ZegoScenario.GENERAL;
/** 设置app的application 对象 */
profile.application = getApplication();
/** 创建引擎 */
engine = ZegoExpressEngine.createEngine(profile, null);

// 创建 IZegoEventHandler 对象, 并重写 onPlayerRecvSEI 方法
IZegoEventHandler handler = new IZegoEventHandler(){
// 监听其他回调
...;

// 监听接收 SEI 信息的回调, 当发送端调用 sendSEI 发送信息时会触发此回调
public void onPlayerRecvSEI(String streamID, byte[] data) {
// 在这里实现业务场景相关的逻辑, 例如展现相关的UI等
...;
}

}
// 添加监听的回调对象
engine.setEventHandler(handler);
// 登录房间
engine.loginRoom("roomid", new ZegoUser("userid_2"));
// 拉流, canvas 为 ZegoCanvas 类型的索引 UI 渲染控件的对象
engine.startPlayingStream("streamid", canvas);
// 开发者的其他业务逻辑
...;
发表评论

相关文章