• 实时音视频
    • 实时音视频>客户端 API>iOS

    iOS

    编辑文档 更新于
    概况BRTCBRTCDelegateBRTCDeviceManagerBRTCBeautyManagerBRTCMediaPlayerManager对象和枚举错误码

    BRTCDelegate

    回调 描述
    onConnectionLost SDK 跟服务器的连接断开
    onConnectionRecovery SDK 跟服务器的连接恢复
    onEnterRoom 加入房间成功与否的回调
    onError 错误回调
    onExitRoom 离房回调
    onFirstAudioFrame 开始播放远程用户的首帧音频
    onFirstVideoFrame 开始渲染本地或远程用户的首帧画面
    onMicDidReady 麦克风准备就绪
    onMissCustomCmdMsgUserId 自定义消息丢失回调
    onRecvCustomCmdMsgUserId 收到自定义消息回调
    onRecvSEIMsg 收到 SEI 消息的回调
    onRemoteUserEnterRoom 有用户加入当前房间
    onRemoteUserLeaveRoom 有用户离开当前房间
    onScreenCapturePaused 屏幕分享暂停的事件回调
    onScreenCaptureResumed 屏幕分享恢复的事件回调
    onScreenCaptureStarted 屏幕分享开启的事件回调
    onScreenCaptureStoped 屏幕分享停止的事件回调
    onSendFirstLocalAudioFrame 本地音频首帧已被发布出去
    onSendFirstLocalVideoFrame 本地视频首帧已被发布出去
    onStatistics 技术指标统计回调
    onNetworkQuality 本地、远端音视频流质量回调
    onSwitchRole 切换角色的事件回调
    onTryToReconnect SDK 正在尝试重新连接到服务器
    onUserAudioAvailable 某远端用户发布/取消了自己的音频
    onUserSubStreamAvailable 某远端用户发布/取消了辅路视频画面
    onUserVideoAvailable 某远端用户发布/取消了主路视频画面
    onUserVoiceVolume 音量大小的反馈回调
    onEnterBliveRoom BLive 进房回调
    onExitBliveRoom BLive 离房回调
    onBliveConnectionLost BLive 跟服务器的连接断开回调
    onBliveTryToReconnect BLive 正在尝试重新连接到服务器回调
    onBliveConnectionRecovery BLive 跟服务器的连接恢复回调
    onBliveSwitchRole BLive 切换角色的事件回调
    onMixStreamAdded BLive 添加混流任务回调
    onMixStreamRemoved BLive 移除混流任务回调
    onMixStreamUpdate BLive 更新混流任务回调
    onMixedNotification BLive 混流通知回调
    onBliveConflictLogin BLive 房间重复加入回调
    onStartTranscode BLive 开始转码回调
    onStopTranscode BLive 停止转码回调
    onRecvAIMsg 收到智能体消息回调

    BRTCAudioCallbackDelegate

    回调 描述
    onAudioCapturedRawAudioFrame 本地采集后的 PCM 数据回调
    onAudioLocalProcessedAudioFrame 本地采集并经过音频模块前处理（ANS、AEC、AGC）后的 PCM 数据回调

    BRTCLogDelegate

    回调 描述
    onLog 本地 LOG 的打印回调

    错误回调 

    - (void)onError:(int)errCode errMsg:(nullable NSString *)errMsg extInfo:(nullable NSDictionary*)extInfo;

    参数

    名称 描述
    errCode 错误码
    errMsg 错误信息
    extInfo 扩展信息字段，辅助定位问题

    详情

    SDK 不可恢复的错误，一定要监听，并分情况给用户适当的界面提示。

    加入房间成功与否的回调 

    - (void)onEnterRoom:(NSInteger)result;

    参数

    名称 描述
    result result > 0 时为进房耗时（ms），result < 0 时为进房错误码

    详情

    • 调用 BRTC 中的 enterRoom() 接口执行进房操作后，会收到来自 SDK 的 onEnterRoom(result) 回调。

    离房回调 

    - (void)onExitRoom:(NSInteger)reason;

    参数

    名称 描述
    reason 离开房间原因:
    0：主动调用 exitRoom 退房
    1：被服务器踢出当前房间
    2：当前房间整个被解散

    详情

    • 调用 BRTC 中的 exitRoom() 接口会执行退出房间的相关逻辑，例如释放音视频设备资源和编解码器资源等待资源释放完毕，SDK 会通过 onExitRoom() 回调通知到您。
    • 如果您要再次调用 enterRoom() 或者切换到其他的音视频 SDK，请等待 onExitRoom() 回调到来之后再执行相关操作，否则可能会遇到例如摄像头、麦克风设备被强占等各种异常问题。

    切换角色的事件回调

    - (void)onSwitchRole:(BRTCLiteAVError)errCode errMsg:(nullable NSString *)errMsg;

    参数

    名称 描述
    errCode 错误码，ERR_NULL 代表切换成功。
    errMsg 错误信息。

    详情

    • 调用SDK的 switchRole() 接口会切换主播和观众的角，主播具有上行能力，观众则不具备，待 SDK 切换完成后，会抛出 onSwitchRole() 事件回调。

    有用户加入当前房间

    - (void)onRemoteUserEnterRoom:(NSString *)userId;

    参数

    名称 描述
    userId 用户标识

    详情

    • onRemoteUserEnterRoom 和 onRemoteUserLeaveRoom 只适用于维护当前房间里的“成员列表”，如果需要显示远程画面，建议使用监听 onUserVideoAvailable() 事件回调。

    有用户离开当前房间

    - (void)onRemoteUserLeaveRoom:(NSString *)userId reason:(NSInteger)reason;

    参数

    名称 描述
    userId 用户标识
    reason 离开原因，0：表示用户主动退出房间；1：表示用户超时退出；2：表示被踢出房间。

    远端用户是否存在可播放的主路画面（一般用于摄像头） 

    - (void)onUserVideoAvailable:(NSString *)userId available:(BOOL)available;

    参数

    名称 描述
    userId 用户标识
    available 画面是否开启

    详情

    • 收到 onUserVideoAvailable(userid, YES) 通知时，表示该路画面已经有可用的视频数据帧到达，此时，您需要调用 startRemoteView(userid) 接口加载该用户的远程画面，然后，您会收到名为 onFirstVideoFrame(userid) 的首帧画面渲染回调。
    • 收到 onUserVideoAvailable(userid, NO) 通知时，表示该路远程画面已被关闭，可能由于该用户调用了 muteLocalVideo() 或 stopLocalPreview()。

    某远端用户发布/取消了辅路视频画面

    - (void)onUserSubStreamAvailable:(NSString *)userId available:(BOOL)available;

    参数

    名称 描述
    userId 用户标识
    available 该用户是否发布（或取消发布）了辅路视频画面，YES: 发布；NO：取消发布。

    详情

    “辅路画面”一般被用于承载屏幕分享的画面。当您收到 onUserSubStreamAvailable(userId, YES) 通知时，表示该路画面已经有可播放的视频帧到达。 此时，您需要调用 startRemoteSubStreamView 接口订阅该用户的远程画面，订阅成功后，您会继续收到该用户的首帧画面渲染回调 onFirstVideoFrame(userid)。

    远端用户是否存在可播放的音频数据 

    - (void)onUserAudioAvailable:(NSString *)userId available:(BOOL)available;

    参数

    名称 描述
    userId 用户标识
    available 声音是否开启

    详情

    当您收到 onUserAudioAvailable(userId, YES) 通知时，表示该用户发布了自己的声音，此时 SDK 的表现为

    • 在自动订阅模式下，您无需做任何操作，SDK 会自动播放该用户的声音。
    • 在手动订阅模式下，您可以通过 muteRemoteAudio(userid, NO) 来播放该用户的声音。

    开始渲染本地或远程用户的首帧画面 

    - (void)onFirstVideoFrame:(NSString *)userId streamType:(BRTCVideoStreamType)streamType width:(int)width height:(int)height;

    参数

    名称 描述
    userId 本地或远程用户 ID，如果 userId == nil 代表本地，userId != nil 代表远程
    streamType 视频流类型：摄像头或屏幕分享
    width 画面宽度
    height 画面高度

    详情

    • 如果 userId == nil，代表开始渲染本地采集的摄像头画面，需要您先调用 startLocalPreview 触发。
    • 如果 userId != nil，代表开始渲染远程用户的首帧画面，需要您先调用 startRemoteView 触发。
    • 调用 startLocalPreivew()、startRemoteView() 或 startRemoteSubStreamView() 之后，才会触发该回调。

    开始播放远程用户的首帧音频（本地声音暂不通知） 

    - (void)onFirstAudioFrame:(NSString *)userId;

    参数

    名称 描述
    userId 远程用户 ID

    首帧本地视频数据已经被送出 

    - (void)onSendFirstLocalVideoFrame:(BRTCVideoStreamType)streamType;

    参数

    名称 描述
    streamType 视频流类型，主画面、小画面或辅流画面（屏幕分享）

    详情

    • SDK 会在进入房间并 startLocalPreview() 及 muteLocalVideo：YES 成功后开始摄像头采集，并将采集到的画面进行编码传输，当 SDK 成功向云端送出第一帧视频数据后，会抛出这个回调事件。

    首帧本地音频数据已经被送出 

    - (void)onSendFirstLocalAudioFrame;

    详情

    • SDK 会在进入房间并 startLocalAudio 及 muteLocalAudio 成功后开始麦克风采集，并将采集到的声音进行编码，当 SDK 成功向云端送出第一帧音频数据后，会抛出这个回调事件。

    技术指标统计回调 

    - (void)onStatistics:(BRTCStatistics *_Nonnull)statistics;

    参数

    名称 描述
    statistics 统计数据，包括本地和远程的

    详情 该统计回调每间隔2秒抛出一次，用于通知 SDK 内部音频、视频以及网络相关的专业技术指标。

    • 视频统计信息：视频宽(width)，高(height)，接收帧率(frameRate)。
    • 音频统计信息：音频采样率(audioSampleRate)，音频发送码率(audioBitrate)等信息。
    • 网络统计信息：网络耗时(rtt)，上下行丢包率(loss)等信息。

    麦克风准备就绪

    - (void)onMicDidReady;

    详情

    当您调用 startLocalAudio 之后，SDK 会尝试启动麦克风，如果麦克风能够启动成功就会抛出本事件。 如果启动失败，大概率是因为当前应用没有获得访问麦克风的权限，或者麦克风当前正在被其他程序独占使用中。

    用于提示音量大小的回调,包括每个 userId 的音量和远端总音量 

    - (void)onUserVoiceVolume:(NSArray<BRTCVolumeInfo *> *)userVolumes totalVolume:(NSInteger)totalVolume;

    参数

    名称 描述
    userVolumes 所有正在说话的房间成员的音量，取值范围0 - 100
    totalVolume 所有远端成员的总音量, 取值范围0 - 100

    详情

    • userId 为 nil 时表示自己的音量，userVolumes 内仅包含正在说话（音量不为0）的用户音量信息

    SDK 跟服务器的连接断开 

    - (void)onConnectionLost;

    详情

    SDK 会在跟云端的连接断开时抛出此事件回调，导致断开的原因大多是网络不可用或者网络切换所致，比如用户在通话中走进电梯时就可能会遇到此事件。

    在抛出此事件之后，SDK 会努力跟云端重新建立连接，重连过程中会抛出 onTryToReconnect，连接恢复后会抛出 onConnectionRecovery 。

    SDK 尝试重新连接到服务器 

    - (void)onTryToReconnect;

    详情

    SDK 会在跟云端的连接断开时抛出 onConnectionLost，之后会努力跟云端重新建立连接并抛出本事件，连接恢复后会抛出。

    SDK 跟服务器的连接恢复 

    - (void)onConnectionRecovery;

    详情

    SDK 会在跟云端的连接断开时抛出 onConnectionLost，之后会努力跟云端重新建立连接并抛出 onTryToReconnect，连接恢复后会抛出本事件回调。

    回调每个媒体用户的连接质量评价级别

    - (void)onNetworkQuality:(NSArray<BRTCCollectionQuality *> *)qualityArray;

    参数

    名称 描述
    qualityArray 推、拉流质量评价详情，具体字段请参考 BRTCCollectionQuality

    详情

    • 此回调从 3.8.0 版本开始提供

    • 每 2 秒回调一次

    • qualityArray 媒体用户的连接质量评价信息，包含用户ID和级别。

    收到自定义消息回调 

    - (void)onRecvCustomCmdMsgUserId:(NSString *)userId cmdID:(NSInteger)cmdID seq:(UInt32)seq message:(NSData *)message;

    参数

    名称 描述
    userId 用户标识
    cmdID 命令 ID
    seq 消息序号
    message 消息数据

    详情

    • 当房间中的某个用户使用 sendCustomCmdMsg 发送自定义消息时，房间中的其它用户可以通过 onRecvCustomCmdMsg 接口接收消息。

    自定义消息丢失回调 

    - (void)onMissCustomCmdMsgUserId:(NSString *)userId cmdID:(NSInteger)cmdID errCode:(NSInteger)errCode missed:(NSInteger)missed;

    参数

    名称 描述
    userId 用户标识
    cmdID 命令 ID
    missed 丢失的消息数量

    详情

    • 实时音视频使用 UDP 通道，即使设置了可靠传输（reliable），也无法确保100%不丢失，只是丢消息概率极低，能满足常规可靠性要求。
    • 在发送端设置了可靠运输（reliable）后，SDK 都会通过此回调通知过去时间段内（通常为5s）传输途中丢失的自定义消息数量统计信息。
    • 只有在发送端设置了可靠传输（reliable），接收方才能收到消息的丢失回调。

    收到 SEI 消息的回调 

    - (void)onRecvSEIMsg:(NSString *)userId message:(NSData *)message;

    参数

    名称 描述
    userId 用户标识
    message 数据

    详情

    • 当房间中的某个用户使用 sendSEIMsg 发送数据时，房间中的其它用户可以通过 onRecvSEIMsg 接口接收数据。

    当屏幕分享开始时，SDK 会通过此回调通知 

    - (void)onScreenCaptureStarted;

    当屏幕分享暂停时，SDK 会通过此回调通知 

    - (void)onScreenCapturePaused:(int)reason;

    参数

    名称 描述
    reason 原因，0：用户主动暂停；1：屏幕窗口不可见暂停

    当屏幕分享恢复时，SDK 会通过此回调通知 

    - (void)onScreenCaptureResumed:(int)reason;

    参数

    名称 描述
    reason 恢复原因，0：用户主动恢复；1：屏幕窗口恢复可见从而恢复分享

    当屏幕分享停止时，SDK 会通过此回调通知 

    - (void)onScreenCaptureStoped:(int)reason;

    参数

    名称 描述
    reason 停止原因，0：用户主动停止；1：屏幕窗口关闭导致停止；2：其他异常原因。

    本地采集后的 PCM 数据回调

    - (void)onAudioCapturedRawAudioFrame:(BRTCCustomAudioFrame *)frame;

    参数

    名称 描述
    frame PCM 格式音频帧

    本地采集并经过音频模块前处理（ANS、AEC、AGC）后的 PCM 数据回调

    - (void)onAudioLocalProcessedAudioFrame:(BRTCCustomAudioFrame *)frame;

    参数

    名称 描述
    frame PCM 格式音频帧

    有日志打印时的回调 

    - (void)onLog:(nullable NSString*)log LogLevel:(BRTCLogLevel)level WhichModule:(nullable NSString*)module;

    参数

    名称 描述
    log 日志内容
    level 日志等级，参见 BRTCLogLevel
    module 值暂无具体意义，目前为固定值 BRTCSDK

    BLive 进房回调 

    - (void)onEnterBliveRoom:(NSInteger)result
       mixStreamTaskList:(NSArray<BRTCMixStreamTask *> *)mixStreamTaskList;

    参数

    名称 描述
    result BLive 进房结果，result > 0 时为进房耗时（ms），result < 0 时为进房错误码
    mixStreamTaskList 房间中存在的混流任务数组，详见BRTCMixStreamTask

    BLive 离房回调 

    - (void)onExitBliveRoom:(NSInteger)reason;

    参数

    名称 描述
    reason 离开房间原因

    BLive 跟服务器的连接断开回调 

    - (void)onBliveConnectionLost;

    BLive 正在尝试重新连接到服务器回调 

    - (void)onBliveTryToReconnect;

    BLive 跟服务器的连接恢复回调 

    - (void)onBliveConnectionRecovery;

    BLive 切换角色的事件回调 

    - (void)onBliveSwitchRole:(BRTCRoleType)roleType;

    参数

    名称 描述
    roleType 切换之后的角色，详见BRTCRoleType

    BLive 添加混流任务回调 

    - (void)onMixStreamAdded:(NSString *)streamId streamProp:(BRTCMixStreamAddressBean *)streamProp;

    参数

    名称 描述
    streamId 混流 ID
    streamProp 混流地址信息，详见BRTCMixStreamAddressBean

    BLive 移除混流任务回调 

    - (void)onMixStreamRemoved:(NSString *)streamId;

    参数

    名称 描述
    streamId 混流 ID

    BLive 更新混流任务回调 

    - (void)onMixStreamUpdate:(NSString *)streamId streamProp:(BRTCMixStreamAddressBean *)streamProp;

    参数

    名称 描述
    streamId 混流 ID
    streamProp 混流地址信息，详见BRTCMixStreamAddressBean

    BLive 混流通知回调 

    - (void)onMixedNotification:(NSString *)taskId customData:(NSString *)customData;

    参数

    名称 描述
    taskId 任务 ID
    customData 自定义数据

    BLive 房间重复加入回调 

    - (void)onBliveConflictLogin;

    BLive 开始转码回调 

    - (void)onStartTranscode:(NSString *)taskId;

    参数

    名称 描述
    taskId 任务 ID

    BLive 停止转码回调 

    - (void)onStopTranscode:(NSString *)taskId;

    参数

    名称 描述
    taskId 任务 ID

    收到智能体消息回调 

    - (void)onRecvAIMsg:(NSString *)userId message:(NSString *)message;

    参数

    名称 描述
    userId 发送者ID（智能体ID或服务器模块ID）
    message 数据内容，JSON 格式，具体含义见下方描述。

    AI 引擎回调消息回调的数据格式为以下 JSON 格式：

    {
    "cmd": Number, // 消息类型
    "messageId": String, // 消息ID
    "peerUserId": String, // 消息接收者ID（可选字段）
    "payload": Json  // 消息数据，不同的消息类型， payload 内容不同，具体见每种消息类型的说明
}

    其中，cmd 包括以下消息类型：

    消息类型( cmd ) 含义
    2 错误通知
    3 提问者（说话人）实时字幕内容（ASR）
    4 回答者（智能体）当前工作状态变更
    5 回答者（智能体）实时字幕内容
    7 ASR 字幕（cmd=3）对应的翻译字幕内容

    messageId 是一串 uuid，是此条消息的唯一标识。

    peerUserId 是消息接收者的用户 ID。此字段不是必需字段。

    payload 是消息的具体数据内容。不同的 cmd 对应的数据格式不同。具体如下：

    • cmd = 2 时：
    {
    "code": 0, // 错误码
    "message": "", // 详细的错误信息
    "errorType": "", // 错误类型。包括：
    // asr: 提问者（说话人）实时字幕
    // llm: 回答者（智能体）实时字幕
    // tts: 回答者（智能体）语音合成
    // signal: 信令有关的错误
}
    • cmd = 3 时：
      {
      "roundId": "", // 一轮对话的唯一标识
      "words": [{   // text: 单子/词内容；startMs:词开始时间戳；endMs：词结束时间戳
              "text": "这是",
              "startMs": 1620000000000,
              "endMs": 1620000000100
      }, {
              "text": "一句话",
              "startMs": 1620000000100,
              "endMs": 1620000000200
      }],
      "end": false, // true 代表这是一句完整的话
      "startMs": 1620000000000, // 这句话的开始时间戳
      "endMs": 1620000000200, // 这句话的结束时间戳
      "text": "这是一句话", // 本次识别的字幕文本内容
  }
    • cmd = 4 时：
    {
    "roundId": "", // 一轮对话的唯一标识
    "timestamp": 0, // 表示状态发生变化时的时间戳
    "state": 0 // 状态代码
    // 0：空闲中：vad检测无人讲话
    // 1：聆听中：客户端讲话中 & asr 输入中
    // 2：思考中：大模型输出中
    // 3：讲话中：tts输出中
}
    • cmd = 5 时：
    {
    "roundId": "", // 一轮对话的唯一标识
    "final": false, // 如果为 true，代表本次对话内容输出完毕
    "text": "这是一句话", // 回答者（智能体）本次回答的完整内容
}
    • cmd = 7 时：
    {
    "roundId": "", // 唯一标识一轮对话的 ID
    "end": false, // 如果为 true，代表一句完整的句子输出完毕
    "text": "这是一句话", // 翻译文本内容
    "sourceLang":"cn", // 翻译的源语言
    "targetLang":"en", // 翻译的目标语言
}
    {{allComment[version]}} ×
    • 暂无评论
    • {{comment.author}}
      {{ comment.createdAt | date: 'yyyy-MM-dd HH:mm:ss '}}
      {{comment.content}}
    您需要 后才能评论