• 实时音视频
    • 实时音视频>客户端 API>Android

    Android

    编辑文档 更新于
    API概览BRTCBRTCListenerBRTCDeviceManagerBRTCAudioEffectManagerBRTCBeautyManagerBRTCMediaPlayerManager对象和枚举错误码

    BRTCListener 用于给 SDK 调用者返回 SDK 接口调用的执行结果、消息、内部工作状态等回调通知，方便 SDK 调用者结合具体的业务场景进行相应处理。

    BRTCListener

    以下函数按照名称首字母升序排列

    函数列表 描述
    onConnectionLost SDK 跟服务器的连接断开
    onConnectionRecovery SDK 跟服务器的连接恢复
    onEnterRoom 进入房间成功与否的事件回调
    onError 错误事件回调
    onExitRoom 离开房间的事件回调
    onFirstAudioFrame 已接收到某个远端用户的音频首帧的回调
    onFirstVideoFrame 本地或远端用户视频首帧回调通知
    onLocalVideoFallback 本地流视频回退或者恢复
    onRecvAIMsg 监听和处理对话式 AI 引擎相关消息
    onRecvCustomCmdMsg 收到自定义消息的事件回调
    onRecvSEIMsg 收到 SEI 消息的回调
    onRemoteUserEnterRoom 远端用户加入当前房间通知
    onRemoteUserLeaveRoom 远端用户离开当前房间通知
    onScreenCapturePaused 屏幕分享暂停的事件回调
    onScreenCaptureResumed 屏幕分享恢复的事件回调
    onScreenCaptureStarted 屏幕分享开启的事件回调
    onScreenCaptureStoped 屏幕分享停止的事件回调
    onSendFirstLocalVideoFrame 已发送本地视频首帧的回调
    onSendFirstLocalAudioFrame 已发送本地音频首帧的回调
    onSwitchRole 切换角色的结果回调
    onStatistics 音视频相关的度量指标统计回调
    onNetworkQuality 本地、远端音视频流质量回调
    onTryToReconnect SDK 尝试重新连接到服务器
    onUserAudioAvailable 远端用户的音频可用或不可用状态发生状态变化时通知
    onUserVideoAvailable 远端用户的视频可用或不可用状态发生状态变化时通知
    onUserVoiceVolume 音量大小的反馈回调
    onUserSubStreamAvailable 远端用户的辅流（通常是屏幕共享）的可用或不可用状态发生状态变化时通知
    onEnterBliveRoom 请求加入互动直播房间的结果回调
    onExitBliveRoom 离开互动直播房间的结果回调
    onBliveConnectionLost 互动直播模式下，与互动直播服务器连接断开的通知
    onBliveTryToReconnect 互动直播模式下，尝试和服务器发起重连的通知
    onBliveConnectionRecovery 互动直播模式下，和服务器连接已经恢复的通知
    onBliveSwitchRole 互动直播模式下的主播、观众角色切换结果通知
    onMixStreamAdded 互动直播模式下，房间内有新的混流产生事件通知
    onMixStreamRemoved 互动直播模式下，房间内有混流移除的事件通知
    onMixStreamUpdate 互动直播模式下，房间内混流信息更新的事件通知
    onMixedNotification 互动直播模式下，进房成功后，服务器下发当前混流信息
    onBliveConflictLogin 互动直播模式下，有其他用户使用了相同的UID进房，已在房用户收到的登录冲突通知
    onStartTranscode 互动直播模式下，主播发起混流请求后的结果通知
    onStopTranscode 互动直播模式下，主播停止混流请求后的结果通知

    BRTCLogListener

    函数列表 描述
    onLog 日志打印回调

    BRTCSnapShotListener

    函数列表 描述
    onSnapShotVideo 视频截图的回调

    BRTCVideoFrameListener

    函数列表 描述
    onGLContextCreated SDK 内部的 OpenGL 环境的创建通知
    onProcessVideoFrame 本地视频帧数据回调
    onGLContextDestroy SDK 内部的 OpenGL 环境的销毁通知

    BRTCAudioFrameListener

    函数列表 描述
    onCapturedRawAudioFrame 本地采集并经过音频模块前处理后的音频数据回调
    onLocalProcessedAudioFrame 本地采集并经过音频模块前处理、音效处理和混 BGM 后的音频数据回调

    详细信息

    onError
    错误事件，表示 SDK 抛出的不可恢复的错误，比如进入房间失败或设备开启失败等。

    void onError(int errCode, String errMsg, Bundle extraInfo)

    参数

    名称 描述
    errCode 错误码
    errMsg 错误信息
    extInfo 扩展信息字段，个别错误码可能会带额外的信息帮助定位问题

    onEnterRoom
    已加入房间的回调

    void onEnterRoom(long result)

    参数

    名称 描述
    result result > 0 时为进房耗时（ms），result < 0 时为进房错误码

    详情

    • 调用 BRTC 中的 enterRoom 接口执行进房操作后，会收到来自 SDK 的 onEnterRoom(result) 回调

    onExitRoom
    离开房间的事件回调

    void onExitRoom(int reason)

    参数

    名称 描述
    reason 离开原因，见 BRTCDef.BRTC_EXIT_ROOM_REASON

    详情

    • 调用 BRTC 中的 exitRoom 接口会执行退出房间的相关逻辑，例如释放音视频设备资源和编解码器资源等，之后会通过 onExitRoom() 回调通知到您
    • 如果您要再次调用 enterRoom 或者切换到其他的音视频 SDK，建议您等待 onExitRoom() 回调到来之后再执行相关操作，否则可能会遇到例如摄像头、麦克风设备被抢占等各种异常问题

    onRemoteUserEnterRoom
    有用户加入当前房间

    void onRemoteUserEnterRoom(String userId)

    参数

    名称 描述
    userId 远端用户 ID

    详情

    • onRemoteUserEnterRoom 和 onRemoteUserLeaveRoom 只适用于维护当前房间里的“成员列表”，如果需要显示远程画面，建议使用监听 onUserVideoAvailable() 事件回调

    onRemoteUserLeaveRoom
    有用户离开当前房间

    void onRemoteUserLeaveRoom(String userId, int reason)

    参数

    名称 描述
    userId 远端用户 ID
    userId 离开原因。参见：BRTCDef.BRTC_EXIT_ROOM_REASON

    onUserVideoAvailable
    远端用户是否存在可播放的主路画面（一般用于摄像头）

    void onUserVideoAvailable(String userId, boolean available)

    参数

    名称 描述
    userId 远端用户 ID
    available true表示可用，false表示不可用

    详情

    • 收到 onUserVideoAvailable(userid, true) 通知时，表示该路画面已经有可用的视频数据帧到达，此时，您需要调用 startRemoteView 接口加载该用户的远程画面。

    • 收到 onUserVideoAvailable(userid, false) 通知时，表示该路远程画面已被关闭，可能由于您主动 mute 了该用户的视频，或者该用户关闭了自己的视频

    • 自动订阅模式下，收到此通知表示远端用户的视频流已经到达并会被自动拉取并解码
    • 手动订阅模式下，收到此通知表示远端用户的视频流已经可用，但还需要主动触发订阅才会拉取

    onUserAudioAvailable
    远端用户是否存在可播放的音频数据

    void onUserAudioAvailable(String userId, boolean available)

    参数

    名称 描述
    userId 远端用户 ID
    available true表示可用，false表示不可用
    • 自动订阅模式下，收到此通知表示远端用户的音频流已经到达并会被自动拉取并解码播放
    • 手动订阅模式下，收到此通知表示远端用户的音频流已经可用，但还需要主动触发订阅才能解码播放

    onUserSubStreamAvailable
    端用户的辅流（通常是屏幕共享）的可用或不可用状态发生状态变化时通知

    void onUserSubStreamAvailable(String userId, boolean available)

    参数

    名称 描述
    userId 远端用户 ID
    available true表示可用，false表示不可用

    详情

    “辅路画面”一般被用于承载屏幕分享的画面。当您收到 onUserSubStreamAvailable(userId, true) 通知时，表示该路画面已经有可用的视频数据帧到达。您可以调用 startRemoteView 传入 BRTCVideoStreamTypeSub 类型来请求预览。

    onFirstVideoFrame
    开始渲染本地或远程用户的首帧画面

    void onFirstVideoFrame(String userId, BRTCVideoStreamType type, int width, int height)

    参数

    名称 描述
    userId 本地或远程用户 ID
    type 视频流类型
    width 画面宽度
    height 画面高度

    详情

    • 调用 startLocalPreivew、startRemoteView 之后，才会触发该回调。

    onLocalVideoFallback
    本地流视频回退或者恢复

    void onLocalVideoFallback(boolean isFallback)

    参数

    名称 描述
    isFallback true: 本地流视频回退，只推音频；false：本地流视频恢复推送。

    详情

    当检测到用户上行网络条件变差，无法满足原有视频流带宽需求时，SDK会自动关闭视频流，保留音频流。当视频流自动关闭和恢复时，您会通过此回调收到通知。您可以通过接口 setVideoFallbackEnable 来设置是否启用视频流自动回退机制。

    onFirstAudioFrame
    已接收到某个远端用户的音频首帧的回调

    void onFirstAudioFrame(String userId)

    参数

    名称 描述
    userId 远端用户 ID

    onSendFirstLocalVideoFrame
    首帧本地视频数据已经被送出

    void onSendFirstLocalVideoFrame(BRTCVideoStreamType type)

    参数

    名称 描述
    type 视频流类型，见BRTCDef.BRTCVideoStreamType

    详情

    • SDK 会在 enterRoom 并 startLocalPreview 成功后开始摄像头采集，并将采集到的画面进行编码
    • 当 SDK 成功向云端送出第一帧视频数据后，会抛出这个回调事件

    onSendFirstLocalAudioFrame
    首帧本地音频数据已经被送出

    void onSendFirstLocalAudioFrame()

    详情

    • SDK 会在 enterRoom 并 startLocalAudio 成功后开始麦克风采集，并将采集到的声音进行编码
    • 当 SDK 成功向云端送出第一帧音频数据后，会抛出这个回调事件

    onSwitchRole
    切换角色的结果回调

    void onSwitchRole(int errCode, String errMsg)

    参数

    名称 描述
    errCode 错误码，ERR_NULL 代表切换成功，其他请参见错误码
    errMsg 错误信息

    onStatistics
    音视频相关的度量指标统计回调

    void onStatistics(BRTCStatistics statics)

    参数

    名称 描述
    statistics 统计数据信息。包括本地和远程的。具体字段请参考 BRTCStatistics

    详情

    • 如果您是熟悉音视频领域相关术语，可以通过这个回调获取 SDK 的所有技术指标。每 2 秒回调一次

    onNetworkQuality
    推、拉流质量回调，每 2 秒回调一次。此回调从 3.8.0 版本开始提供。 

    void onNetworkQuality(@NonNull ArrayList<BRTCDef.BRTCNetworkQualityInfo> networkQualityInfos)

    参数

    名称 描述
    networkQualityInfos 推、拉流质量评价详情，具体字段请参考 BRTCNetworkQualityInfo

    onUserVoiceVolume
    音量大小的反馈回调

    void onUserVoiceVolume(ArrayList<BRTCDef.BRTCVolumeInfo> userVolumes, int totalVolume)

    参数

    名称 描述
    userVolumes 所有正在说话的房间成员的音量，取值范围 0 - 100
    totalVolume 所有远端成员的总音量, 取值范围 0 - 100

    详情

    • 您可以通过调用 BRTC 中的 enableAudioVolumeEvaluation 接口来开关这个回调或者设置它的触发间隔。需要注意的是，调用 enableAudioVolumeEvaluation 开启音量回调后，无论频道内是否有人说话，都会按设置的时间间隔调用这个回调。如果没有人说话，则 userVolumes 为空，totalVolume 为 0。

    onConnectionLost
    SDK 跟服务器的连接断开

    void onConnectionLost()

    您收到这个回调后，通常情况下不需要进行额外的处理。因为 SDK 内部会自动发起重连并尝试进行恢复。

    onTryToReconnect
    SDK 尝试重新连接到服务器

    void onTryToReconnect()

    onConnectionRecovery
    SDK 跟服务器的连接恢复

    void onConnectionRecovery()

    onRecvCustomCmdMsg
    收到自定义消息回调

    void onRecvCustomCmdMsg(String userId, int cmdID, int seq, byte[] message)

    参数

    名称 描述
    userId 用户 ID
    cmdID 命令 ID
    seq 消息序号
    message 消息数据

    详情

    • 当房间中的某个用户使用 sendCustomCmdMsg 发送自定义消息时，房间中的其它用户可以通过 onRecvCustomCmdMsg 接口接收消息

    onRecvSEIMsg
    收到 SEI 消息的回调

    void onRecvSEIMsg(String userId, byte[] data)

    参数

    名称 描述
    userId 用户 ID
    message 数据

    详情

    • 当房间中的某个用户使用 sendSEIMsg 发送数据时，房间中的其它用户可以通过 onRecvSEIMsg 接口接收数据

    onScreenCaptureStarted
    当屏幕分享开始时，SDK 会通过此回调通知

    void onScreenCaptureStarted()

    onScreenCapturePaused
    当屏幕分享暂停时，SDK 会通过此回调通知

    void onScreenCapturePaused()

    onScreenCaptureResumed
    当屏幕分享恢复时，SDK 会通过此回调通知

    void onScreenCaptureResumed()

    onScreenCaptureStoped
    当屏幕分享停止时，SDK 会通过此回调通知

    void onScreenCaptureStoped(int reason)

    参数

    名称 描述
    reason 停止原因，目前始终返回 0。更多原因会再后续 SDK 升级中陆续补充

    onLog
    日志打印回调

    void onLog(String log, int level, String module)

    参数

    名称 描述
    log 日志内容
    level 日志等级，参见 BRTCLogLevel
    module 值暂无具体意义，目前为固定值 BRTCSDK

    onSnapShotVideo
    视频截图的回调

    void onSnapShotVideo(String userId, Bitmap bitmap)

    参数

    名称 描述
    userId 本地或远端用户 ID
    bitmap 视频截图数据

    onGLContextCreated
    SDK 内部的 OpenGL 环境的创建通知

    void onGLContextCreated();

    参数 无

    onGLContextDestroy
    SDK 内部的 OpenGL 环境的销毁通知

    void onGLContextDestroy();

    参数 无

    onProcessVideoFrame
    本地视频帧数据回调

    int onProcessVideoFrame(@NonNull final BRTCVideoFrame srcFrame,
                        @NonNull BRTCVideoFrame dstFrame);

    参数

    名称 描述
    srcFrame 源视频帧数据。参考 BRTCVideoFrame
    dstFrame 目标视频帧数据。参考 BRTCVideoFrame。如果您不需要修改源视频帧数据，可以不用为此参数赋值

    详情

    当您调用 setLocalVideoProcessListener 接口之后，SDK 会通过此回调方法将编码前的视频帧数据回调给您。您可以读取源视频帧数据进行处理（如截图、交付第三方美颜 SDK等），然后再填充到目标视频帧数据中即可。

    onCapturedRawAudioFrame
    本地采集并经过音频模块前处理后的音频数据回调

    void onCapturedRawAudioFrame(BRTCDef.BRTCAudioFrame audioFrame)

    参数

    名称 描述
    audioFrame 音频帧数据。参考 BRTCAudioFrame

    详情

    当您设置完音频数据自定义回调之后，SDK 内部会把刚采集到并经过前处理(ANS、AEC、AGC）之后的数据，以 PCM 格式的形式通过本接口回调给您。

    • 音频帧时间固定为 10 毫秒，格式为 PCM
    • 时间帧转字节帧的公式：采样率 x 帧时长 x 声道数 x 采样点位宽，例如以 48KHz 采样率、单声道、16bit 采样点位宽为例，音频帧大小为： 48000 x 0.01(秒) x 1 x 16(比特) = 7680比特 = 960字节

    请千万不要在此回调函数中做任何耗时操作！

    由于 SDK 每隔 10ms 就要处理一帧音频数据，如果您的处理时间超过 10ms，就会导致声音异常。

    此接口回调出的音频数据是可读写的，也就是说您可以在回调函数中同步修改音频数据，但请保证处理耗时。

    SDK 2.2 版本开始提供此回调

    onLocalProcessedAudioFrame
    本地采集并经过音频模块前处理、音效处理和混 BGM 后的音频数据回调

    void onLocalProcessedAudioFrame(BRTCDef.BRTCAudioFrame audioFrame)

    参数

    名称 描述
    audioFrame 音频帧数据。参考 BRTCAudioFrame

    详情

    当您设置完音频数据自定义回调之后，SDK 内部会把刚采集到并经过前处理、音效处理和混 BGM 之后的数据，在最终进行网络编码之前，以 PCM 格式的形式通过本接口回调给您。其他音频格式的说明同 onCapturedRawAudioFrame

    SDK 2.2 版本开始提供此回调

    onEnterBliveRoom
    请求加入互动直播房间的结果回调

    void onEnterBLiveRoom(long result, BRTCDef.MixStreamTask[] mixStreamTaskList)

    参数

    参数 描述
    result result > 0 时为进房耗时（ms），result < 0 时为进房错误码
    mixStreamTaskList 当前房间已经存在的混流任务信息，包括流名称及对应的自定义字符串数据。如果房间内不存在混流任务，此数组为空

    详情

    • 如果进房参数中的BRTCAppScene设置为BRTCAppScene_LIVE，在 enterRoom() 接口执行进房操作后，会收到来自 SDK 的 onEnterBLiveRoom(result) 回调
    • onEnterBliveRoom 与 onEnterRoom 的区别：
      • onEnterBliveRoom 是进入互动直播房间的结果回调，onEnterRoom 是进入实时音视频房间的结果回调。两者相互独立。
      • 如果您的进房参数中的BRTCAppScene设置为BRTCAppScene_LIVE，则两种回调都会收到。
      • 如果您的进房参数中的BRTCAppScene设置为BRTCAppScene_VIDEOCALL，则只会收到 onEnterRoom 回调。

    onExitBliveRoom
    离开互动直播房间的结果回调

    void onExitBliveRoom(int reason)

    参数

    参数 描述
    reason 离开房间原因:
    0：主动调用 exitRoom 退房
    1：被服务器踢出当前房间
    2：当前房间整个被解散

    详情

    • 如果进房参数中的BRTCAppScene设置为BRTCAppScene_LIVE，在调用 exitRoom() 接口执行退出房间后，SDK 会通过 onExitBLiveRoom() 回调通知到您
    • 如果您要再次调用 enterRoom() 或者切换到其他的音视频 SDK，建议您等待 onExitBLiveRoom() 回调到来之后再执行相关操作

    onBliveConnectionLost
    互动直播模式下，与互动直播服务器连接断开的通知

    void onBliveConnectionLost();

    onBliveTryToReconnect
    互动直播模式下，尝试和服务器发起重连的通知

    void onBliveTryToReconnect();

    onBliveConnectionRecovery
    互动直播模式下，和服务器连接已经恢复的通知

    void onBliveConnectionRecovery();

    onBliveSwitchRole
    互动直播模式下的主播、观众角色切换结果通知

    void onBliveSwitchRole(BRTCDef.BRTCRoleType roleType);

    参数

    参数 描述
    roleType 角色类型。 BRTCRoleAnchor: 主播； BRTCRoleAudience: 观众

    onMixStreamAdded
    互动直播模式下，房间内有新的混流产生事件通知

    void onMixStreamAdded(String streamId, BRTCDef.MixSteamAddressBean streamProp);

    参数

    参数 描述
    streamId 混流 ID
    streamProp 混流属性。参见MixSteamAddressBean

    onMixStreamRemoved
    互动直播模式下，房间内有混流移除的事件通知

    void onMixStreamRemoved(String streamId);

    参数

    参数 描述
    streamId 混流 ID

    onMixStreamUpdate
    互动直播模式下，房间内混流信息更新的事件通知

    void onMixStreamUpdate(String streamId, BRTCDef.MixSteamAddressBean streamProp);

    参数

    参数 描述
    streamId 混流 ID
    streamProp 混流属性。参见MixSteamAddressBean

    onMixedNotification
    互动直播模式下，进房成功后，服务器下发当前混流信息

    void onMixedNotification(String taskId, String customData);

    参数

    参数 描述
    taskId 混流 ID
    customData 混流自定义数据

    onBliveConflictLogin
    互动直播模式下，有其他用户使用了相同的UID进房，已在房用户收到的登录冲突通知

    void onBliveConflictLogin();

    onStartTranscode
    互动直播模式下，主播发起混流请求后的结果通知

    void onStartTranscode(String taskId);

    参数

    参数 描述
    taskId 混流 ID

    onStopTranscode
    互动直播模式下，主播停止混流请求后的结果通知

    void onStopTranscode(String taskId);

    参数

    参数 描述
    taskId 混流 ID

    onRecvAIMsg
    监听和处理对话式 AI 引擎相关消息

    void onRecvAIMsg(@NonNull String userId, byte[] data);

    参数

    参数 描述
    userId 发送者ID（智能体ID或服务器模块ID）
    data 数据内容，JSON 格式，具体含义见下方描述。

    AI 引擎回调消息回调的数据格式为以下 JSON 格式：

    {
    "cmd": Number, // 消息类型
    "messageId": String, // 消息ID
    "peerUserId": String, // 消息接收者ID（可选字段）
    "payload": Json  // 消息数据，不同的消息类型， payload 内容不同，具体见每种消息类型的说明
}

    其中，cmd 包括以下消息类型：

    消息类型( cmd ) 含义
    2 错误通知
    3 提问者（说话人）实时字幕内容（ASR）
    4 回答者（智能体）当前工作状态变更
    5 回答者（智能体）实时字幕内容
    7 ASR 字幕（cmd=3）对应的翻译字幕内容

    messageId 是一串 uuid，是此条消息的唯一标识。

    peerUserId 是消息接收者的用户 ID。此字段不是必需字段。

    payload 是消息的具体数据内容。不同的 cmd 对应的数据格式不同。具体如下：

    • cmd = 2 时：
    {
    "code": 0, // 错误码
    "message": "", // 详细的错误信息
    "errorType": "", // 错误类型。包括：
    // asr: 提问者（说话人）实时字幕
    // llm: 回答者（智能体）实时字幕
    // tts: 回答者（智能体）语音合成
    // signal: 信令有关的错误
}
    • cmd = 3 时：
      {
      "roundId": "", // 一轮对话的唯一标识
      "words": [{   // text: 单子/词内容；startMs:词开始时间戳；endMs：词结束时间戳
              "text": "这是",
              "startMs": 1620000000000,
              "endMs": 1620000000100
      }, {
              "text": "一句话",
              "startMs": 1620000000100,
              "endMs": 1620000000200
      }],
      "end": false, // true 代表这是一句完整的话
      "startMs": 1620000000000, // 这句话的开始时间戳
      "endMs": 1620000000200, // 这句话的结束时间戳
      "text": "这是一句话", // 本次识别的字幕文本内容
  }
    • cmd = 4 时：
    {
    "roundId": "", // 一轮对话的唯一标识
    "timestamp": 0, // 表示状态发生变化时的时间戳
    "state": 0 // 状态代码
    // 0：空闲中：vad检测无人讲话
    // 1：聆听中：客户端讲话中 & asr 输入中
    // 2：思考中：大模型输出中
    // 3：讲话中：tts输出中
}
    • cmd = 5 时：
    {
    "roundId": "", // 一轮对话的唯一标识
    "final": false, // 如果为 true，代表本次对话内容输出完毕
    "text": "这是一句话", // 回答者（智能体）本次回答的完整内容
}
    • cmd = 7 时：
    {
    "roundId": "", // 唯一标识一轮对话的 ID
    "end": false, // 如果为 true，代表一句完整的句子输出完毕
    "text": "这是一句话", // 翻译文本内容
    "sourceLang":"cn", // 翻译的源语言
    "targetLang":"en", // 翻译的目标语言
}
    {{allComment[version]}} ×
    • 暂无评论
    • {{comment.author}}
      {{ comment.createdAt | date: 'yyyy-MM-dd HH:mm:ss '}}
      {{comment.content}}
    您需要 后才能评论