音视频开发

2022 年 5 月 18 日，映客 App 上线了业内首个元宇宙 K 歌玩法「全景 K 歌」，给用户带来前所未有的社交体验。

ZEGO Express SDK 从 2.11.0 版本起，新增游戏语音模块，主要包括：范围语音、3D 音效、小队语音。适用于吃鸡类游戏、元宇宙类场景。

自定义视频渲染指的是 SDK 向外部提供本地预览及远端拉流的视频帧数据，供用户自行渲染。

在音视频流媒体应用中，除了可以流媒体通道推拉音视频内容外，还可以使用流 SEI（Supplemental Enhancement Information，媒体补充增强信息）通过流媒体通道将文本信息与音视频内容打包在一起，从主播端（推流端）推出，并从观众端（拉流端）接收，以此实现文本数据与音视频内容的精准同步的目的。

ZEGO 微信小程序直播SDK 可以在微信小程序中提供实时音视频直播服务，从而实现电商直播/在线教育/在线问诊/视频客服等各种业务场景。

ZEGO Express SDK 提供了Flutter耳返和双声道的功能，在视频直播、K歌、音频录制等场景下广泛应用，开发者可根据实际业务场景需要设置，一套代码可实现跨平台音视频耳返功能，节省开发成本。

如果能开发一个在线K歌应用，就能与王心凌线上合唱实现追星自由。

在开始集成 ZEGO Express SDK 前，请确保开发环境满足以下要求

在音视频应用中我们经常涉及到耳机麦克风和设备麦克风的切换。不同声道的配置。在遇到这种情况的时候，我们如何配置呢？

ZegoExpress SDK 提供音效文件播放器，通过 ZegoAudioEffectPlayer 统一管理音效，支持音效播放（可以多音效重叠播放）、播放控制（如暂停播放、音量调节、设置播放进度）、预加载音效等功能。

在直播、语聊房、K 歌房场景中，为增加趣味性和互动性，玩家可以通过变声来搞怪，通过混响烘托气氛，通过立体声使声音更具立体感。ZegoExpress SDK 提供了多种预设的变声、混响、混响回声、立体声效果，开发者可以灵活设置自己想要的声音，如果需要试听，可以启用耳返进行测试。

在进行视频通话过程中，用户有时候会出现网络不好的情况，比如在进行多人视频通话或者多人唱歌时，我们需要实时显示用户的网络质量。

近年来无论是直播健身，还是录播健身短视频，“供给”形式背后的诉求都是降低用户的健身难度，通过娱乐化、游戏化（同时还能保证专业、科学）的方式，让用户对健身产生兴趣，调动用户健身的积极性，从而扩大整个行业的用户容量。

在实时音视频通话时，可以对音频进行 3A 处理，提高通话质量和用户体验。主要包括 AEC（Acoustic Echo Cancelling，回声消除），AGC（Automatic Gain Control，自动增益控制）和 ANS（Active Noise Control，降噪）。

在 K 歌场景中，经常需要拉多路流并显示其中正在讲话的用户，我们需要甄别用户是否说话、说话音量大小（音浪），并在 UI 上展示。