声网专区

3月23日周六,由 RTC 开发者社区主办的 “RTC Dev Meetup 北京站”如约举行,超过100位求知若渴的开发者参加了活动。来自 LeanCloud、声网 Agora、阿里、美团点评的资深工程师,与他们共同分享了 Flutter 开发中的实践经验。

谈起 Opus,对于编解码器有所了解的同学也许会知道,Opus 是由两个编解码器——Silk 和 Celt 融合而成。为什么来自两个组织的编解码器会合二为一,Opus 的性能又如何,本文将简述一下 Opus 的前世今生和部分技术分析。

随着这几年AI的迅猛发展,我们在图像和视频处理领域里见证了非常多的应用,比如声网Agora引擎里的视频超分辨率技术。对于音频中AI的应用,我们可能经常听说语音合成、语音识别等技术。那在实时音频通话中,AI有什么用武之地呢?本文将简单总结一下AI在实时音频中的应用,本文将不会展开细节,但在文末有部分参考文献,如有需要请自行取阅。

不要用手摸脸啦!为防止新冠状肺炎病毒疫情传播,医疗机构建议我们不要用没洗过的手摸脸。但如果你坐在计算机前几个小时不动,要做到这一点就很难了。我不禁想,用浏览器可以解决这个问题吗?

Agora 的产品均围绕着 RTC(Real-time Communication) 展开,其中最出现的产品便是 Agora RTC SDK。它为厂商提供一个音视频采集、编解码和传输的“工具包”,助力厂商开发自己的 RTC 相关业务的应用。这套工具包包括种类繁多的 API。

CoderLane 是一款在线实时编程环境, 它的目的是为了解决在线多人实时编程环境困难的问题。通过各种技术手段希望提高在线编程的体验。

对于使用RTC的人,可以将本文作为一篇快速指南加以参考,了解如何使用TensorFlow来处理WebRTC流。对于使用TensorFlow的人士,则可以将本文作为一份快速简介,了解如何向自己的项目中添加WebRTC。使用WebRTC的人需要对Python比较熟悉。而使用TensorFlow的人则需要熟悉网络交互和一些JavaScript。

RTM 是一个通用的消息系统,主要是为了解决实时场景下信令的低延迟和高并发问题。在声网所有的后台设计中,分区很重要。区与区之间相对独立,每个区会有跨区传输网络。每个区之间由三个子系统组成,首先是消息核心(Message Core),还有事件中心(Event Center),最后是应用服务(Application Services)。

著名音乐电台DJ,SoundArio音乐基金会创始人加菲众就说: 几百位歌手的时差、现场收录的和网络技术条件各不相同,所以并没有在线实时协作进行直播的可能,甚至两个人一弹一唱都不可能,因为0.17秒的延时足以抵消全世界顶级音乐人的现场功力。

根据思科公司今年发布的报告称,预计 2021 年,视频将会成为互联网产品的主要需求,超过80%的互联网流量将会被视频占据。届时,与视频相关的服务与需求将提升约50%,而其中对超高清的需求将提升约30%。同时,互联网对直播和其它实时视频服务的需求将会是目前的15倍。

本文拿常见的视频通话的应用,来看看如何基于 Flutter 来开发实现,以及其中会有什么样的困难。

抓取WebRTC流量看起来相对简单,大多数情况下确实是这样:你只需要在其中一人的机器上安装类似tcpdump或wireshark的抓包工具,然后查看产生的文件,大多数情况会是.pcap或.pcapng文件。这些活动对于诊断连接问题或其它与WebRTC相关的问题很有用:实际上,wireshark可以自动检测出STUN,DTLS之类的标准协议,这些是WebRTC PeerConnections所关注的。

汪磊是 WishLife CTO,他在 RTC 2019 大会上,分享了函数式编程,以及利用 Kubernetes 来进行视频流录制服务的部署。WishLife是一个利用视频帮助家庭解决家庭沟通的平台,平台提供视频录制服务,录制的视频会保存在云端,供家人来访问、观看。他分享了函数式编程语言Clojure、Kubernetes,以及视频录制服务部署,三方面的技术点和经验。

第3部分——浏览器端 开始之前,请先在项目的根目录位置创建一个static目录。我们将从这里提供HTML和JavaScript。

上一期 SOLO 源码解析分析了 SOLO 的带宽扩展系统,本期 SOLO 源码解析将会介绍一下 SOLO 的窄带编码流程。因为 SOLO 的编码框架是基于 Silk 修改而成,所以本文对于 Silk 原生代码的介绍会比较简略。