本位转载自雷锋网Dude

在首届腾讯用户开放日上,腾讯音频实验室,带着三维虚拟听觉解决方案,向所有的C端用户亮相。

众所周知,好的内容不仅仅只是视觉上的冲击,更需要声色光电等支持。在电影行业有一句话,“没声音再好的戏也出不来”,这句话强调了声音对电影的重要性。对于VR内容,亦复如是。现阶段的VR内容,还停留在视频和视觉阶段,声音的缺位成为了行业的共同痛点。显然,三维虚拟听觉解决方案就是奔着解决痛点而来。

这次,三维虚拟听觉解决方案在用户开放日上的亮相,是腾讯音频实验室所交出的阶段性成绩单 。展区的现场是一个白色的罩子内配有耳机,腾讯三维虚拟听觉解决方案声技术负责人郭亮告诉雷锋网,罩子和耳机内无技术上的勾连,罩子的作用是为了营造一个更好的环境,让听众更能感受到声音的环绕效果。雷锋网也去体现了一把,所听到的内容是一段有关于法律内容的讨论,明显地感受到了声音的远近和说话人的方位。

此次的三维虚拟听觉解决方案配合一副双声道的耳机使用。方案所配套的耳机非特殊的耳机,任何一副具有双声道的耳机都能使用三维虚拟听觉解决方案,从而达到3D耳机的效果,实现声源方位的重现,提供更好的立体感和空间感,带来更强的沉浸感。

方案中声源的收集也并非像传统3D音效解决方案,它并不依赖特定的收集器材,任意麦克风都可以收集声音的内容。腾讯的三维虚拟听觉解决方案更多的是倚重算法的处理,即使左边收集到声音,算法亦可以处理成是右边的声音,摆脱来自硬件的束缚。

方案的实现是利用“头部关联传输函数”( HRTF 算法),对双耳之间的时间差异和频谱差异进行建模,形成有声源方位感的声音。但不仅仅利用( HRTF 算法),同时还采样混响混响填补HRIR缺失的环境反射声,从而构建完整的声场模型比如在一个小房间里,不仅可以听到两个人之间的对话,还可以听到声音从墙壁中反射的效果,增加沉浸感。

据悉,腾讯这次展出的三维虚拟听觉相关技术提案已写入AVS(国家音视频编解码技术标准):VR音频国家标准中,且在腾讯今年发布的一款VR 游戏“hello world”中已上线游戏中,通过玩家的坐标实时计算出当前不同方向或位置声音所产生的大小和音调等,进而制造出360度立体空间声音定位的效果,从而加强游戏的真实感和沉浸感。

在体验的现场,雷锋网采访了一位体验官,他表示和一般的Bose耳机相比,腾讯音视频实验室的三维音频方案很明显是对人的优化,对于接收方的优化。如果能够应用到重度的游戏当中,一定能够加强用户的体验感受。此外,他还对雷锋网补充说,此次腾讯所展示出来的三维虚拟听觉解决方案,让他最为惊喜的是耳机的切入角度,很多设备方都是对声音本身(音源)进行优化,但是腾讯耳机(三维虚拟听觉解决方案)是对于人的生物系数进行研究,从而对声音进行编辑,达到更好的播放效果。

最后郭亮向雷锋网表示,三维虚拟听觉解决方案最理想的效果是根据每一个人的头型大小进行模型的调试,腾讯三维虚拟听觉解决方案未来也会在这一板块加强,希望给每一个用户带来更为震撼和真实的效果。

据雷锋网知悉,腾讯音视频实验室,成立于2016年11月,专注于音视频通信技术的前瞻性研究,包括全球实时音视频网络优化、音视频编解码前沿算法研究、计算机视觉图像处理、基于AI的音频语音增强、声音美化及音视频质量评测等。在服务于腾讯社交体系下的海量用户同时,在实时音视频通信、图像处理和音视频处理等技术领域积累了十几年的研究经验,拥有行业领先的技术水平。目前已为行业数百个产品提供了音视频技术支持与服务,如QQ电话、腾讯云、企业微信、QQ空间、全民K歌、快手、斗鱼、虎牙、蘑菇街等。

一直以来,声音和画面都是相辅相成。谷歌Cardboard的高管Nathan Martz曾表示,VR音频不容忽略。他说,许多人认为在开发VR产品和体验过程中,视频和视觉是最重要的因素,其实不然,声音也同样重要。巨头和巨头之间也许共存默契,同样重军进场VR的音频内容。其实,在资深游戏开发者群体中,流传着一个行业经验——“声音让场景更加真实”。

雷锋网在现场观察到一个小小的花絮,一个体验官在感受完腾讯的三维虚拟听觉解决方案之后,希望马上扫码付款,买走耳机。她向雷锋网表示,感受到声音不是单纯从耳朵里传出,是头部的立体环绕,非常刺激。雷锋网在展区,观察到前来体验的观众人数亦十分多,现场非常火爆,普遍向雷锋网表示,体验十分新鲜。

这次来自腾讯三维虚拟听觉解决方案 ,从幕后走向了台前,带来了一场音效的新革命的前序,相信未来将会开启沉浸感的新纪元。科技的前进,带给我们很多视角,从感觉的刺激到听觉的革新,如今有三维虚拟听觉解决方案,让人类有不同的方式去发现,原来听觉带来也可以这样的丰富。

文章来源于腾讯云开发者社区,点击查看原文