腾讯云 Serverless 联合 Second State 战略布局 AI 推理

人脸识别、体感测温、图片转文字等 AI 推理函数在许多场景已经得到了成熟应用。从 AI 算法到数据准备、再到训练模型，这一过程已经有成熟的工具支持。但是如何将训练好的 AI 模型带到生产环境，一直是极具挑战的问题。

在服务器上部署 AI 推理软件（比如 Tensorflow 的服务器版，或者使用 AI SaaS 云服务，都可以在一定程度上解决这个问题，但是，部署自己的服务器需要在生产环境中运维复杂的 AI 软件栈，并且需要为闲置资源付费；使用 AI SaaS 云服务则会受到 SaaS 云服务对模型以及数据处理逻辑的限制。

近日，腾讯云 Serverless 与 Second State 战略布局 AI 推理函数，使开发者方便快捷地在生产环境中部署自己开发的 AI 推理函数，并且不用运维，自动伸缩，按使用付费。为开发者赋能，在保证用户体验的前提下降低成本。

Serverless 让 AI 推理函数更加简单

Serverless 被认为是继虚拟机和容器之后，第三代通用计算平台。作为一种新型的开发架构，Serverless 具备低成本、低故障风险、高扩展性以及交付周期短等优势。Serverless 能够让开发者更加聚焦业务本身，而无需关注复杂的服务器配置和管理，省去了大量的运维操作。

2020年第一季度，Forrester 发布的《The Forrester New Wave: Function-as-a-Service Platforms, Q1 2020》报告中，腾讯云 FaaS 能力凭借在产品体验、安全性、战略愿景等方面的优势，综合评分位居全球前三，中国第一，成为中国唯一进入全球Top3的云厂商，Forrester官方给予“强劲表现者”评价。

同时，根据 Grand View Search 在2020年6月发布的报告，AI 市场在 2020 年将达到 624 亿美元，并且从 2020年到2027年，AI 市场的复合年增长率为 42.2%，也就是说 AI 市场在 2027 年将达到 7337 亿美元的规模，将 AI 部署在 Serverless 平台上是未来的趋势。

Second State 与腾讯云 Serverless 的技术合作打通了将 AI 模型带到生产环境的最后一关。基于腾讯云 Serverless custom runtime、Serverless Framework、WebAssembly 虚拟机SSVM，Second State 与腾讯云 Serverless 发布了一个方便易用的 Serverless AI 推理云函数模板。在这个模板的基础上，开发者可以依据自己的场景需求更改模板中的 AI 模型以及业务逻辑，然后直接部署云函数并且看到结果，从而极大降低了AI 推理的使用门槛。

通过 Serverless 架构部署 AI 推理云函数，开发者无需关注底层架构，只用关注选择哪种模型及开发其相应的业务代码即可。这既避免了使用传统服务器的资源闲置及高昂成本，也避免了 SaaS 的限制。

具体而言，腾讯云 Serverless 为 AI推理云函数提供了1毫秒计费、按需付费、弹性伸缩、秒级部署、免运维等优势。

云计算中的 WebAssembly

WebAssembly 最初是发源于浏览器的技术。随着技术的不断发展， WebAssembly 的沙箱隔离机制带来了安全性，同时又不失性能。这些特点使 WebAssembly 逐渐成为了服务端开发者的重要工具。

随着 WASI（WebAssembly System Interface）的提出，WebAssembly 在服务端的潜力愈发明显。

2019年，Docker 的联合创始人 Solomon Hykes 发推称，如果 WASM+WASI 在2008年就存在了，那也就没必要创建 Docker 了。服务端的WebAssembly 就是这么重要。

本次腾讯云 Serverless 与 Second State 发布的 Serverless AI 推理函数就使用了WebAssembly 虚拟机 SSVM。SSVM 是针对服务端优化的 WebAssembly 虚拟机，特别适合AI、大数据等计算密集型场景。根据 IEEE Software 发表的《A Lightweight Design for High-performance Serverless Computing》，SSVM 是目前市场上最快的 WebAssembly 虚拟机。

SSVM 添加了类 WASI 的扩展 wasi-tensorflow，使 TensorFlow 模型能够以硬件速度运行。WebAssembly 虚拟机在这个过程中提供了安全性、可移植性和开发者易用性。

本次发布的 Serverless AI 推理函数的另一个亮点是它是用 Rust 语言编写的。Rust 因具有内存安全、高性能等特点而深受开发者喜爱。Rust 连续五年被 Stack Overflow 用户选为最受欢迎的编程语言。我们认为 Rust 与 WebAssembly 的黄金组合非常适合计算密集型任务。

“Rust 与 WebAssembly 的结合约等于 Java 与 JVM，是下一代云计算的未来。” Second State 的Michael Yuan 博士在 Rust China Conf 分享道。

未来，Second State 将与腾讯云 Serverless 继续深耕产品，共同探索与实践 Serverless AI 推理的应用，为广大企业与开发者赋能。