请在此添加图片描述

9月30日晚,腾讯云上线DeepSeek-V3.2-Exp版本,企业和开发者可以通过腾讯云直接调用新版模型的API接口,获得稳定优质的服务。

用户可以登录腾讯云官网调用新模型的接口:

https://cloud.tencent.com/document/product/1772/115969

请在此添加图片描述

DeepSeek官方发布显示,V3.2-Exp 在 V3.1-Terminus 的基础上,引入了 DeepSeek Sparse Attention(一种稀疏注意力机制),针对长文本的训练和推理效率进行了探索性的优化和验证,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。

请在此添加图片描述

DeepSeek-V3.2-Exp与V3.1-Terminus 不同长度位置 Token 的推理成本对比(左图为 Prefilling,右图为 Decoding)

请在此添加图片描述

为了提供更优质的DeepSeek模型服务,腾讯云在推理加速层面不断优化,通过深挖内核和架构延展,以及PD分离、NIXL传输技术,在精度几乎无损的前提下,实现服务时延的大幅降低,以及吞吐能力的大幅提升。

腾讯云是国内率先支持DeepSeek API+联网搜索的云厂商,此次也率先支持DeepSeek-V3.2-Exp 新模型,欢迎登录腾讯云官网体验。

文章来源于腾讯云开发者社区,点击查看原文