deepx_core是一个完全自研的深度学习框架。
deepx_core针对大规模高维稀疏数据场景如搜索,推荐和广告等深度优化的深度学习框架。基于deepx_core可以开发出离线训练和在线推理的一整套解决方案, 并在腾讯多个业务中使用并得到好评。此外, deepx_core也是一个相当通用的深度学习框架, 用户可以快速开发出张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。
项目特点
计算图: deepx_core提供了一个支持自动求导的静态图引擎,该引擎支持一百余个op, 几乎覆盖所有网络类型。
大规模稀疏模型: 稀疏模型由稀疏张量组成, 稀疏张量一直是开源框架的痛点, 要么不支持, 要么有缺陷.deepx_core设计并实现了稀疏张量和配套的op, 以原生的方式完美实现了稀疏模型, 完全不存在开源框架的痛点。分布式训练场景下, 稀疏张量均匀分布在多台参数服务器上, 模型规模随着参数服务器数量增加而线性扩展。deepx_core可以支持千亿特征, TB级模型, 达到业界领先水平.
高性能: deepx_core 使用 C++11开发, 天然具备高性能的基因。我们还在高性能计算优化, JIT编译优化, 图编译优化, 图运行优化, 内存分配优化, 网络通信优化等方向做出卓有成效的成果。在多项已落地的任务中, 基于deepx_core解决方案的性能普遍是开源框架的5-10倍, 机器节省30%-60%。
跨平台: deepx_core用标准C++11开发, 极少模块需要适配不同操作系统, 目前支持 linux, macOS 和 windows 操作系统。
项目应用
我们帮助以下重要腾讯产品的若干排序/召回场景落地使用了 deepx_core 及其衍生项目, 取得了性能和效果双丰收: 微信看一看,微信搜一搜, 微信支付, 微信表情, 微信视频号, 微信小程序, 微信读书, QQ音乐, 应用宝, 腾讯新闻, 腾讯课堂, 腾讯黑产打击等。
写在最后
deepx系列机器学习项目经过3年多的迭代, 已经趋向稳定和成熟。deepx_core 在设计开发的过程中, 从业界开源项目获取了大量经验和灵感, 我们现将其中的核心项目 deepx_core 开源反哺业界, 同时也能促进项目更好发展。
最后的最后, 介绍一下我们的团队。我们是微信看一看算法平台团队, 我们把代码和系统视为艺术, 我们推崇小而美的系统, 我为我们的工程师文化和艺术品而骄傲. 未来我们将开源更多项目, 敬请期待.
https://github.com/Tencent/deepx_core
（点击文末阅读原文直接访问）
请给项目 一个 Star !
欢迎提出你的 issue 和 PR！
国内镜像地址：
https://git.code.tencent.com/Tencent_Open_Source/deepx_core
（登录后才能访问公开项目）
腾讯工蜂源码系统为开源开发者提供完整、最新的腾讯开源项目国内镜像
