图片来源：pexels 背景 Firestorm Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态： 基于文件的pull based shuffle，如MapR

近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framewo

InLong(应龙) : 中国神话故事里的神兽，引流入海，借喻 InLong 系统提供数据接入能力。 Apache InLong(incubating) 由原 Apache TubeMQ（incubating）改名而来，伴随着名称的改变，InLong 也由单一的消息队列升级为一站式的数据集成解决方案

在数据量持续爆增、数据日益多样化的今天，传统数据库的迭代速度已经追不上数据的增速，且企业对数据库计算和存储能力的要求越来越高。面对当前的挑战和机遇，国产数据库厂商的研发创新速度不断加快，可以说云计算时代的到来，扭转了国外商业数据库一家独大的局面。 目前，国产数据库领域正处于百花齐放的状态，已经有越来

11月16日，国家发改委举行新闻发布会，重点提及了虚拟货币“挖矿”治理。会上，新闻发言人孟玮明确阐述了虚拟货币“挖矿”的危害，并表示将持续做好虚拟货币“挖矿”全链条治理工作，建立长效机制，严防“死灰复燃”。 一直以来，腾讯安全基于自身多年的安全运营经验和能力沉淀，打造了一系列解决方案，帮助企业提升挖

​ 安全资讯报告 网络数据安全管理将迎来新规 人脸作为敏感个人信息，一旦泄露容易对个人的人身和财产安全造成极大危害，甚至还可能威胁公共安全。但此前，一些小区物业、经营场所将人脸识别作为出入的唯一验证方式；一些手机APP等因用户不同意提供非必要个人信息，而拒绝用户使用其基本功能……这些问题有望得到规制

导语 在 Apache Pulsar 中，为了避免消息的重复投递，消费者进行消息确认是非常重要的一步。当一条消息被消费者消费后，需要消费者发送一个Ack请求给Broker，Broker才会认为这条消息被真正消费掉。被标记为已经消费的消息，后续不会再次重复投递给消费者。在这篇文章中，我们会介绍Puls

11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源其全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模

介绍 Linux IO 的一些基本原理。 作者：arraywang，腾讯 CSIG 我们先看一张图： 这张图大体上描述了 Linux 系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。 这篇文章就以这张图为基础，介绍 Linux 在 I/O 上做了哪些事情。 文件系统 什么是文件系统

​ 为什么要构建监控系统 作者：龙逸尘，腾讯 CSIG 高级工程师 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司，

【导读】今天，GitHub重磅发布2021年度报告，透露了一个数据：全球已有超过7300万的GitHub开发者用户，几乎近60%来自北美之外的地区。其中，中国有755万，位居全球第二。 7300万开发者在365天里能做什么？ 今天，全球最大开发者社区GitHub重磅发布2021年度报告，透露了一个数

如今，在数字化浪潮的席卷之下，数字化转型成为了越来越多企业谋求发展的必经之路，在催生了海量数字化转型需求的同时，也推动我国的SaaS产业发展进入了一条“快车道”，大量SaaS创业企业如雨后春笋般涌现。如何在发展过程中抓住市场机遇、少走弯路实现快速发展，成为了每个SaaS创业企业都要面临的课题。 为了

最近一年，分布式云这个字眼，被太多人提起，简直成了网红。 几乎所有的云巨头，都在猛推这种云计算的新玩法。 AWS整了Outposts，微软云拿出Azure Arc，而谷歌云则有Anthos，虽然叫法不同，形态细节也有区别，但是“内心戏”都大差不差。 大家的目标，就是把自家的公有云，尽最大可能向客户侧

​ 想通过DNSPod 创始人 Bra第一视角，知悉DNSpod的技术演进史？ 想探索链路追踪技术的来龙去脉，及其最新实践？腾讯JAVA研发专家周东科为你解说。 想捕捉WebRTC最新风向标，了解LiveVideoStack著名讲师刘连响眼中的Zoom、Safari最新版本亮点？ 想知道在时间和资源

​ “电子政务”加快实现让数据多走路，让群众少跑腿。但政务系统中存储了大量民生基础数据，一旦发生事故后果将不堪设想。特别是节庆日等重要时间节点，更是安全保障服务的重中之重。 客户名片 数字广东网络建设有限公司（数字广东），承担省级电子政务基础设施和系统的建设运维工作，先后推出面向民众的移动政务服务平