作者介绍：augustzhang，安全平台部基础架构组员工，先后从事密保、验证码等后台研发工作，现在主要负责安全平台部大数据平台的研发工作，致力于研究每秒GB级的数据如何进行实时分析等问题。 背景 后台设计 经常会遇到空间上的问题，比如：网卡流量爆了，Cache又快满了，APP的手机流量过高等。通常

作者介绍：2012年进入腾讯，负责腾讯云数据库平台（CDB）和腾讯云分布式存储平台（CBS）的运维工作，对数据库高可用、数据库调优、分布式存储运维等领域有丰富的经验。 记CBS一次动人心魄的数据保卫战 接触分布式存储已经有一年多的时间了，首次遇到存储侧三份数据都有异常的情况，三份数据异常意味着客户数

上周，腾讯云大数据联合团队以98.8秒的成绩完成100TB数据排序，摘得2016 Sort Benchmark全球排序竞赛冠军。在这次竞赛中，腾讯云数智分布式计算平台分别夺得Sort Benchmark大赛GraySort和Minutesort的冠军，创造了四项世界纪录。（了解详情请点击《腾讯打破2

作者：张大威，TEG 安全平台部。2013年加入安全平台部，从事多媒体信息安全、智能安全领域，目前在色情语音识别和藏维语识别领域，利用深度学习技术构建恶意音视频主动识别过滤体系。 鉴黄小趣事作者：“做视频分类时，有时会忘记控制音量。有次被旁边的组长听到了，他就在部门的大群里面吐槽说他都没法工作了，周

本文作者：数据平台部存储引擎组PGXZ项目负责人，2013年从华为加入腾讯，从事数据库和存储相关的工作。多年来一直致力于数据库引擎的研究和开发，从事过多款数据库内核的设计和开发工作，包括内存数据库，分析型数据库，事物型数据库，当前负责PGXZ项目的开发。 ​ 分布式关系数据集群是一项基础类的IT技术

1. 摘要： TDW很好的解决了海量数据离线处理问题，但是在如下场景下：实时报表，实时监控，实时推荐，实时分析，TDW无法满足需求。而storm是应对这些场景的利器，但是storm开发的门槛较高，对于大多数使用TDW的同学来说，若是能有一套支持storm的SQL，想必那是极好的。故此本宫，不，本团队

1. 前言 在高访问量的web系统中，缓存几乎是离不开的；但是一个适当、高效的缓存方案设计却并不容易；所以接下来将讨论一下应用系统缓存的设计方面应该注意哪些东西，包括缓存的选型、常见缓存系统的特点和数据指标、缓存对象结构设计和失效策略以及缓存对象的压缩等等，以期让有需求的同学尤其是初学者能够快速、系

1、 前言 对于数据库而言，在日常开发中我们主要的关注点有两块，一个是schema的结构设计，另一个就是索引的优化，这两块是影响我们最终系统结构和性能的关键部分，自然也是我们花费精力最多的部分； 本文主要介绍数据库设计中的一般原则和优化手段，包括数据库的一半范式、反范式设计、数据切分、数据路由与合并

1以PigOnStorm直面实时应用开发面的挑战 在TRC（Tencent Realtime Computing）系统中TDProcess负责为各个应用提供实时计算的能力和服务，Storm是TDProcess的核心部件，虽然Storm已经成为开源流式计算领域的实际标准，但其生态系统远没有Hadoop

前言随着腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等，比较适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩

时代在变迁，市场在变化，周边的软硬件环境也突飞猛进般的发展，同时企业的业务需求也不断升级，从规模到成本都有较高的要求，这刺激Hadoop生态圈的变革。据AMR研究显示，到2020年Hadoop将拥有502亿美元市场。如此多金诱惑下，各大解决方案提供商对Hadoop生态圈的发力可谓是越来越快，顺应潮流

​ 一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Ha

​ 谈到Hermes的索引技术，相信很多同学都会想到Solr、ElasticSearch。Solr、ElasticSearch真可谓是大名鼎鼎，是两个顶级项目，最近有些同学经常问我，“开源世界有Solr、ElasticSearch为什么还要使用Hermes?” 在回答这个问题之前，大家可以思考一个问

​ ​ 朱晓龙 ( xiaolongzhu ) 本文作者：朱晓龙博士，2015 年毕业于中国香港大学，主攻计算机视觉和机器学习方向，涉及物体检测，位姿估计，人脸特征点定位，3D 视觉等课题。本科期间参与北京大学智能车环境感知项目，基于 LIDAR 的图像理解工作发表在机器人顶级会议上。2015 年底