这些问题，腾讯全部遇到过 我们知道，集中式（单机）数据库在存储容量、并发性能、快速扩容等都会因业务增长而达到瓶颈。而在业务发展初期，团队很难准确预测数据库增长的速度和规模，只有靠拍脑袋确定规模进行设备选型： 若达不到预期，会导致资源浪费； 若超过预期，则会出现扩展难题； 若成为行业领先，那么性能瓶颈

​ 作者介绍：Yh， 2010年加入腾讯，有12年的存储经验，在弹性块存储技术方面经验丰富，本文将其在TEG TALK上的分享内容进行整理，干货满满，内容包含腾讯云云硬盘产品（CBS）的后台系统的演进历程、核心技术以及大道至简的方法论。 ​ 什么是云硬盘？ 云硬盘，Cloud Block Servi

作者：闫燕飞 1.背景 Ckafka是基础架构部开发的高性能、高可用消息中间件，其主要用于消息传输、网站活动追踪、运营监控、日志聚合、流式处理、事件追踪、提交日志等等需要高性能的场景,，目前已经上线腾讯云。Ckafka完全兼容现有的Kafka协议，使现有Kafka用户可以零成本迁入Ckafka。Ck

作者简介：xianmau，2015 年加入腾讯 TEG 架构平台部，一直负责 QQ 相册平台的维护和建设，主导相册上传架构重构和容灾优化等工作。主要研究方向为口语对话系统、分布式系统架构设计和优化，发表对话系统相关学术论文 3 篇，系统架构相关专利 2 篇。 写在前面 QQ 相册作为重量级资深业务，

1月22日，腾讯云正式发布微服务中间件TSF(Tencent Service Framework)。这个围绕应用和微服务的 PaaS 平台，将为企业解决IT系统复杂、升级迭代慢、运维扩展性差、海量用户支撑能力薄弱、数据孤岛等一系列难题，帮助传统企业快速构建面向互联网亿万用户的大规模分布式架构，降低企

前言 随着大数据产品的日渐丰富以及数据应用场景需求的增加，TDBank作为腾讯大数据平台的数据接入环节的位置也越发显得重要（见下图）。截止目前为止TDBank日均接入数据已经超过2W亿条每天（约600TB/天），并且数据量还在持续不断上升。Tube 作为整个数据接入体系的存储层发挥着重要作用。Tub

前言随着腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等，比较适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩

前言 大数据时代，海量流量和数据是变现的源泉。腾讯拥有最多样的用户数据，社交、聊天、游戏、听音乐、看电影、逛电商，等等，有巨大的挖掘空间，个性化精准推荐无疑是一把开矿的钥匙。TEG-数据平台部基于“数据+算法+系统”的设计理念，海量数据实时采集、流式计算、实时建模、实时推荐，构建海量、实时、精准的个

背景 Storm是TRC（腾讯实时计算）平台的核心组件。与Hadoop不同，storm之上没有像hive,pig之类的解放应用开发人员效率的工具。开发原生的storm应用必须掌握storm的api，开发门槛高，调试困难，效率低下。 EasyCount(SQL on strom)是构建在storm之上

分布式文件系统用于解决海量数据存储的问题，腾讯大数据采用HDFS（Hadoop分布式文件系统）作为数据存储的基础设施，并在其上构建如Hive、HBase、Spark等计算服务。 HDFS块存储采用三副本策略来保证数据可靠性，随着数据量的不断增长，三副本策略为可靠性牺牲的存储空间也越来越大。如何在不降

从Twitter到Twitter pic，再到Vine, 从Facebook到Instagram，再到Instagram短视频，从微信朋友圈图片到小视频，互联网消息载体经历了诸多转变。在这个飞速发展的时代，人们对于信息的追求是永无止境的。 也许有更加精彩的方式让我们感受生活，探索世界。足不出户，在家

编者注 全民K歌上线1年半的从0发展到1.5亿，用户越来越多，后台代码库越来越大，编译速度也与日俱慢，编译一下整个工程需要30-40分钟，如何实现秒编至关重要。 全民K歌后台编译优化：从40分钟到30秒 问题背景 随着全民K歌功能越来越多，整个后台代码库越来越大，编译速度也与日俱慢，编译一下整个工程

引言：6.14日“腾讯创新日：科技年技术盛宴”代表腾讯各个事业群技术实力的四级专家、腾讯微创新2016年度创意获奖团队欢聚一堂，一起畅谈AI、系统安全、架构设计、社交传播、推荐模式、游戏引擎等前沿科技和腾讯应用创新的台前幕后。来自CDG社交与效果广告部 系统研发中心总监、专家工程师唐溪柳，就下一代的

傅徐军，阅文集团副总裁，2018年加入阅文，全面负责阅文研发团队管理工作。 技术架构统一，应对业务整合 阅文集团成立于2015年，由腾讯文学与原盛大文学整合而成。因为由很多子品牌公司的技术架构组成，所以需要进行技术架构的统一。 傅徐军说道：“我们面临的第一个挑战就要做技术架构的统一，这是我们第一个要

14年接触到“指标体系”这个词，一脸懵逼，当时还停留在离散的报表需求阶段，不能明确说出什么就是指标体系。发展到现在，做了几个产品的数据工作，对指标体系概念以及规划方法有一定的积累，总结出来作为知识储备。 What is指标体系 百度百科的专业定义“评价指标体系是指由表征评价对象各方面特性及其相互联系