前言随着腾讯产品与技术的发展，几乎任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数从亿到百亿，对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的逻辑与物理形式相对独立等，比较适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩

(本文转自腾讯ISUX用户研究中心） . 文章来源于腾讯云开发者社区，点击查看原文

背景 随着游戏市场竞争的日趋激烈，越来越多的游戏运营服务选择借助大数据挖掘出更多更细的用户群来进行精细化，个性化运营，从而更好的抓住用户，获得更大的收益。在游戏运营中，无论是流失挽留，还是拉新，以及付费用户预测都是游戏运营的重要内容。 本文将着重介绍手游用户的流失预测。对于游戏运营者，如果能够尽早的

前言 随着大数据产品的日渐丰富以及数据应用场景需求的增加，TDBank作为腾讯大数据平台的数据接入环节的位置也越发显得重要（见下图）。截止目前为止TDBank日均接入数据已经超过2W亿条每天（约600TB/天），并且数据量还在持续不断上升。Tube 作为整个数据接入体系的存储层发挥着重要作用。Tub

​ 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能

时代在变迁，市场在变化，周边的软硬件环境也突飞猛进般的发展，同时企业的业务需求也不断升级，从规模到成本都有较高的要求，这刺激Hadoop生态圈的变革。据AMR研究显示，到2020年Hadoop将拥有502亿美元市场。如此多金诱惑下，各大解决方案提供商对Hadoop生态圈的发力可谓是越来越快，顺应潮流

​ 最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解，需要真正了解之后才能得出比较客观的结论。 大数据是一个比较宽泛的概念，它包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算

​ 一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统

之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。 **Sort和Shuffle是Map

引言 网上聊天，除了文字，大家还会用各种表情。 据统计，2014年QQ全年表情发送量超过5338亿次，8亿QQ网民中，超过90%在聊天时使用过表情。 借助QQ表情商城后台大数据，让我们来一起来了解2014年的表情故事。 一、表情用户画像 二、表情发送规律盘点 1、整体规律： 暑期效应原因推测：莫非暑

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。 背景篇 Ha

本文作者：陈宏武，2013年华中科技大学毕业，之前从事搜搜网页搜索的下载调度，数据质量优化工作。目前在内部搜索平台部外站数据组从事网络爬虫、下载调度、页面抽取及数据整合相关工作。 “你百度一下会死啊”？答：“会”。 最近的WZX事件闹得沸沸扬扬，不由得引起我们思考，如果WZX能获取更多更全的相关数据

腾讯大数据发布2014年第四季度移动行业数据报告，从移动设备，网络，APP，手游等角度深度分析互联网现状，为广大开发者指引方向。 文章来源于腾讯云开发者社区，点击查看原文

​ 本文作者 : 腾讯网络平台部服务器平台架构师，专家攻城狮。14年加入腾讯，之前在华为工作13年，多年从事平台软件和硬件的研发。加入腾讯后，在服务器平台中心负责服务器技术架构设计、新技术预研、新技术导入等工作。目前也是中国开放数据中心委员会填写3.0的项目经理，主导天蝎3.0的技术架构和标准工作。

腾讯大数据发布2014年第三季度移动行业数据报告，从设备，网络，APP，手游等角度深度解读国内移动行业现状，为广大开发者指引方向。 文章来源于腾讯云开发者社区，点击查看原文