​ 腾讯大数据携手开放平台共同发布9月份移动生态报告，从移动用户生态、移动应用生态以及移动开发者生态三方面全面解读整个移动生态圈。同时，腾讯全新大数据官网DATA.QQ.COM即将上线，敬请期待! 文章来源于腾讯云开发者社区，点击查看原文

互联网时代，大数据扮演着极为重要的角色；腾讯作为中国最大社交平台，具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台，集中了公司90%以上产品（近400款）的核心数据，覆盖全部BG，积累约4000个开发者，如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据？本

​ MapReduce为大数据挖掘提供了有力的支持，但是复杂的挖掘算法往往需要多个MapReduce作业才能完成，多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程，使得基于MapReduce的算法实现存在严重的性能问题。大处理处理后起之秀Spark得益于其在迭代计算和内存计算上的优势，可以自动

​ 相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销，导致性能低下。我们借助于Spark对内存计算的支持以及图划分

移动生态报告迎春版以腾讯开放平台，腾讯大数据以其相关数据挖掘为基础，分别描述了Android用户透视，应用生态和开发者，并且勾勒出未来相关的趋势。 ​ 文章来源于腾讯云开发者社区，点击查看原文

31万用户调查+11个细分行业创业指数矩阵+2014移动互联网创业机遇挑战分析+2015四大创业趋势解读···腾讯大数据为您带来【移动时代创业黄金法则】。 （来源：企鹅智酷） 文章来源于腾讯云开发者社区，点击查看原文

​ 谈到Hermes的索引技术，相信很多同学都会想到Solr、ElasticSearch。Solr、ElasticSearch真可谓是大名鼎鼎，是两个顶级项目，最近有些同学经常问我，“开源世界有Solr、ElasticSearch为什么还要使用Hermes?” 在回答这个问题之前，大家可以思考一个问

腾讯大数据发布2014年第三季度移动行业数据报告，从设备，网络，APP，手游等角度深度解读国内移动行业现状，为广大开发者指引方向。 文章来源于腾讯云开发者社区，点击查看原文

腾讯大数据发布2014年第四季度移动行业数据报告，从移动设备，网络，APP，手游等角度深度分析互联网现状，为广大开发者指引方向。 文章来源于腾讯云开发者社区，点击查看原文

引言 网上聊天，除了文字，大家还会用各种表情。 据统计，2014年QQ全年表情发送量超过5338亿次，8亿QQ网民中，超过90%在聊天时使用过表情。 借助QQ表情商城后台大数据，让我们来一起来了解2014年的表情故事。 一、表情用户画像 二、表情发送规律盘点 1、整体规律： 暑期效应原因推测：莫非暑

之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。 **Sort和Shuffle是Map

​ 一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统

​ 最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解，需要真正了解之后才能得出比较客观的结论。 大数据是一个比较宽泛的概念，它包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算

时代在变迁，市场在变化，周边的软硬件环境也突飞猛进般的发展，同时企业的业务需求也不断升级，从规模到成本都有较高的要求，这刺激Hadoop生态圈的变革。据AMR研究显示，到2020年Hadoop将拥有502亿美元市场。如此多金诱惑下，各大解决方案提供商对Hadoop生态圈的发力可谓是越来越快，顺应潮流

​ 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能