​ 相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销，导致性能低下。我们借助于Spark对内存计算的支持以及图划分

​ MapReduce为大数据挖掘提供了有力的支持，但是复杂的挖掘算法往往需要多个MapReduce作业才能完成，多个作业之间存在着冗余的磁盘读写开销和多次资源申请过程，使得基于MapReduce的算法实现存在严重的性能问题。大处理处理后起之秀Spark得益于其在迭代计算和内存计算上的优势，可以自动

终端单连接 消息推送已经成为APP的标配，要推送就要有长连接，而长连接要靠后台服务来维持。传统的推送实现中，每个APP使用一条长连接，启动一个后台服务，你一个我一个，android的悲剧就发生了。如果所有的app都集成了信鸽推送，那么装1000个app，手机上会有多少后台服务和长连接？不是998，也

​ 前言 TDW是基于Hadoop生态圈研发的大数据处理平台，MapReduce计算引擎在TDW平台中承担了所有的离线数据计算，是TDW最重要的底层支撑平台之一。在TDW 平台中，除了MR程序会生成MapReduce作业外，被广泛应用的Hive、tPig等计算框架最终也会把查询语言翻译成MapRed

引言：TARS框架及自有TARS协议在腾讯内部始于2007年。Google Protocol Buffers于2008年7月对外公布。随着微服务架构的发展及ProtoBuf的优异表现，目前在互联网上有着大量应用。此次腾讯与科大讯飞进行深度技术合作，将ProtoBuf与TARS自身的编解码协议进行集成

背景：随着互联网的高速发展、大数据的迅速膨胀和物联网的飞速崛起，我们发现生活和工作中的大部分数据渐渐和时间产生了关联。比如微信运动的实时步数、股票每天的收盘价格、共享单车的设备状态等等。为了存储这些与时间相关的数据，积极拥抱物联网时代，各大企业纷纷推出自家的时序数据库。本文将对时序数据库的基本概念、

什么是数据库审计 对于一个仓库，如果要防盗， 常见做法是出入口全装上监控，一旦有问题了，调监控查找异常情况。对数据库来说也类似，数据库也有出入口，对所有连接出入口监控，记录下所有动作，一旦有问题了，查询历史动作，找到关键信息。如果仓库中的东西价值高，损失已经造成，监控只是事后诸葛，所以往往请专业人士

由英特尔、华为、烽火等联合举办的OpenStack黑客松最近一次活动近日在武汉举行。 OpenStack黑客松，名副其实，真的像一场没有终点的马拉松，每次都修复多个OpenStack社区版本的主要Bug，积极为OpenStack社区做贡献的同时，也推动了OpenStack生态的发展和OpenStac

1. 背景 在使用MySQL时，如果有大表的存储引擎是InnoDB，并且系统参数innodb_file_per_table设置为1，即每个文件对应一个独立的表空间，当对这些大表进行DROP TABLE时，有时会发现整个数据库系统的性能会有显著下降，包括一些只涉及几行数据的简单SELECT查询和DML

问题 红黑树是一种自平衡的二叉查找树，它可以在O(logn)时间内执行查找、插入和删除。在c++ STL，linux内核中都有使用。 红黑树本身是有序的，现在问题是对于指定的元素，如何能快速查到它在整个元素集的排名，或者根据排名快速查询对应的元素？ 思路 排名分顺序和逆序，这里只讨论顺序的情况。顺序

导语 我们发现腾讯云上一些腾讯云MongoDB实例在主库写压力比较大的情况下，这时从库上会出现很多慢查询，经过调查发现，从库在回放oplog的时候加了全局锁，阻塞了所有的读直到回放结束。经过我们的优化，使得从库的读延时降低几倍到几十倍不等，qps也有一个明显的提升。 背景知识 mongodb复制集原

简介-online DDL过程介绍 ddl包含了copy和inplace方式，对于不支持online的ddl操作采用copy方式。对于inplace方式，mysql内部以“是否修改记录格式”为基准也分为两类，一类需要重建表(重新组织记录)，比如optimize table、添加索引、添加/删除列、修

xiaodongpan 使用zabbix最大的瓶颈在于数据库，维护好zabbix的数据存储，告警，就能很好地应用zabbix去构建监控系统。目前zabbix的数据主要存储在history和trends的2个表中，随着时间的推移，这两个表变得非常大，性能会非常差，影响监控的使用。对MySQL进行调优，

2017年10月10日,世界权威数据库管理系统之一的MariaDB的 10.3.2 Alpha版本发布，在版本更新介绍里，出现了这么两行字： ​ ​ 其实，早在去年发布的MariaDB 10.2.3版本中，腾讯互娱运营部DBA团队提交的两个新特性第一次被被集成到新版本中，被点名感谢了！ ​ ​ 时隔

随着国内服务共享化的热潮普及，共享单车，共享雨伞，共享充电宝等各种服务如雨后春笋，随之而来的LBS服务定位问题成为了后端服务的一个挑战。MongoDB对LBS查询的支持较为友好，也是各大LBS服务商的首选数据库。腾讯云MongoDB团队在运营中发现，原生MongoDB在LBS服务场景下有较大的性能瓶