| 导语 本文实践了对于每日千万级别的用户，操作总数达万级别，几十亿操作流水的留存分析工具秒级别查询的数据构建方案。 同时，除了留存分析，对于用户群分析，事件分析等也可以尝试用此方案来解决。 一、Roaringbitmap简介 二、思路与实现 1.数据构建 2.查询过程 3.实践效果 三、总结与思考

​ 【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ​ ​ 作者：empeliu，腾讯 TEG 后台开发工程师 ElasticSearch 是一个分布式的开源搜索和分析引擎，因其功能强大、简单易用而被

2020年8月5日，腾讯云正式上线保理业务数字化平台“腾讯云鑫-保理云”，以SaaS化方式为商业保理公司、融资租赁公司、中小商业银行等金融机构，提供保理业务开展的全流程数字化能力，助力高效低成本展业。 保理业务是一项以债权人转让其应收账款为前提，集融资、应收账款催收、管理及坏账担保于一体的综合性金融

1. 前言 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它于2016年以apache 2.0协议开源，以优秀的查询性能，深受广大大数据工程师欢迎。为了服务客户业务，腾讯云于2020年4月正式上线ClickHouse服务。 服务上线以来，迅速获得内外客户广泛支持

​ 【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ​ ​ 1. 背景 随着移动互联网、物联网、云计算等信息技术蓬勃发展，数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息，其中离不开搜

说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库。 什么是分区表 分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PostgreSQL一样，都是通过表继承

说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库。 存储格式介绍 Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。 Heap表：这种存储格式是从PostgreSQL继承而来的，目前是GP默认的表存储格式，只支持行存储。 AO表： AO表最初设

说明 本文描述问题及解决方法同样适用于 腾讯云 云数据仓库 。 为什么需要ANALYZE 首先介绍下RBO和CBO，这是数据库引擎在执行SQL语句时的2种不同的优化策略。 RBO（Rule-Based Optimizer） 基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行

2020年9月11日，主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家，与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖，以及众多行业合作伙伴一起相聚云端，共话大数据技术的最新技术演进趋势和应用实践。 「 Had

2020年9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。 ​ 「 算

2020年9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力，助力企业从基础设施层、场景开发层以及行业应用层快速构建一

**导语：**在金融场景下，银行等机构有强烈愿望和其他数据拥有方合作建模，但出于商业和合规方面的考虑，又不愿共享核心数据，导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发，从技术角度探讨如何解决这一困境，希望与大家一同交流。 一、引言 银行等金融机构拥有用户历史行为数据，例如是否诈

1. 前言 随着云上ClickHouse服务完善，越来越多的用户将自建ClickHouse服务迁移至云上。对于不同数据规模，我们选择不同的方案: 对于数据量比较小的表，通常小于10GB情况下，可以将数据到处为CSV格式，在云上集群重新写入数据； 使用clickhouse发行版自带工具clickhou

​ 【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ​ ​ 随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到

​ 【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景 ​ ​ 背景说明： 深夜接到客户紧急电话，反馈腾讯云kafka中有大量消息堆积未及时消费。每分钟堆积近100w条数据。但是查看es监控，各项指标都远