业务需要一种OLAP引擎,详解可以做到实时写入存储和查询计算功能,步K布式表提供高效、数据稳健的详解实时数据服务,最终决定ClickHouse
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
列式数据库更适合于OLAP场景(对于大多数查询而言,数据处理速度至少提高了100倍),详解下面详细解释了原因(通过图片更有利于直观理解),步K布式表图片来源于ClickHouse中文官方文档。数据
行式
列式
我们使用Flink编写程序,详解消费kafka里面的步K布式表主题数据,清洗、数据归一,详解写入到clickhouse里面去。步K布式表
这里的数据关键点,由于第一次使用,无法分清应该建立什么格式的clickhouse表,出现了一些问题,最大的问题就是程序将数据写入了,亿华云计算查询发现数据不完整,只有一部分。我也在网上查了一些原因,总结下来。
为什么有时看不到已经创建好的表并且查询结果一直抖动时多时少?
常见原因1:
建表流程存在问题。ClickHouse的分布式集群搭建并没有原生的分布式DDL语义。如果您在自建ClickHouse集群时使用create table创建表,查询虽然返回了成功,但实际这个表只在当前连接的Server上创建了。下次连接重置换一个Server,您就看不到这个表了。
解决方案:
建表时,请使用create table <table_name> on cluster default语句,on cluster default声明会把这条语句广播给default集群的所有节点进行执行。示例代码如下。 Create table test on cluster default (a UInt64) Engine = MergeTree() order by tuple(); 在test表上再创建一个分布式表引擎,建表语句如下。 Create table test_dis on cluster default as test Engine = Distributed(default, default, test, cityHash64(a));
常见原因2:
ReplicatedMergeTree存储表配置有问题。ReplicatedMergeTree表引擎是对应MergeTree表引擎的主备同步增强版,在单副本实例上限定只能创建MergeTree表引擎,香港云服务器在双副本实例上只能创建ReplicatedMergeTree表引擎。
解决方案:
在双副本实例上建表时,请使用ReplicatedMergeTree(‘/clickhouse/tables/{ database}/{ table}/{ shard}’, ‘{ replica}’)或ReplicatedMergeTree()配置ReplicatedMergeTree表引擎。其中,ReplicatedMergeTree(‘/clickhouse/tables/{ database}/{ table}/{ shard}’, ‘{ replica}’)为固定配置,无需修改。
这里引出了复制表的概念,这里介绍一下,只有 MergeTree 系列里的表可支持副本:
ReplicatedMergeTree
ReplicatedSummingMergeTree
ReplicatedReplacingMergeTree
ReplicatedAggregatingMergeTree ReplicatedCollapsingMergeTree
ReplicatedVersionedCollapsingMergeTree
ReplicatedGraphiteMergeTree
副本是表级别的,不是整个服务器级的。所以,服务器里可以同时有复制表和非复制表。副本不依赖分片。每个分片有它自己的独立副本。
先做好准备工作,该建表的建表,然后编写程序。在表引擎名称上加上 Replicated 前缀。例如:ReplicatedMergeTree。服务器托管
首先创建一个分布式数据库 ?