问题导读： ClickHouse 引擎 TinyLog 同时对一张表进行读写操作，读操会错误 同时在多个查询中进行写入操作，数据将被破坏 CREATE TABLE test.tinyLog_test ( id String, name String) ENGINE = TinyLog
insert into test.Log_test (id, name) values ('1', 'first'); 复制代码 [root@root test]$ tree -CL 5 ./tinyLog_test/
./tinyLog_test/
├── id.bin
├── name.bin
└── sizes.json 复制代码 Log CREATE TABLE test.Log_test ( id String, name String) ENGINE = Log
insert into test.Log_test (id, name) values ('1', 'abc');
insert into test.Log_test (id, name) values ('2', 'q');
insert into test.Log_test (id, name) values ('3', 'w');
insert into test.Log_test (id, name) values ('4', 'e');
insert into test.Log_test (id, name) values ('5', 'r');
复制代码
[root@root test]$ tree -CL 5 ./Log_test/
./Log_test/
├── id.bin
├── __marks.mrk
├── name.bin
└── sizes.json 复制代码 Memory create table test.me1 (id String, name String) ENGINE=TinyLog;
create table test.me2 (id String, name String) ENGINE=TinyLog;
create table test.me3 (id String, name String) ENGINE=TinyLog;
insert into me1(id, name) values ('1', 'first');
insert into me2(id, name) values ('2', 'xxxx');
insert into me3(id, name) values ('12', 'i am in t3');
create table merge_test (id String, name String) ENGINE=Merge(currentDatabase(), 'me[1-9]\d*'); 复制代码
Distributed Distributed(remote_group, database, table [, sharding_key])
eg. Distributed(logs, default, hits[, sharding_key])
复制代码 remote_group 是配置文件（默认在 /etc/clickhouse-server/config.xml ）中的 remote_servers 一节的配置信息。 database 是各服务器中的库名。可以使用返回字符串的常量表达式来代替数据库名称。例如：currentDatabase（）。 table 是表名。 sharding_key 是一个 寻址表达式 ，可以是一个列名，也可以是像 rand() 之类的函数调用，它与 remote_servers 中的 weight 共同作用，在写入时决定往哪个 shard 写。每个分片都可以在配置文件中定义一个weight 。默认情况下，weight 重等于1。数据以与shard weight成比例的量分布在shards中。例如，如果有两个碎片，第一个的weight 为9，而第二个的weight 为10，则第一个将发送9/19parts ，第二个将发送10/19。要判断一行数据发送到哪个shard ，通过分片表达式我们能得到一个数字，这个数字对总权重进行取余操作。余数命中哪个shard 的范围，这条数据就会在那个shard 上。例如，如果有两个碎片，第一个碎片的权重为9，其shard的范围是[0，9]，第二个碎片的碎片权重为10，shard的范围[9,19]。假设该行sharding expression 为22 则公式为 22 对 总权重19 取 余得3 应该在第一个分片上。分片表达式可以是返回一个整数的来自常量和表中列的任何表达式。例如，您可以使用表达式rand（）来随机分配数据，或使用’UserID’来分配剩余的用户ID（然后单个用户的数据将驻留在单个分片上，这简化了由用户运行IN和JOIN）。如果其中一列的分布不够均匀，则可以将其包装在散列函数中：intHash64（UserID）。划分的一个简单余数是分片的有限解决方案，并不总是合适的。它适用于大量数据（数十台服务器），但不适用于大量数据（数百台服务器或更多）。在后一种情况下，请使用主题区所需的分片方案，而不要使用分布式表中的条目。 host 远程服务器的地址。您可以使用域或IPv4或IPv6地址。如果指定域，则服务器在启动时发出DNS请求，并且只要服务器正在运行，结果就会被存储。如果DNS请求失败，服务器不会启动。如果您更改DNS记录，请重新启动服务器。 port 信使活动的TCP端口（配置中的’tcp_port’，通常设置为9000）。不要将它与http_port混淆。 user 连接到远程服务器的用户的名称。默认值：default。该用户必须有权访问指定的服务器。 Access在users.xml文件中配置。有关更多信息，请参阅“Access rights”部分。 password 连接到远程服务器的密码（未加密）。默认值：空字符串 有两种将数据写入群集的方法: 使用查询需要通过特定键连接数据（IN或JOIN）。如果数据被该键分割，则可以使用本地IN或JOIN而不是GLOBAL IN或GLOBAL JOIN，这样更有效。 使用大量服务器（数百个或更多）以及大量小型查询（查询单个客户端 - 网站，广告商或合作伙伴）。为了使小型查询不影响整个群集，在单个分片上定位单个客户端的数据是有意义的。或者，正如我们在Yandex.Metrica中所做的那样，您可以设置双层分片：将整个群集划分为“layers”（层），其中layers可以由多个分片组成。单个客户端的数据位于单个layers上，但必要时可将碎片添加到layers中，并且数据随机分布在其中。为每个layer创建分布式表，并为全局查询创建一个共享分布式表。 MergeTree EventDate 一个日期的列名。一个MergeTree 类型的表必须有一个包含date类型的列。必须是Date类型不允许是DateTime intHash32(UserID) 采样表达式。来伪随机的对主键里的CounterID和EventDate进行打散。换句话说，当使用了SAMPLE子句时，您会为一部分用户获得均匀的伪随机数据样本。 (CounterID, EventDate) 主键组（里面除了列名，也支持表达式），也可以是一个表达式。 8192 主键索引的粒度。 这个表是由很多个part构成。每一个part 按照主键进行了排序，除此之外，每一个part含有一个最小日期和最大日期。当插入数据的时候，会创建一个新的sort part ，同时会在后台周期行的进行merge的过程，当merge的时候，很多个part会被选中，通常是一个最小的一些part，然后merge成为一个大的排序好的part。 简单来说，整个整个合并排序的过程是在数据插入表的时候进行的。这个merge会导致这个表总是由少量的排序好的part构成，而且这个merge 本身没有做特别多的工作。这些part 在进行合并的时候会有一个大小的阈值，所以不会有太长的merge过程。 对于每一个part会生成索引文件。这个索引文件储存了表里面每一个索引块数据的主键的value值，也就是这是这个part的小型索引 对于列来说，在每一个索引块的数据也写入了标记，从而让数据可以在明确的数值范围内被查找到 当读表里的数据时，select 查询会被转化为要使用那些索引。这些索引会被用在判断where 条件或者prewhere 条件中，来判断是否命中了这些索引区间。 因此能够快速查询一个或者多个主键范围的值，在下面的示例中，能够快速的查询一个明确的counter，执行范围的日期区间里的一个明确的counter，各种counter的集合等。 支持主键索和日期索引。 可以提供实时的数据更新。 MergeTree 类型的表必须有一个 Date 类型列。因为默认情况下数据是按时间进行分区存放的。 MergeTree 默认分区是以月为单位，同一个月的数据永远都不会被合并，从1.1.54310 版本以后，可以自定义。可以通过 system.parts 表查看表的分区情况 同一个分区的数据会被切割到不同的文件夹中。 当有新数据写入时，数据会被写入新的文件夹中，后台会有线程定时对这些文件夹进行合并。 每个文件夹中包含当前文件夹范围内的数据，数据按照主码排序，并且每个文件夹中有一个针对该文件夹中数据的索引文件。 索引 每个数据分区的子文件夹都有一个独立索引。 对于日期索引，查询仅仅在包含这些数据的分区上执行。 当 where 子句中在索引列及 Date 列上做了“等于、不等于、>=、<=、>、<、IN、bool 判断”操作，索引就会起作用。 Like 操作不会使用索引如下面的 SQL 将不会用到索引。eg.SELECT count()FROM table WHERE CounterID = 34 OR URL LIKE ‘%upyachka%’。 查询时最好指定主码，因为在一个子分区中，数据按照主码存储。所以，当定位到某天的数据文件夹时，如果这一天数据量很大，查询不带主码就会导致大量的数据扫描。 create table mergeTree_test (gmt Date, id UInt16, name String, point UInt16) ENGINE=MergeTree(gmt, (id, name), 10);
insert into mergeTree_test(gmt, id, name, point) values ('2017-04-01', 1, 'zys', 10);
insert into mergeTree_test(gmt, id, name, point) values ('2017-06-01', 4, 'abc', 10);
insert into mergeTree_test(gmt, id, name, point) values ('2017-04-03', 5, 'zys', 11); 复制代码
ReplacingMergeTree create table rmt_test (gmt Date, id UInt16, name String, point UInt16) ENGINE=ReplacingMergeTree(gmt, (name), 10, point);
insert into rmt_test (gmt, id, name, point) values ('2017-07-10', 1, 'a', 20);
insert into rmt_test (gmt, id, name, point) values ('2017-07-10', 1, 'a', 30);
insert into rmt_test (gmt, id, name, point) values ('2017-07-11', 1, 'a', 20);
insert into rmt_test (gmt, id, name, point) values ('2017-07-11', 1, 'a', 30);
insert into rmt_test (gmt, id, name, point) values ('2017-07-11', 1, 'a', 10);
复制代码
:) select * from rmt_test
SELECT *
FROM rmt_test
┌────────gmt─┬─id─┬─name─┬─point─┐
│ 2017-07-11 │ 1 │ a │ 30 │
└────────────┴────┴──────┴───────┘
1 rows in set. Elapsed: 0.003 sec. 复制代码 SummingMergeTree
SummingMergeTree(EventDate, (OrderID, EventDate, BannerID, ...), 8192)
SummingMergeTree(EventDate, (OrderID, EventDate, BannerID, ...), 8192, (Shows, Clicks, Cost, ...))
复制代码 表的第一列是数字类（Uint ，Date ，DateTime），我们将它称之为key； 其他列是支持运算的（(U)IntN, Float32/64），我们将它称之为values 然后，这个嵌套表被解释为key =>（values …）的映射，并且在merging时，两个数据集的元素通过’key’合并，相应的（值…） 合并求和。 Examples： [(1, 100)] + [(2, 150)] -> [(1, 100), (2, 150)] key 不相同 (1, 100)] + [(1, 150)] -> [(1, 250)] key 相同 [(1, 100)] + [(1, 150), (2, 150)] -> [(1, 250), (2, 150)] [(1, 100), (2, 150)] + [(1, -100)] -> [(2, 150)] AggregatingMergeTree CREATE TABLE t
(
column1 AggregateFunction(uniq, UInt64),
column2 AggregateFunction(anyIf, String, UInt8),
column3 AggregateFunction(quantiles(0.5, 0.9), UInt64)
) ENGINE = ...
复制代码 SELECT uniq(UserID) FROM table
SELECT uniqMerge(state) FROM (SELECT uniqState(UserID) AS state FROM table GROUP BY RegionID) 复制代码 CREATE MATERIALIZED VIEW test.basic
ENGINE = AggregatingMergeTree(StartDate, (CounterID, StartDate), 8192)
AS SELECT
CounterID,
StartDate,
sumState(Sign) AS Visits,
uniqState(UserID) AS Users
FROM test.visits
GROUP BY CounterID, StartDate; 复制代码 SELECT
StartDate,
sumMerge(Visits) AS Visits,
uniqMerge(Users) AS Users
FROM test.basic
GROUP BY StartDate
ORDER BY StartDate; 复制代码 CollapsingMergeTree
select name, sum(point * sign) from t group by name; 复制代码 ┌─name─┬─sum(multiply(point, sign))─┐
│ b │ 181 │
│ c │ 31 │
│ a │ 101 │
└──────┴────────────────────────────┘ 复制代码 insert into t (sign, gmt, name, point) values (-1, '2017-07-11', 'd', 10), 复制代码
┌─name─┬─sum(multiply(point, sign))─┐
│ b │ 181 │
│ c │ 31 │
│ d │ -10 │
│ a │ 101 │
└──────┴────────────────────────────┘ 复制代码 select name, sum(point * sign) from t group by name having sum(sign) > 0; 复制代码
┌─name─┬─sum(multiply(point, sign))─┐
│ b │ 181 │
│ c │ 31 │
│ a │ 101 │
└──────┴────────────────────────────┘ 复制代码
┌─sign─┬────────gmt─┬─name─┬─point─┐
│ 1 │ 2017-07-10 │ a │ 123 │
│ -1 │ 2017-07-10 │ a │ 123 │
│ 1 │ 2017-07-10 │ b │ 29 │
│ -1 │ 2017-07-10 │ b │ 29 │
│ 1 │ 2017-07-10 │ c │ 290 │
│ -1 │ 2017-07-10 │ c │ 290 │
│ 1 │ 2017-07-11 │ a │ 101 │
│ 1 │ 2017-07-11 │ b │ 181 │
│ 1 │ 2017-07-11 │ c │ 31 │
│ -1 │ 2017-07-11 │ d │ 10 │
└──────┴────────────┴──────┴───────┘ 复制代码 ┌─sign─┬────────gmt─┬─name─┬─point─┐
│ 1 │ 2017-07-11 │ a │ 101 │
│ 1 │ 2017-07-11 │ b │ 181 │
│ 1 │ 2017-07-11 │ c │ 31 │
│ -1 │ 2017-07-11 │ d │ 10 │
└──────┴────────────┴──────┴───────┘ 复制代码 create table t(sign Int8, gmt Date, name String, point UInt16) ENGINE=CollapsingMergeTree(gmt, (gmt, name), 8192, sign); 复制代码 GraphiteMergeTree Data replication CREATE TABLE 操作将在运行查询的服务器上创建一个新的可复制表。如果该表已经存在于其他服务器上，它将添加一个新的副本。 DROP TABLE 操作将删除位于运行查询的服务器上的副本。 RENAME 操作会重命名其中一个副本上的表。就是说，复制表可以在不同副本上具有不同的名称 <zookeeper>
<node index="1">
<host>example1</host>
<port>2181</port>
</node>
<node index="2">
<host>example2</host>
<port>2181</port>
</node>
<node index="3">
<host>example3</host>
<port>2181</port>
</node>
</zookeeper> 复制代码 创建复制表 ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/hits', '{replica}', EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID), EventTime), 8192) 复制代码 Recovery after failures Buffer Buffer(database, table, num_layers, min_time, max_time, min_rows, max_rows, min_bytes, max_bytes)
-- 先创建源表
create table source_table (gmt Date, id UInt16, name String, point UInt16) ENGINE=MergeTree(gmt, (id, name), 10);
-- 在创建buffer表
create table source_buffer as t ENGINE=Buffer(default, source_table, 16, 3, 20, 2, 10, 1, 10000)
复制代码 database：数据库， table：表 - 将数据刷新到的表。您可以使用一个返回string.num_layers - Parallelism图层的常量表达式来代替数据库名称。数据库和表名的单引号中设置空字符串。这代表没有目标表。在这种情况下，当达到数据刷新条件时，缓冲区将被清除。这对于在内存中保存数据窗口可能很有用。 num_layers 是类似“分区”的概念，每个分区的后面的 min / max 是独立计算的，官方推荐的值是 16 。为每个’num_layers’缓冲区分别计算刷新数据的条件。例如，如果num_layers = 16且max_bytes = 100000000，则最大RAM消耗为1.6 GB。 min / max 这组配置荐，就是设置阈值的，分别是 时间（秒），行数，空间（字节）。 如果一次写入的数据太大或太多，超过了 max 条件，则会直接写入源表。 删源表或改源表的时候，建议 Buffer 表删了重建。 “友好重启”时， Buffer 数据会先落到源表，“暴力重启”， Buffer 表中的数据会丢失。 即使使用了 Buffer ，多次的小数据写入，对比一次大数据写入，也 慢得多 （几千行与百万行的差距）。 https://knifefly.cn/2019/10/04/C ... %E6%A6%82%E8%BF%B0/ 最新经典文章，欢迎关注公众号
/2 
京ICP备2020039040号
简书网举报电话：021-34700000
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
