在测试新用例或进行实现基准测试时,生成随机数据非常有用。 ClickHouse 提供了丰富的随机数据生成函数,在很多情况下,无需使用外部数据生成器。
本指南提供了多个示例,介绍如何在 ClickHouse 中根据不同的随机性需求生成随机数据集。
简单均匀分布数据集
用例:快速生成一个包含随机时间戳和事件类型的用户事件数据集。
CREATE TABLE user_events (
event_id UUID,
user_id UInt32,
event_type LowCardinality(String),
event_time DateTime
) ENGINE = MergeTree
ORDER BY event_time;
INSERT INTO user_events
SELECT
generateUUIDv4() AS event_id,
rand() % 10000 AS user_id,
arrayElement(['click','view','purchase'], toUInt32(rand()) % 3 + 1) AS event_type,
now() - INTERVAL rand() % 3600*24 SECOND AS event_time
FROM numbers(1000000);rand() % 10000:1 万用户的均匀分布arrayElement(...):随机选择三种事件类型中的一种- 时间戳分布在前 24 小时内
指数分布
适用场景:模拟购买金额,其中大多数值较低,只有少数值较高。
CREATE TABLE purchases (
dt DateTime,
customer_id UInt32,
total_spent Float32
) ENGINE = MergeTree
ORDER BY dt;
INSERT INTO purchases
SELECT
now() - INTERVAL randUniform(1,1_000_000) SECOND AS dt,
number AS customer_id,
15 + round(randExponential(1/10), 2) AS total_spent
FROM numbers(500000);- 最近一段时间内均匀分布的时间戳
randExponential(1/10)— 大多数值接近 0,最小偏移量为 15 ([ClickHouse][1]、[ClickHouse][2]、[Atlantic.Net][3]、[GitHub][4])
按时间分布的事件 (泊松)
用例:模拟在特定时间段内集中到达的事件 (例如高峰时段) 。
CREATE TABLE events (
dt DateTime,
event_type String
) ENGINE = MergeTree
ORDER BY dt;
INSERT INTO events
SELECT
toDateTime('2022-12-12 12:00:00')
- ((12 + randPoisson(12)) * 3600) AS dt,
'click' AS event_type
FROM numbers(200000);- 事件在中午前后达到峰值,并呈现泊松分布的波动
时变正态分布
适用场景:模拟随时间变化的系统指标 (例如 CPU 使用率) 。
CREATE TABLE IF NOT EXISTS cpu_metrics (
host String,
ts DateTime,
usage Float32
) ENGINE = MergeTree
ORDER BY (host, ts);
INSERT INTO cpu_metrics
SELECT
arrayJoin(['host1','host2','host3']) AS host,
now() - INTERVAL number SECOND AS ts,
greatest(0.0, least(100.0,
(50 + 30 * sin(toUInt32(number) % 86400 / 86400.0 * 2 * pi()))
+ randNormal(0, 10)
)) AS usage
FROM numbers(10000);usage呈现昼夜周期性的正弦波变化 + 随机性- 值限定在 [0,100] 范围内
分类数据与嵌套数据
用例:创建具有多个兴趣标签的用户画像。
CREATE TABLE user_profiles (
user_id UInt32,
interests Array(String),
scores Array(UInt8)
) ENGINE = MergeTree
ORDER BY user_id;
INSERT INTO user_profiles
SELECT
number AS user_id,
arrayShuffle(['sports','music','tech'])[1 + rand() % 3 : 1 + rand() % 3] AS interests,
[rand() % 100, rand() % 100, rand() % 100] AS scores
FROM numbers(20000);- 随机数组长度在 1–3 之间
- 每种兴趣对应每位用户的三个评分
生成随机表
generateRandomStructure 函数与 generateRandom 表引擎结合使用时尤其有用,可用于测试、基准测试,或创建具有任意 schema 的模拟数据。
先来看看使用 generateRandomStructure 函数生成的随机结构是什么样的:
SELECT generateRandomStructure(5);你可能会看到类似下面这样的内容:
c1 UInt32, c2 Array(String), c3 DateTime, c4 Nullable(Float64), c5 Map(String, Int16)你也可以使用种子,以便每次都获得相同的结构:
SELECT generateRandomStructure(3, 42);c1 String, c2 Array(Nullable(Int32)), c3 Tuple(UInt8, Date)现在我们来创建一个实际的表,并用随机数据填充它:
CREATE TABLE my_test_table
ENGINE = MergeTree
ORDER BY tuple()
AS SELECT *
FROM generateRandom(
'col1 UInt32, col2 String, col3 Float64, col4 DateTime',
1, -- 数据生成的种子值
10 -- 不同随机值的数量
)
LIMIT 100; -- 100 行
-- 第 2 步:查询新表
SELECT * FROM my_test_table LIMIT 5;┌───────col1─┬─col2──────┬─────────────────────col3─┬────────────────col4─┐
│ 4107652264 │ &b!M-e;7 │ 1.0013455832230728e-158 │ 2059-08-14 19:03:26 │
│ 652895061 │ Dj7peUH{T │ -1.032074207667996e112 │ 2079-10-06 04:18:16 │
│ 2319105779 │ =D[ │ -2.066555415720528e88 │ 2015-04-26 11:44:13 │
│ 1835960063 │ _@}a │ -1.4998020545039013e110 │ 2063-03-03 20:36:55 │
│ 730412674 │ _}! │ -1.3578492992094465e-275 │ 2098-08-23 18:23:37 │
└────────────┴───────────┴──────────────────────────┴─────────────────────┘把这两个函数结合起来,生成一个完全随机的表。 先看看会得到什么结构:
SELECT generateRandomStructure(7, 123) AS structure FORMAT vertical;┌─structure──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ c1 Decimal64(7), c2 Enum16('c2V0' = -21744, 'c2V1' = 5380), c3 Int8, c4 UUID, c5 UUID, c6 FixedString(190), c7 Map(Enum16('c7V0' = -19581, 'c7V1' = -10024, 'c7V2' = 27615, 'c7V3' = -10177, 'c7V4' = -19644, 'c7V5' = 3554, 'c7V6' = 29073, 'c7V7' = 28800, 'c7V8' = -11512), Float64) │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘现在按该结构创建表,并使用 DESCRIBE 语句查看创建结果:
CREATE TABLE fully_random_table
ENGINE = MergeTree
ORDER BY tuple()
AS SELECT *
FROM generateRandom(generateRandomStructure(7, 123), 1, 10)
LIMIT 1000;
DESCRIBE TABLE fully_random_table; ┌─name─┬─type─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
1. │ c1 │ Decimal(18, 7) │ │ │ │ │ │
2. │ c2 │ Enum16('c2V0' = -21744, 'c2V1' = 5380) │ │ │ │ │ │
3. │ c3 │ Int8 │ │ │ │ │ │
4. │ c4 │ UUID │ │ │ │ │ │
5. │ c5 │ UUID │ │ │ │ │ │
6. │ c6 │ FixedString(190) │ │ │ │ │ │
7. │ c7 │ Map(Enum16('c7V4' = -19644, 'c7V0' = -19581, 'c7V8' = -11512, 'c7V3' = -10177, 'c7V1' = -10024, 'c7V5' = 3554, 'c7V2' = 27615, 'c7V7' = 28800, 'c7V6' = 29073), Float64) │ │ │ │ │ │
└──────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘查看第一行中的生成数据示例:
SELECT * FROM fully_random_table LIMIT 1 FORMAT vertical;Row 1:
──────
c1: 80416293882.257732 -- 804.2亿
c2: c2V1
c3: -84
c4: 1a9429b3-fd8b-1d72-502f-c051aeb7018e
c5: 7407421a-031f-eb3b-8571-44ff279ddd36
c6: g̅b�&��rҵ���5C�\�|��H�>���l'V3��R�[��=3�G�LwVMR*s緾/2�J.���6#��(�h>�lە��L^�M�:�R�9%d�ž�zv��W����Y�S��_no��BP+��u��.0��UZ!x�@7:�nj%3�Λd�S�k>���w��|�&��~
c7: {'c7V8':-1.160941256852442}