以下情况可能会用到扩缩容 API:
- 大规模初始加载 (超过 4 TB)
- 以尽可能快的速度迁移中等规模的数据
- 在同一服务下支持超过 8 个 CDC ClickPipes
在尝试扩容之前,请先考虑:
- 确保源 DB 具有足够的可用容量
- 检查是否是同步间隔和拉取批次大小设置导致了 CDC 延迟
提高扩缩容级别会按比例增加你的 ClickPipes compute 成本。 如果你扩容只是为了完成初始加载,请务必在快照完成后及时缩容,以避免产生意外费用。有关定价的更多信息,请参阅 ClickPipes 定价。
此流程的前置条件
开始前,您需要具备:
- 在目标 ClickHouse Cloud 服务上具有 Admin 权限的 ClickHouse API key。
- 此前已在该服务中创建过一个 DB ClickPipe (Postgres、MySQL 或 MongoDB) 。CDC 基础设施会在创建第一个 ClickPipe 时一并创建,此后扩缩容端点即可用。
DB ClickPipes 扩缩容步骤
在运行任何命令之前,请先设置以下环境变量:
ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>拉取当前扩缩容配置 (可选) :
curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq
# 示例结果:
{
"result": {
"replicaCpuMillicores": 2000,
"replicaMemoryGb": 8
},
"requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
"status": 200
}设置所需的扩缩容。支持的配置包括 1–24 个 CPU 核心,内存 (GB) 为核心数的 4×:
cat <<EOF | tee cdc_scaling.json
{
"replicaCpuMillicores": 24000,
"replicaMemoryGb": 96
}
EOF
curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq等待配置生效 (通常需要 3–5 分钟) 。扩缩容完成后,GET 端点将显示新的值:
curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq
# 示例结果:
{
"result": {
"replicaCpuMillicores": 24000,
"replicaMemoryGb": 96
},
"requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
"status": 200
}