다음과 같은 경우 스케일링 API가 유용할 수 있습니다:
- 대규모 초기 적재(4 TB 초과)
- 중간 규모의 데이터를 가능한 한 빠르게 마이그레이션해야 하는 경우
- 동일한 서비스에서 8개를 초과하는 CDC ClickPipes를 운영해야 하는 경우
스케일 업을 시도하기 전에 다음 사항을 고려하십시오:
- 소스 DB에 충분한 가용 용량이 있는지 확인
- ClickPipe를 생성할 때 먼저 초기 적재 병렬화 및 파티셔닝을 조정
- CDC 지연의 원인이 될 수 있는 장기 실행 트랜잭션이 소스 DB에 있는지 확인
스케일을 높이면 ClickPipes 컴퓨트 비용도 비례하여 증가합니다. 초기 적재만을 위해 스케일 업하는 경우, 예기치 않은 청구를 피하려면 스냅샷이 완료된 후 반드시 스케일 다운해야 합니다. 가격에 대한 자세한 내용은 Postgres CDC 요금을 참조하십시오.
이 프로세스의 사전 요구 사항
시작하기 전에 다음이 필요합니다:
- 대상 ClickHouse Cloud 서비스에서 관리자 권한이 부여된 ClickHouse API Key
- 이전에 서비스에 한 번이라도 프로비저닝된 DB ClickPipe(Postgres, MySQL 또는 MongoDB). CDC 인프라는 첫 번째 ClickPipe가 생성될 때 함께 생성되며, 그 시점부터 스케일링 엔드포인트를 사용할 수 있습니다.
DB ClickPipes 규모를 조정하는 단계
명령을 실행하기 전에 다음 환경 변수를 설정하세요:
ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>현재 스케일링 구성을 조회합니다(선택 사항):
curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq
# example result:
{
"result": {
"replicaCpuMillicores": 2000,
"replicaMemoryGb": 8
},
"requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
"status": 200
}원하는 스케일링을 설정하세요. 지원되는 구성은 메모리(GB)가 코어 수의 4배로 설정된 1~32 CPU 코어입니다:
cat <<EOF | tee cdc_scaling.json
{
"replicaCpuMillicores": 32000,
"replicaMemoryGb": 128
}
EOF
curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq구성이 전파될 때까지 기다리십시오(일반적으로 3~5분이 소요됩니다). 스케일링이 완료되면 GET endpoint에 새 값이 반영됩니다:
curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq
# example result:
{
"result": {
"replicaCpuMillicores": 32000,
"replicaMemoryGb": 128
},
"requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
"status": 200
}