Mise à l’échelle des ClickPipes MySQL via OpenAPI

L’API de mise à l’échelle peut être utile dans les cas suivants :

• Des chargements initiaux importants (plus de 4 To)
• Migrer une quantité modérée de données aussi rapidement que possible
• Prendre en charge plus de 8 ClickPipes CDC sur le même service

Avant de tenter une montée en charge, tenez compte des points suivants :

• Vérifier que la base de données source dispose d’une capacité disponible suffisante
• Ajuster d’abord le parallélisme du chargement initial et le partitionnement lors de la création d’un ClickPipe
• Vérifier la présence de transactions de longue durée sur la source, qui pourraient entraîner des retards de CDC

Augmenter l’échelle augmentera proportionnellement vos coûts de calcul ClickPipes. Si vous augmentez l’échelle uniquement pour les chargements initiaux, il est important de la réduire une fois l’instantané terminé afin d’éviter des frais inattendus. Pour plus de détails sur la tarification, consultez la tarification ClickPipes.

Avant de commencer, vous aurez besoin de :

1. D’une clé API ClickHouse avec les autorisations Admin sur le service ClickHouse Cloud cible.
2. D’un DB ClickPipe (Postgres, MySQL ou MongoDB) ayant été provisionné dans le service à un moment donné. L’infrastructure CDC est créée avec le premier ClickPipe, et les endpoints de mise à l’échelle deviennent disponibles à partir de ce moment-là.

Définissez les variables d’environnement suivantes avant d’exécuter toute commande :

ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>

Récupérez la configuration actuelle de mise à l’échelle (facultatif) :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 2000,
    "replicaMemoryGb": 8
  },
  "requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
  "status": 200
}

Définissez la mise à l’échelle souhaitée. Les configurations prises en charge vont de 1 à 24 cœurs de CPU, avec une mémoire (Go) définie à 4× le nombre de cœurs :

cat <<EOF | tee cdc_scaling.json
{
  "replicaCpuMillicores": 24000,
  "replicaMemoryGb": 96
}
EOF

curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq

Attendez que la configuration prenne effet (généralement 3 à 5 minutes). Une fois la mise à l’échelle terminée, l’endpoint GET reflétera les nouvelles valeurs :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 24000,
    "replicaMemoryGb": 96
  },
  "requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
  "status": 200
}