Mise à l’échelle des ClickPipes MongoDB via OpenAPI

L’API de mise à l’échelle peut être utile pour :

• Des chargements initiaux volumineux (plus de 4 To)
• Migrer un volume modéré de données aussi rapidement que possible
• Prendre en charge plus de 8 ClickPipes CDC dans le même service

Avant d’essayer d’augmenter la capacité, tenez compte des points suivants :

• Vérifier que la DB source dispose de suffisamment de capacité disponible
• Examiner les paramètres sync interval et pull batch size, qui pourraient être à l’origine de retards CDC

L’augmentation de l’échelle accroîtra proportionnellement vos coûts de calcul ClickPipes. Si vous augmentez l’échelle uniquement pour les chargements initiaux, il est important de la réduire une fois le snapshot terminé afin d’éviter des frais inattendus. Pour plus de détails sur la tarification, consultez la tarification ClickPipes.

Avant de commencer, vous aurez besoin de :

1. Une clé API ClickHouse avec les autorisations Admin sur le service ClickHouse Cloud cible.
2. Un ClickPipe DB (Postgres, MySQL ou MongoDB) déjà provisionné sur le service. L’infrastructure CDC est créée avec le premier ClickPipe, et les endpoints de mise à l’échelle deviennent disponibles à partir de ce moment-là.

Définissez les variables d'environnement suivantes avant d'exécuter toute commande :

ORG_ID=<Your ClickHouse organization ID>
SERVICE_ID=<Your ClickHouse service ID>
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>

Récupérez la configuration actuelle de mise à l’échelle (facultatif) :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 2000,
    "replicaMemoryGb": 8
  },
  "requestId": "04310d9e-1126-4c03-9b05-2aa884dbecb7",
  "status": 200
}

Définissez le niveau de mise à l’échelle souhaité. Les configurations prises en charge vont de 1 à 24 cœurs CPU, avec une mémoire (Go) fixée à 4× le nombre de cœurs :

cat <<EOF | tee cdc_scaling.json
{
  "replicaCpuMillicores": 24000,
  "replicaMemoryGb": 96
}
EOF

curl --silent --user $KEY_ID:$KEY_SECRET \
-X PATCH -H "Content-Type: application/json" \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
-d @cdc_scaling.json | jq

Attendez que la configuration soit propagée (généralement 3 à 5 minutes). Une fois la mise à l’échelle terminée, l’endpoint GET affichera les nouvelles valeurs :

curl --silent --user $KEY_ID:$KEY_SECRET \
https://api.clickhouse.cloud/v1/organizations/$ORG_ID/services/$SERVICE_ID/clickpipesCdcScaling \
| jq

# example result:
{
  "result": {
    "replicaCpuMillicores": 24000,
    "replicaMemoryGb": 96
  },
  "requestId": "5a76d642-d29f-45af-a857-8c4d4b947bf0",
  "status": 200
}