AWS PrivateLink

Vous pouvez utiliser AWS PrivateLink pour établir une connectivité sécurisée entre des VPC, des services AWS, vos systèmes sur site et ClickHouse Cloud, sans exposer le trafic à l’Internet public. Ce document présente les étapes à suivre pour vous connecter à ClickHouse Cloud à l’aide d’AWS PrivateLink.

Pour restreindre l’accès à vos services ClickHouse Cloud exclusivement aux adresses AWS PrivateLink, suivez les instructions de ClickHouse Cloud relatives aux listes d’accès IP.

ClickHouse Cloud prend en charge le PrivateLink inter-région pour les services hébergés dans les régions AWS suivantes :

Le tableau couvre uniquement les régions d’hébergement des services. Les régions des endpoints VPC d’interface côté consommateur utilisent une liste d’autorisation distincte ; par exemple, mx-central-1 est une région consommateur autorisée, même si les services qui y sont hébergés ne peuvent pas activer l’accès inter-région.

Veuillez effectuer les opérations suivantes pour activer AWS PrivateLink :

1. Récupérez le "Service name" de l’endpoint.
2. Créez l’endpoint AWS.
3. Ajoutez l’"Endpoint ID" à l’organisation ClickHouse Cloud.
4. Ajoutez l’"Endpoint ID" à la liste d’autorisation du service ClickHouse.

Vous trouverez des exemples Terraform ici.

ClickHouse essaie de regrouper vos services pour réutiliser le même endpoint de service publié au sein de la région AWS. Cependant, ce regroupement n'est pas garanti, surtout si vos services sont répartis entre plusieurs organisations ClickHouse. Si PrivateLink est déjà configuré pour d'autres services de votre organisation ClickHouse, vous pouvez souvent ignorer la plupart des étapes grâce à ce regroupement et passer directement à l'étape finale : ajouter l'« Endpoint ID » ClickHouse à la liste d'autorisation du service ClickHouse.

Avant de commencer, vous aurez besoin de :

1. Votre compte AWS.
2. clé API ClickHouse avec les permissions nécessaires pour créer et gérer des endpoints privés côté ClickHouse.

Suivez ces étapes pour connecter vos services ClickHouse Cloud à l’aide d’AWS PrivateLink.

Dans la console ClickHouse Cloud, ouvrez le service auquel vous souhaitez vous connecter via PrivateLink, puis accédez au menu Settings.

Relevez le Service name et le nom DNS, puis passez à l’étape suivante.

Commencez par définir les variables d’environnement suivantes avant d’exécuter des commandes :

REGION=<Your region code using the AWS format, for example: us-west-2>
PROVIDER=aws
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
SERVICE_NAME=<Your ClickHouse service name>

Obtenez votre INSTANCE_ID ClickHouse en filtrant par région, fournisseur et nom du service :

INSTANCE_ID=$(curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services" | \
jq ".result[] | select (.region==\"${REGION:?}\" and .provider==\"${PROVIDER:?}\" and .name==\"${SERVICE_NAME:?}\") | .id " -r)

Récupérez endpointServiceId et privateDnsHostname pour votre configuration PrivateLink :

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | \
jq .result

Cette commande devrait renvoyer quelque chose comme :

{
  "endpointServiceId": "com.amazonaws.vpce.us-west-2.vpce-svc-xxxxxxxxxxxxxxxxx",
  "privateDnsHostname": "xxxxxxxxxx.us-west-2.vpce.aws.clickhouse.cloud"
}

Prenez note des valeurs de endpointServiceId et privateDnsHostname passez à l’étape suivante.

Ouvrez la console AWS et accédez à VPC → Endpoints → Create endpoints.

Sélectionnez Endpoint services that use NLBs and GWLBs et utilisez Service name^console ou endpointServiceId^API obtenu à l’étape Obtenir le "Service name" de l’endpoint dans le champ Service Name. Cliquez sur Verify service :

Si vous obtenez l’erreur "Service name couldn't be verified.", veuillez contacter le support client pour demander l’ajout de nouvelles régions à la liste des régions prises en charge.

Ensuite, sélectionnez votre VPC et vos sous-réseaux :

À titre facultatif, attribuez des groupes de sécurité/Tags :

Après avoir créé le VPC Endpoint, notez la valeur de Endpoint ID ; vous en aurez besoin à l’étape suivante.

Ensuite, vous devez créer un VPC Endpoint à l’aide du Service name^console ou de l’endpointServiceId^API obtenu à l’étape Obtenir le "Service name" de l’endpoint . Assurez-vous d’utiliser les bons ID de sous-réseau, groupes de sécurité et ID de VPC.

Resources:
  ClickHouseInterfaceEndpoint:
    Type: 'AWS::EC2::VPCEndpoint'
    Properties:
      VpcEndpointType: Interface
      PrivateDnsEnabled: false
      ServiceName: <Service name(endpointServiceId), pls see above>
      VpcId: vpc-vpc_id
      SubnetIds:
        - subnet-subnet_id1
        - subnet-subnet_id2
        - subnet-subnet_id3
      SecurityGroupIds:
        - sg-security_group_id1
        - sg-security_group_id2
        - sg-security_group_id3

Après avoir créé le VPC Endpoint, notez la valeur de l’Endpoint ID ; vous en aurez besoin à l’étape suivante.

service_name ci-dessous correspond à Service name^console ou à endpointServiceId^API que vous avez obtenu à l’étape Obtenir le "Service name" de l’endpoint

resource "aws_vpc_endpoint" "this" {
  vpc_id            = var.vpc_id
  service_name      = "<pls see comment above>"
  vpc_endpoint_type = "Interface"
  security_group_ids = [
    Var.security_group_id1,var.security_group_id2, var.security_group_id3,
  ]
  subnet_ids          = [var.subnet_id1,var.subnet_id2,var.subnet_id3]
  private_dns_enabled = false
  service_region      = "(Optional) If specified, the VPC endpoint will connect to the service in the provided region. Define it for multi-regional PrivateLink connections."
}

Après avoir créé le VPC Endpoint, notez la valeur de Endpoint ID ; vous en aurez besoin à l’étape suivante.

Vous devez faire pointer le « nom DNS », obtenu à l’étape Obtain Endpoint "Service name" , vers les interfaces réseau de l’AWS Endpoint. Cela garantit que les services et composants de votre VPC/réseau pourront le résoudre correctement.

Pour l’ajouter, accédez à la console ClickHouse Cloud, ouvrez le service que vous souhaitez connecter via PrivateLink, puis accédez à Settings. Cliquez sur Set up private endpoint pour ouvrir les paramètres des endpoints privés. Saisissez l’Endpoint ID obtenu à l’étape Create AWS Endpoint. Cliquez sur « Create endpoint ».

Pour le supprimer, accédez à la console ClickHouse Cloud, recherchez le service, puis accédez à ses Settings. Trouvez l’endpoint que vous souhaitez supprimer. Supprimez-le de la liste des endpoints.

Vous devez ajouter un Endpoint ID à la liste d’autorisation de chaque instance devant être accessible via PrivateLink.

Définissez la variable d’environnement ENDPOINT_ID à l’aide des données de l’étape Créer un AWS Endpoint.

Définissez les variables d’environnement suivantes avant d’exécuter la moindre commande :

REGION=<Your region code using the AWS format, for example: us-west-2>
PROVIDER=aws
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
SERVICE_NAME=<Your ClickHouse service name>

Pour ajouter un ID d’endpoint à une liste d’autorisation :

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "add": [
      "${ENDPOINT_ID:?}"
    ]
  }
}
EOF

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X PATCH -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" \
-d @pl_config.json | jq

Pour supprimer un Endpoint ID d’une liste d’autorisation :

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "remove": [
      "${ENDPOINT_ID:?}"
    ]
  }
}
EOF

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X PATCH -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" \
-d @pl_config.json | jq

Chaque service pour lequel Private Link est activé dispose d’un endpoint public et d’un endpoint privé. Pour vous connecter via Private Link, vous devez utiliser un endpoint privé : privateDnsHostname^API ou Nom DNS^console, obtenu à partir de Obtenir le « Service name » de l’endpoint.

Dans la console ClickHouse Cloud, accédez à Settings. Cliquez sur le bouton Set up private endpoint. Dans le flyout qui s’ouvre, copiez le nom DNS.

Définissez les variables d’environnement suivantes avant d’exécuter toute commande :

KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
INSTANCE_ID=<Your ClickHouse service name>

Vous pouvez récupérer INSTANCE_ID à l’étape.

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | \
jq .result

Cela devrait afficher quelque chose comme :

{
  "endpointServiceId": "com.amazonaws.vpce.us-west-2.vpce-svc-xxxxxxxxxxxxxxxxx",
  "privateDnsHostname": "xxxxxxxxxx.us-west-2.vpce.aws.clickhouse.cloud"
}

Dans cet exemple, la connexion via le nom d’hôte correspondant à la valeur de privateDnsHostname sera acheminée vers PrivateLink, tandis que la connexion via le nom d’hôte endpointServiceId passera par Internet.

KEY_ID=<Key ID>
KEY_SECRET=<Key secret>
ORG_ID=<please set ClickHouse organization ID>
INSTANCE_ID=<Instance ID>

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X GET -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" | \
jq .result.privateEndpointIds