Accéder aux données GCS en toute sécurité

1. Dans Google Cloud Console, accédez à IAM & Admin → Service Accounts

2. Dans le menu de gauche, cliquez sur Service accounts, puis sur Create service account :

Saisissez un nom et une description pour votre compte de service, par exemple :

Service account name: clickhouse-gcs-access (or your preferred name)
Service account description: Service account for ClickHouse Cloud to access GCS buckets

Cliquez sur Create and continue

Attribuez au compte de service le rôle Storage Object User :

Ce rôle accorde un accès en lecture et en écriture aux objets GCS

Cliquez sur Continue, puis sur Done

Notez l’adresse e-mail du compte de service :

Vous pouvez accorder l’accès soit au niveau du projet, soit au niveau de chaque bucket.

Option 1 : accorder l’accès à des buckets spécifiques (recommandé)

1. Accédez à Cloud Storage → Buckets
2. Cliquez sur le bucket auquel vous souhaitez accorder l’accès
3. Ouvrez l’onglet Permissions
4. Sous "Permissions", cliquez sur Grant access pour le principal créé aux étapes précédentes
5. Dans le champ "New principals", saisissez l’adresse e-mail de votre compte de service
6. Sélectionnez le rôle approprié :

• Storage Object User pour un accès en lecture/écriture
• Storage Object Viewer pour un accès en lecture seule

7. Cliquez sur Save
8. Répétez l’opération pour chaque bucket supplémentaire

Option 2 : accorder l’accès au niveau du projet

1. Accédez à IAM & Admin → IAM
2. Cliquez sur Grant access
3. Saisissez l’adresse e-mail de votre compte de service dans le champ New principals
4. Sélectionnez Storage Object User (ou Storage Object Viewer pour un accès en lecture seule)
5. Cliquez sur SAVE

Accédez à Cloud Storage → Settings → Interoperability :

Si vous ne voyez pas de section "Access keys", cliquez sur Enable interoperability access

Sous "Access keys for service accounts", cliquez sur Create a key for a service account :

Sélectionnez le compte de service que vous avez créé précédemment (par exemple, clickhouse-gcs-access@your-project.iam.gserviceaccount.com)

Cliquez sur Create key :

La clé HMAC s'affichera. Enregistrez immédiatement l'Access Key et le Secret : vous ne pourrez plus afficher le secret ensuite.

Des exemples de clés sont affichés ci-dessous :

Access Key: GOOG1EF4YBJVNFQ2YGCP3SLV4Y7CMFHW7HPC6EO7RITLJDDQ75639JK56SQVD
Secret: nFy6DFRr4sM9OnV6BG4FtWVPR25JfqpmcdZ6w9nV

Utiliser des clés HMAC avec ClickHouse Cloud

Vous pouvez maintenant utiliser les identifiants HMAC pour accéder à GCS depuis ClickHouse Cloud. Pour cela, utilisez la fonction table GCS :

SELECT *
FROM gcs(
    'https://storage.googleapis.com/clickhouse-docs-example-bucket/epidemiology.csv',
    'GOOG1E...YOUR_ACCESS_KEY',
    'YOUR_SECRET_KEY',
    'CSVWithNames'
);

Utilisez des caractères génériques pour plusieurs fichiers :

SELECT *
FROM gcs(
'https://storage.googleapis.com/clickhouse-docs-example-bucket/*.parquet',
'GOOG1E...YOUR_ACCESS_KEY',
'YOUR_SECRET_KEY',
'Parquet'
);

Authentification HMAC dans ClickPipes for GCS

ClickPipes utilise des clés HMAC (Hash-based Message Authentication Code) pour s'authentifier auprès de Google Cloud Storage.

Lors de la configuration d'un ClickPipe GCS :

1. Sélectionnez Credentials dans Authentication method lors de la configuration du ClickPipe
2. Renseignez les identifiants HMAC obtenus aux étapes précédentes

Les clés HMAC doivent être associées à un service account disposant du rôle roles/storage.objectViewer, qui inclut :

• storage.objects.list : pour lister les objets du bucket
• storage.objects.get : pour récupérer/lire les objets