Como acessar dados do GCS com segurança

1. No Google Cloud Console, navegue até IAM & Admin → Service Accounts

2. No menu à esquerda, clique em Service accounts e depois em Create service account:

Insira um nome e uma descrição para sua conta de serviço, por exemplo:

Service account name: clickhouse-gcs-access (or your preferred name)
Service account description: Service account for ClickHouse Cloud to access GCS buckets

Clique em Create and continue

Conceda à conta de serviço o papel Storage Object User:

Esse papel fornece acesso de leitura e gravação aos objetos do GCS

Clique em Continue e, em seguida, em Done

Anote o endereço de e-mail da conta de serviço:

Você pode conceder acesso no nível do projeto ou no nível de buckets individuais.

Opção 1: Conceder acesso a buckets específicos (recomendado)

1. Navegue até Cloud Storage → Buckets
2. Clique no bucket ao qual você deseja conceder acesso
3. Vá para a guia Permissions
4. Em "Permissions", clique em Grant access para o principal criado nas etapas anteriores
5. No campo "New principals", insira o e-mail da sua conta de serviço
6. Selecione a Role apropriada:

• Storage Object User para acesso de leitura/gravação
• Storage Object Viewer para acesso somente leitura

7. Clique em Save
8. Repita o processo para quaisquer buckets adicionais

Opção 2: Conceder acesso no nível do projeto

1. Navegue até IAM & Admin → IAM
2. Clique em Grant access
3. Insira o e-mail da sua conta de serviço no campo New principals
4. Selecione Storage Object User (ou Storage Object Viewer para acesso somente leitura)
5. Clique em SAVE

Navegue até Cloud Storage → Settings → Interoperability:

Se você não vir uma seção "Access keys", clique em Enable interoperability access

Em "Access keys for service accounts", clique em Create a key for a service account:

Selecione a conta de serviço que você criou anteriormente (por exemplo, clickhouse-gcs-access@your-project.iam.gserviceaccount.com)

Clique em Create key:

A chave HMAC será exibida. Salve imediatamente a Access Key e a Secret — você não poderá visualizar a secret novamente.

Exemplos de chaves são mostrados abaixo:

Access Key: GOOG1EF4YBJVNFQ2YGCP3SLV4Y7CMFHW7HPC6EO7RITLJDDQ75639JK56SQVD
Secret: nFy6DFRr4sM9OnV6BG4FtWVPR25JfqpmcdZ6w9nV

Use chaves HMAC com ClickHouse Cloud

Agora você pode usar as credenciais HMAC para acessar o GCS no ClickHouse Cloud. Para isso, use a função de tabela do GCS:

SELECT *
FROM gcs(
    'https://storage.googleapis.com/clickhouse-docs-example-bucket/epidemiology.csv',
    'GOOG1E...YOUR_ACCESS_KEY',
    'YOUR_SECRET_KEY',
    'CSVWithNames'
);

Use curingas para vários arquivos:

SELECT *
FROM gcs(
'https://storage.googleapis.com/clickhouse-docs-example-bucket/*.parquet',
'GOOG1E...YOUR_ACCESS_KEY',
'YOUR_SECRET_KEY',
'Parquet'
);

Autenticação HMAC no ClickPipes para GCS

O ClickPipes usa chaves HMAC (Hash-based Message Authentication Code) para se autenticar no Google Cloud Storage.

Ao configurar um ClickPipe do GCS:

1. Selecione Credentials em Authentication method durante a configuração do ClickPipe
2. Informe as credenciais HMAC obtidas nas etapas anteriores

As chaves HMAC devem estar associadas a uma conta de serviço que tenha o papel roles/storage.objectViewer, que inclui:

• storage.objects.list: para listar objetos no bucket
• storage.objects.get: para recuperar/ler objetos