安全访问 GCS 数据

1. 在 Google Cloud Console 中，前往 IAM & Admin → Service Accounts

2. 在左侧菜单中点击 Service accounts，然后点击 Create service account：

输入服务账号的名称和说明，例如：

Service account name: clickhouse-gcs-access (or your preferred name)
Service account description: Service account for ClickHouse Cloud to access GCS buckets

点击 Create and continue

向服务账号授予 Storage Object User 角色：

此角色提供对 GCS object 的读写权限

点击 Continue，然后点击 Done

记下服务账号的电子邮件地址：

您可以在项目级别或单个存储桶级别授予访问权限。

选项 1：向特定存储桶授予访问权限 (推荐)

1. 导航到 Cloud Storage → Buckets
2. 点击您要授予访问权限的存储桶
3. 转到 Permissions 选项卡
4. 在 "Permissions" 下，点击为前面步骤中创建的主体授予访问权限的 Grant access
5. 在 "New principals" 字段中，输入您的服务账号电子邮件地址
6. 选择适当的角色：

• Storage Object User 用于读写访问
• Storage Object Viewer 用于只读访问

7. 点击 Save
8. 对其他需要授权的存储桶重复此操作

选项 2：授予项目级别访问权限

1. 导航到 IAM & Admin → IAM
2. 点击 Grant access
3. 在 New principals 字段中输入您的服务账号电子邮件地址
4. 选择 Storage Object User (只读则选择 Storage Object Viewer)
5. 点击 SAVE

前往 Cloud Storage → Settings → Interoperability：

如果未看到 “Access keys” 部分，请点击 Enable interoperability access

在 “Access keys for service accounts” 下，点击 Create a key for a service account：

选择你之前创建的服务账号 (例如 clickhouse-gcs-access@your-project.iam.gserviceaccount.com)

点击 Create key：

系统会显示 HMAC 密钥。 请立即保存 Access Key 和 Secret——之后将无法再次查看该 secret。

下面显示的是示例密钥：

Access Key: GOOG1EF4YBJVNFQ2YGCP3SLV4Y7CMFHW7HPC6EO7RITLJDDQ75639JK56SQVD
Secret: nFy6DFRr4sM9OnV6BG4FtWVPR25JfqpmcdZ6w9nV

在 ClickHouse Cloud 中使用 HMAC 密钥

现在，你可以使用 HMAC 凭据从 ClickHouse Cloud 访问 GCS。 为此，请使用 GCS 表函数：

SELECT *
FROM gcs(
    'https://storage.googleapis.com/clickhouse-docs-example-bucket/epidemiology.csv',
    'GOOG1E...YOUR_ACCESS_KEY',
    'YOUR_SECRET_KEY',
    'CSVWithNames'
);

使用通配符匹配多个文件：

SELECT *
FROM gcs(
'https://storage.googleapis.com/clickhouse-docs-example-bucket/*.parquet',
'GOOG1E...YOUR_ACCESS_KEY',
'YOUR_SECRET_KEY',
'Parquet'
);

ClickPipes 中 GCS 的 HMAC 身份验证

ClickPipes 使用 HMAC (基于哈希的消息身份验证码) 密钥与 Google Cloud Storage 进行身份验证。

在设置 GCS ClickPipe时：

1. 在 ClickPipe 设置过程中，在 Authentication method 下选择 Credentials
2. 提供在前面步骤中获取的 HMAC 凭据

HMAC 密钥必须关联到具有 roles/storage.objectViewer 角色的服务账号，该角色包含以下权限：

• storage.objects.list：列出存储桶中的对象
• storage.objects.get：拉取/读取对象