GCS データへの安全なアクセス

1. Google Cloud Console で、IAM & Admin → Service Accounts に移動します

2. 左側のメニューで Service accounts をクリックし、続いて Create service account をクリックします。

サービス アカウントの名前と説明を入力します。たとえば次のとおりです。

Service account name: clickhouse-gcs-access (or your preferred name)
Service account description: Service account for ClickHouse Cloud to access GCS buckets

Create and continue をクリックします

service account に Storage Object User ロールを付与します。

このロールにより、GCS object への読み取りおよび書き込みアクセスが可能になります

Continue をクリックし、次に Done をクリックします

service account のメールアドレスを控えておきます。

アクセス権は、プロジェクト レベルまたは個々のバケット レベルで付与できます。

オプション 1: 特定のバケットへのアクセス権を付与する (推奨)

1. Cloud ストレージ → Buckets に移動します
2. アクセス権を付与するバケットをクリックします
3. Permissions タブを開きます
4. "Permissions" で、前の手順で作成したプリンシパルに対して Grant access をクリックします
5. "New principals" フィールドに、サービス アカウントのメールアドレスを入力します
6. 適切なロールを選択します。

• 読み取り/書き込みアクセスの場合は Storage Object User
• 読み取り専用アクセスの場合は Storage Object Viewer

7. Save をクリックします
8. 追加のバケットがある場合は同様に繰り返します

オプション 2: プロジェクト レベルのアクセス権を付与する

1. IAM & Admin → IAM に移動します
2. Grant access をクリックします
3. New principals フィールドに、サービス アカウントのメールアドレスを入力します
4. Storage Object User を選択します (読み取り専用の場合は Storage Object Viewer)
5. SAVE をクリックします

Cloud Storage → Settings → Interoperability に移動します。

Access keys セクションが表示されない場合は、Enable interoperability access をクリックします

Access keys for service accounts の下で、Create a key for a service account をクリックします。

先ほど作成したサービス アカウントを選択します (例: clickhouse-gcs-access@your-project.iam.gserviceaccount.com)

Create key をクリックします。

HMAC キーが表示されます。 Access Key と Secret の両方をすぐに保存してください。Secret は後でもう一度表示することはできません。

キーの例を以下に示します:

Access Key: GOOG1EF4YBJVNFQ2YGCP3SLV4Y7CMFHW7HPC6EO7RITLJDDQ75639JK56SQVD
Secret: nFy6DFRr4sM9OnV6BG4FtWVPR25JfqpmcdZ6w9nV

ClickHouse Cloud で HMAC キーを使用する

これで、HMAC 認証情報を使用して ClickHouse Cloud から GCS にアクセスできます。 これには、GCS テーブル関数を使用します。

SELECT *
FROM gcs(
    'https://storage.googleapis.com/clickhouse-docs-example-bucket/epidemiology.csv',
    'GOOG1E...YOUR_ACCESS_KEY',
    'YOUR_SECRET_KEY',
    'CSVWithNames'
);

複数のファイルにはワイルドカードを使用します。

SELECT *
FROM gcs(
'https://storage.googleapis.com/clickhouse-docs-example-bucket/*.parquet',
'GOOG1E...YOUR_ACCESS_KEY',
'YOUR_SECRET_KEY',
'Parquet'
);

GCS 向け ClickPipes の HMAC 認証

ClickPipes では、Google Cloud Storage への認証に HMAC (Hash-based Message Authentication Code) キーを使用します。

GCS ClickPipe を設定する際は、次の手順に従ってください。

1. ClickPipe の設定時に、Authentication method で Credentials を選択します
2. 前の手順で取得した HMAC 認証情報を入力します

HMAC キーは、roles/storage.objectViewer ロールを持つサービスアカウントに関連付けられている必要があります。このロールには、次の権限が含まれます。

• バケット内のオブジェクトを一覧表示するための storage.objects.list
• オブジェクトを取得して読み取るための storage.objects.get