最初の Amazon S3 ClickPipe を作成する

1. ClickHouse Cloud のメインナビゲーションメニューで Data sources を選択し、Create ClickPipe をクリックします。

2. Amazon S3 タイルをクリックします。このタイルを使用すると、ClickPipes UI に表示されていないその他の S3 互換サービスにも接続できます。

1. 新しい ClickPipe を設定するには、オブジェクトストレージサービスへの接続方法と認証方法に関する詳細を入力する必要があります。

• 認証方法: S3 ClickPipe は、IAM credentials (Credentials) および IAM role-based authentication (IAM role) をサポートしています。認証と権限の詳細については、リファレンスドキュメントを参照してください。

  • S3 ファイルパス: S3 ClickPipe では、virtual-hosted-style URI 形式の URI を想定しています。

    https://bucket-name.s3.region-code.amazonaws.com/key-name

    POSIX ワイルドカードを使って、複数のファイルやプレフィックスに一致させることができます。サポートされているパターンの詳細については、リファレンスドキュメントを参照してください。

2. Incoming data をクリックします。ClickPipes が次の手順に向けてバケットからメタデータを取得します。

UI に、指定した bucket 内のファイル一覧が表示されます。 データフォーマット (現在対応しているのは ClickHouse のフォーマットの一部です) と、継続的インジェストを有効にするかどうかを選択してください。 詳細は、概要ページの「continuous ingest」セクションを参照してください。

次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。 画面の指示に従って、テーブル名、スキーマ、設定を変更してください。 上部のサンプルテーブルで、変更内容のリアルタイムプレビューを確認できます。

用意されているコントロールを使って、高度な設定をカスタマイズすることもできます。

または、既存の ClickHouse テーブルにデータを取り込むこともできます。 その場合、UI でソースのフィールドを、選択した宛先テーブル内の ClickHouse のフィールドにマッピングできます。

最後に、内部 ClickPipes ユーザーの権限を構成できます。

権限: ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。カスタムロール、または事前定義されたロールのいずれかを使って、この内部ユーザーに割り当てるロールを選択できます。

• Full access: クラスターへのフルアクセス。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。
• Only destination table: 宛先テーブルに対する INSERT 権限のみ。

「Complete Setup」をクリックすると、システムに ClickPipe が登録され、サマリーテーブルに表示されるようになります。

サマリーテーブルには、ソースまたは ClickHouse 内の宛先テーブルからサンプルデータを表示するためのコントロールがあります。

また、ClickPipe を削除したり、インジェストジョブの概要を表示したりするためのコントロールもあります。

おめでとうございます！ 最初の ClickPipe のセットアップが正常に完了しました。 この ClickPipe が継続的インジェスト用に構成されている場合は、継続的に稼働し、リモートのデータソースからデータをリアルタイムで取り込み続けます。 それ以外の場合は、Batch を取り込んで完了します。