これは Delta Lake テーブル関数の拡張です。
指定したクラスター内の多数のノードから、Amazon S3 上の Delta Lake テーブルのファイルを並列処理できます。イニシエーターではクラスター内のすべてのノードへの接続を確立し、各ファイルを動的に振り分けます。ワーカーノードでは、次に処理するタスクをイニシエーターに問い合わせて処理します。これを、すべてのタスクが完了するまで繰り返します。
構文
deltaLakeCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeCluster(cluster_name, named_collection[, option=value [,..]])
deltaLakeS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeS3Cluster(cluster_name, named_collection[, option=value [,..]])
deltaLakeAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
deltaLakeAzureCluster(cluster_name, named_collection[, option=value [,..]])deltaLakeS3Cluster は deltaLakeCluster のエイリアスで、どちらも S3 用です。
引数
cluster_name— リモートおよびローカルのサーバーへのアドレスのセットと接続パラメータの構築に使用されるクラスター名。- その他すべての引数の説明は、同等の Delta Lake テーブル関数における引数の説明と同一です。
- オプションの
extra_credentialsパラメータを使用すると、ClickHouse Cloud でロールベースのアクセスに必要なrole_arnを渡すことができます。設定手順については、Secure S3 を参照してください。
戻り値
指定した構造を持つ、S3 上の指定した Delta Lake テーブル内のクラスターからデータを読み取るためのテーブル。
仮想カラム
_path— ファイルのパス。型:LowCardinality(String)._file— ファイル名。型:LowCardinality(String)._size— ファイルサイズ (バイト単位) 。型:Nullable(UInt64). ファイルサイズが不明な場合、値はNULLです。_time— ファイルの最終更新時刻。型:Nullable(DateTime). 時刻が不明な場合、値はNULLです。_etag— ファイルの etag。型:LowCardinality(String). etag が不明な場合、値はNULLです。