これは paimon テーブル関数の拡張です。
指定したクラスター内の多数のノードで、Apache Paimon のファイルを並列に処理できます。イニシエーターはクラスター内のすべてのノードへの接続を確立し、各ファイルを動的に振り分けます。ワーカーノードは次に処理するタスクをイニシエーターに問い合わせて処理します。これを、すべてのタスクが完了するまで繰り返します。
構文
paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])引数
cluster_name— リモートおよびローカルのサーバーへのアドレスのセットと接続パラメーターを構築するために使用されるクラスター名。- そのほかのすべての引数の説明は、同等の paimon テーブル関数の引数の説明と同じです。
- オプションの
extra_credentialsパラメーターを使用すると、ClickHouse Cloud でロールベースアクセス用のrole_arnを渡せます。設定手順については、Secure S3 を参照してください。
戻り値
指定した Paimon テーブル内のクラスターからデータを読み取るための、指定された構造を持つテーブル。
仮想カラム
_path— ファイルのパス。型:LowCardinality(String)._file— ファイル名。型:LowCardinality(String)._size— ファイルサイズ (バイト単位) 。型:Nullable(UInt64). ファイルサイズが不明な場合、値はNULLです。_time— ファイルの最終更新時刻。型:Nullable(DateTime). 時刻が不明な場合、値はNULLです。_etag— ファイルの etag。型:LowCardinality(String). etag が不明な場合、値はNULLです。
関連項目