Il s’agit d’une extension de la fonction de table deltaLake.
Permet de traiter en parallèle les fichiers de tables Delta Lake dans Amazon S3 à partir de nombreux nœuds d’un cluster spécifié. Sur le nœud initiateur, une connexion est établie avec tous les nœuds du cluster et chaque fichier leur est réparti dynamiquement. Sur le nœud worker, celui-ci demande à l’initiateur la tâche suivante à traiter, puis l’exécute. Cette opération se répète jusqu’à ce que toutes les tâches soient terminées.
Syntaxe
deltaLakeCluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeCluster(cluster_name, named_collection[, option=value [,..]])
deltaLakeS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
deltaLakeS3Cluster(cluster_name, named_collection[, option=value [,..]])
deltaLakeAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
deltaLakeAzureCluster(cluster_name, named_collection[, option=value [,..]])deltaLakeS3Cluster est un alias de deltaLakeCluster, tous deux concernent S3.
Arguments
cluster_name— Nom d’un cluster utilisé pour construire un ensemble d’adresses et de paramètres de connexion pour les serveurs distants et locaux.- La description de tous les autres arguments est identique à celle des arguments de la fonction de table équivalente deltaLake.
- Le paramètre facultatif
extra_credentialspeut être utilisé pour transmettre unrole_arnpour le contrôle d’accès basé sur les rôles dans ClickHouse Cloud. Consultez Secure S3 pour connaître les étapes de configuration.
Valeur renvoyée
Une table ayant la structure spécifiée, permettant de lire les données d’un cluster depuis la table Delta Lake spécifiée dans S3.
Colonnes virtuelles
_path— Chemin d’accès au fichier. Type :LowCardinality(String)._file— Nom du fichier. Type :LowCardinality(String)._size— Taille du fichier en octets. Type :Nullable(UInt64). Si la taille du fichier est inconnue, la valeur estNULL._time— Date et heure de la dernière modification du fichier. Type :Nullable(DateTime). Si l’heure est inconnue, la valeur estNULL._etag— ETag du fichier. Type :LowCardinality(String). Si l’ETag est inconnu, la valeur estNULL.