Esta é uma extensão da função de tabela paimon.
Permite processar arquivos do Apache Paimon em paralelo a partir de vários nós em um cluster especificado. No iniciador, ela cria uma conexão com todos os nós do cluster e distribui cada arquivo dinamicamente. No nó worker, ela consulta o iniciador sobre a próxima tarefa a ser processada e a processa. Isso se repete até que todas as tarefas sejam concluídas.
Sintaxe
paimonS3Cluster(cluster_name, url [,aws_access_key_id, aws_secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])
paimonAzureCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])
paimonHDFSCluster(cluster_name, path_to_table, [,format] [,compression_method])Argumentos
cluster_name— Nome de um cluster usado para montar um conjunto de endereços e parâmetros de conexão para servidores locais e remotos.- A descrição de todos os outros argumentos é a mesma da função de tabela paimon equivalente.
- Um parâmetro opcional
extra_credentialspode ser usado para passar umrole_arnpara acesso baseado em função no ClickHouse Cloud. Consulte Secure S3 para ver as etapas de configuração.
Valor retornado
Uma tabela com a estrutura especificada para ler dados do cluster na tabela Paimon especificada.
Colunas virtuais
_path— Caminho do arquivo. Tipo:LowCardinality(String)._file— Nome do arquivo. Tipo:LowCardinality(String)._size— Tamanho do arquivo em bytes. Tipo:Nullable(UInt64). Se o tamanho do arquivo for desconhecido, o valor éNULL._time— Data e hora da última modificação do arquivo. Tipo:Nullable(DateTime). Se a data e hora forem desconhecidas, o valor éNULL._etag— O etag do arquivo. Tipo:LowCardinality(String). Se o etag for desconhecido, o valor éNULL.
Veja também