azureBlobStorageCluster

Permite processar arquivos do Azure Blob Storage em paralelo com muitos nós em um cluster especificado. No initiator, cria uma conexão com todos os nós do cluster, expande os asteriscos no caminho do arquivo do S3 e distribui cada arquivo dinamicamente. No nó worker, consulta o initiator sobre a próxima tarefa a ser processada e a processa. Isso se repete até que todas as tarefas sejam concluídas. Esta função de tabela é semelhante à função s3Cluster.

Sintaxe

azureBlobStorageCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression, structure])

Argumentos

Argumento	Descrição
`cluster_name`	Nome de um cluster usado para montar um conjunto de endereços e parâmetros de conexão para servidores remotos e locais.
`connection_string`	`storage_account_url` — `connection_string` inclui o nome da conta e a chave (Criar uma string de conexão) ou você também pode fornecer aqui a URL da conta de armazenamento e o nome da conta e a chave da conta como parâmetros separados (consulte os parâmetros `account_name` e `account_key`)
`container_name`	Nome do contêiner
`blobpath`	Caminho do arquivo. Suporta os seguintes curingas no modo readonly: ``, `*`, `?`, `{abc,def}` e `{N..M}`, em que `N`, `M` — números, `'abc'`, `'def'` — strings.
`account_name`	Se `storage_account_url` for usado, o nome da conta poderá ser especificado aqui
`account_key`	Se `storage_account_url` for usado, a chave da conta poderá ser especificada aqui
`format`	O formato do arquivo.
`compression`	Valores compatíveis: `none`, `gzip/gz`, `brotli/br`, `xz/LZMA`, `zstd/zst`. Por padrão, a compressão será detectada automaticamente pela extensão do arquivo. (o mesmo que definir como `auto`).
`structure`	Estrutura da tabela. Formato `'column1_name column1_type, column2_name column2_type, ...'`.

Valor retornado

Uma tabela com a estrutura especificada para leitura ou gravação de dados no arquivo especificado.

Exemplos

Assim como no motor de tabela AzureBlobStorage, é possível usar o emulador Azurite para desenvolvimento local do Armazenamento do Azure. Mais detalhes aqui. Abaixo, assumimos que o Azurite está disponível no hostname azurite1.

Selecione a contagem para o arquivo test_cluster_*.csv, usando todos os nós no cluster cluster_simple:

SELECT count(*) FROM azureBlobStorageCluster(
        'cluster_simple', 'http://azurite1:10000/devstoreaccount1', 'testcontainer', 'test_cluster_count.csv', 'devstoreaccount1',
        'Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==', 'CSV',
        'auto', 'key UInt64')

Usando Assinaturas de Acesso Compartilhado (SAS)

Consulte azureBlobStorage para exemplos.