Conectando o ClickHouse Cloud ao Azure Blob Storage

Este guia mostra como conectar com segurança o ClickHouse Cloud ao Azure Blob Storage para ingestão de dados, tabelas externas e outros cenários de integração.

Visão geral

O ClickHouse Cloud pode se conectar ao Azure Blob Storage usando vários métodos de autenticação. Este guia ajudará você a escolher a abordagem certa e configurar sua conexão com segurança.

Casos de uso compatíveis:

Leitura de dados do Azure Blob Storage usando a função de tabela azureBlobStorage
Criação de tabelas externas com o motor de tabela AzureBlobStorage
Ingestão de dados via ClickPipes
Armazenamento de backups no Azure Blob Storage

Caution - Warning

Importante: limitação de rede

Quando seu serviço ClickHouse Cloud e o contêiner do Azure Blob Storage são implantados na mesma região do Azure, a lista de permissões de endereços IP não funciona.

Isso acontece porque o Azure roteia o tráfego na mesma região por sua rede interna (VNet + Service Endpoints), sem passar pela internet pública nem pelos gateways NAT. Como resultado, as regras de firewall da sua conta de armazenamento do Azure baseadas em endereços IP públicos não serão aplicadas.

A lista de permissões de IP funciona quando:

Seu serviço ClickHouse Cloud está em uma região do Azure diferente da conta de armazenamento
Seu serviço ClickHouse Cloud está na AWS/GCP e se conecta ao armazenamento do Azure

A lista de permissões de IP falha quando:

Seu serviço ClickHouse Cloud e o armazenamento estão na mesma região do Azure. Use Shared Access Signatures (SAS) por meio da string de conexão em vez da lista de permissões de IP ou implante o ABS e o ClickHouse em regiões diferentes.

Configuração de rede (somente entre regiões)

Encontre os IPs de saída do seu ClickHouse Cloud

Para configurar regras de firewall baseadas em IP, você precisa adicionar à lista de permissões os endereços IP de saída da sua região do ClickHouse Cloud.

Execute o comando a seguir para obter uma lista de IPs de saída e entrada por região. Substitua eastus abaixo pela sua região para filtrar as demais regiões:

# Para regiões do Azure
curl https://api.clickhouse.cloud/static-ips.json | jq '.azure[] | select(.region == "westus")'

Você verá algo semelhante a:

{
  "egress_ips": [
    "20.14.94.21",
    "20.150.217.205",
    "20.38.32.164"
  ],
  "ingress_ips": [
    "4.227.34.126"
  ],
  "region": "westus3"
}

Consulte "Endereços IP do Cloud" para mais detalhes.

Configure o firewall de armazenamento do Azure

Acesse sua Conta de Armazenamento no Azure Portal

Vá para Networking → Firewalls and virtual networks
Selecione Enabled from selected virtual networks and IP addresses
Adicione cada endereço IP de saída do ClickHouse Cloud obtido na etapa anterior ao campo Address range

Clique em Save

Consulte a documentação de configuração de firewalls do Azure Storage para mais detalhes.

Configuração do ClickPipes

Ao usar ClickPipes com o Azure Blob Storage, é necessário configurar a autenticação na UI do ClickPipes. Consulte "Criando seu primeiro Azure ClickPipe" para mais detalhes.