Power BI

O Microsoft Power BI pode consultar ou carregar dados na memória do ClickHouse Cloud ou de uma implantação autogerenciada.

Há várias opções do Power BI que você pode usar para visualizar seus dados:

• Power BI Desktop: um aplicativo de desktop para Windows para criar dashboards e visualizações
• Power BI Service: disponível no Azure como SaaS para hospedar os dashboards criados no Power BI Desktop

O Power BI exige que você crie seus dashboards na versão Desktop e os publique no Power BI Service.

Este tutorial orientará você no processo de:

• Instalar o driver ODBC do ClickHouse
• Instalar o ClickHouse Power BI Connector no Power BI Desktop
• Consultar dados do ClickHouse para visualização no Power BI Desktop
• Configurar um gateway de dados local para o Power BI Service

Este tutorial pressupõe que você tenha o Microsoft Power BI Desktop instalado no seu computador com Windows. Você pode baixar e instalar o Power BI Desktop aqui

Recomendamos atualizar para a versão mais recente do Power BI. O ClickHouse Connector está disponível por padrão a partir da versão 2.137.751.0.

Você precisará dos seguintes detalhes para se conectar à sua instância do ClickHouse:

• Hostname - ClickHouse
• Nome de usuário - Nome de usuário das credenciais do usuário
• Senha - Senha do usuário
• Banco de dados - Nome do banco de dados na instância à qual você deseja se conectar

Para começar a consultar dados no Power BI Desktop, você precisará seguir as etapas abaixo:

1. Instale o ODBC Driver do ClickHouse
2. Localize o ClickHouse Connector
3. Conecte-se ao ClickHouse
4. Consulte e visualize seus dados

Baixe a versão mais recente do ClickHouse ODBC.

Execute o instalador .msi fornecido e siga o assistente.

Quando a instalação do driver for concluída, você poderá confirmar se ela foi bem-sucedida:

Pesquise por ODBC no menu Iniciar e selecione "ODBC Data Sources (64-bit)".

Verifique se o ClickHouse Driver aparece na lista.

Na tela inicial do Power BI Desktop, clique em "Obter Dados".

Pesquise por "ClickHouse"

Selecione o conector e insira as credenciais da instância do ClickHouse:

• Host (obrigatório) - O domínio/endereço da sua instância. Certifique-se de adicioná-lo sem prefixos nem sufixos.
• Porta (obrigatório) - A porta da sua instância.
• Banco de dados - O nome do seu banco de dados.
• Opções - Qualquer opção de ODBC, conforme listado na página do GitHub do ODBC do ClickHouse
• Modo de conectividade de dados - DirectQuery

• Especifique o nome de usuário e a senha

Por fim, você deverá ver os bancos de dados e as tabelas na Navigator view. Selecione a tabela desejada e clique em "Carregar" para importar os dados do ClickHouse.

Quando a importação for concluída, os dados do ClickHouse deverão estar acessíveis no Power BI normalmente.

Para usar o Microsoft Power BI Service, você precisa criar um gateway de dados local.

Para obter mais detalhes sobre como configurar conectores personalizados, consulte a documentação da Microsoft sobre como usar conectores de dados personalizados com um gateway de dados local.

Recomendamos usar o ClickHouse Connector com DirectQuery.

Instale o driver ODBC na instância do gateway de dados local e verifique conforme descrito acima.

Quando a instalação do driver for concluída, será possível criar uma fonte de dados ODBC. Procure por ODBC no menu Iniciar e selecione "ODBC Data Sources (64-bit)".

Aqui, adicione um novo DSN de usuário. Clique no botão "Add", à esquerda.

Escolha a versão Unicode do driver ODBC.

Preencha os detalhes da conexão.

Caso você ainda não tenha o Power BI instalado , baixe e instale o Power BI Desktop.

Na tela inicial do Power BI Desktop, clique em "Obter Dados".

Selecione "Outro" -> "ODBC".

Selecione na lista a fonte de dados criada anteriormente.

Por fim, você deverá ver os bancos de dados e as tabelas na Navigator view. Selecione a tabela desejada e clique em "Carregar" para importar os dados do ClickHouse.

Quando a importação for concluída, os dados do ClickHouse estarão acessíveis no Power BI, como de costume.

O Power BI foi projetado para bancos de dados tradicionais baseados em linhas, com volumes moderados de dados. Ao trabalhar com o ClickHouse em escala (bilhões de linhas), são necessários padrões arquiteturais específicos para garantir o melhor desempenho.

O Power BI gera automaticamente consultas SQL com subconsultas aninhadas, junções complexas e transformações em tempo real. Esses padrões funcionam bem em bancos de dados SQL tradicionais, mas podem ser ineficientes ao consultar bancos de dados colunares em grande escala, como o ClickHouse.

Abordagem recomendada para grandes conjuntos de dados: em vez de consultar tabelas brutas diretamente, crie visões materializadas dedicadas no ClickHouse para cada visualização do dashboard. Isso oferece:

• Desempenho rápido e consistente, independentemente do volume de dados
• Menor carga no seu cluster ClickHouse
• Custos mais previsíveis

Crie visões materializadas em vários níveis de agregação:

• Agregações horárias para dashboards recentes e detalhados
• Agregações diárias para tendências históricas
• Rollups mensais para relatórios de longo prazo
• Mantenha os dados brutos com TTL adequado para análises ad hoc

• Defina chaves ORDER BY que correspondam aos seus padrões de consulta
• Use particionamento para dados de séries temporais
• Converta tabelas de dimensão pequenas em dicionários para buscas mais eficientes
• Use projeções para otimizar ainda mais as consultas

Tipos de inteiro sem sinal, como UInt64 ou superiores, não serão carregados automaticamente no conjunto de dados, pois Int64 é o maior tipo de número inteiro com suporte no Power BI.

Neste exemplo, a tabela pageviews tem uma coluna UInt64, que é reconhecida como "Binary" por padrão. "Transform Data" abre o Power Query Editor, onde podemos redefinir o tipo da coluna, configurando-o, por exemplo, como Text.

Ao terminar, clique em "Close & Apply" no canto superior esquerdo e prossiga com o carregamento dos dados.