Real-time аналитика

В аналитике "реальное время" обычно означает, что для пользователя всё происходит как будто вживую. Пользователь обновляет панель мониторинга, открывает таблицу лидеров или разбирает инцидент и ожидает, что данные будут отражать то, что произошло только что. С технической точки зрения это означает не просто обеспечивать выполнение аналитических запросов с низкой задержкой, но и делать это при непрерывной вставке больших объёмов данных.

Когда клиенты оценивают платформу Real-time аналитики, они часто сосредотачиваются только на задержке запросов. «Может ли она вернуть ответ за 50 мс?» — вполне разумный вопрос, и большинство аналитических движков могут уверенно ответить на него утвердительно, если выделить достаточно вычислительных ресурсов для статического набора данных.

Но вопрос, который определяет реальный пользовательский опыт, сложнее. Он в том, может ли система вернуть ответ за 50 мс по данным, поступившим секунду назад, пока ингестия всё ещё продолжается и другие пользователи тоже выполняют запросы.

Чтобы оценить доступность данных, нужно смотреть на сквозное время от поступления данных до получения результата, у которого есть три составляющие.

• Время на приём: Сколько времени требуется, чтобы новые данные попали в платформу и были надёжно сохранены?
• Время на преобразование и подготовку: Сколько времени требуется, чтобы очистить данные, обогатить их, выполнить JOIN, предварительную агрегацию или обновить структуры, обслуживающие запросы (materialized views, rollups, индексы)?
• Время на выполнение запроса: Сколько времени требуется, чтобы построить план и выполнить чтение после того, как данные стали доступны?

Ингестия данных

С ClickPipes, доступными исключительно в ClickHouse Cloud, вы получаете готовый движок интеграции, который упрощает ингестию больших объёмов данных. Выберите входящий источник данных и формат, настройте схему и запустите конвейер.

Обширная библиотека движков таблиц ClickHouse поддерживает ингестию данных из топиков Kafka, S3 бакетов, OLTP-баз данных и других источников. В отличие от других OLAP-баз данных, где для высокой пропускной способности требуется выполнять пакетные вставки, ClickHouse одинаково хорошо обрабатывает и небольшую полезную нагрузку — асинхронные вставки автоматически объединяют её в батчи для оптимальной производительности записи.

Преобразование данных и запросы

Materialized views упрощают преобразование данных: они автоматически срабатывают при вставке новых данных, извлекают, агрегируют и изменяют их по мере поступления без необходимости создавать отдельные конвейеры. Объединение их в цепочку добавляет модульную гибкость.

Запросы к materialized views выполняются исключительно быстро, поскольку результаты хранятся в отдельных таблицах. ClickHouse Cloud включает кэш запросов, разреженные индексы и проекции без перехода на более высокий тариф.

Приложения и панели мониторинга

ClickHouse обеспечивает аналитику для пользовательских приложений в финансовых сервисах, игровой индустрии, электронной коммерции и других сферах. Он поддерживает REST-интерфейс, поэтому веб-разработчики могут создавать лёгкие приложения без сложных бинарных протоколов.

Доступны нативные коннекторы для BI-инструментов, таких как Grafana, Tableau и Looker, а также языковые клиенты, SQL-клиенты и протокол MySQL для инструментов без нативного коннектора.