Быстрый старт с ClickHouse Cloud

Чтобы создать бесплатный сервис ClickHouse в ClickHouse Cloud, зарегистрируйтесь, выполнив следующие действия:

• Создайте аккаунт на странице регистрации
• Вы можете зарегистрироваться с помощью электронной почты либо через Google SSO, Microsoft SSO, AWS Marketplace, Google Cloud или Microsoft Azure
• Если вы регистрируетесь с помощью электронной почты и пароля, не забудьте подтвердить адрес электронной почты в течение следующих 24 часов по ссылке из полученного письма
• Войдите, используя только что созданные имя пользователя и пароль

После входа в систему ClickHouse Cloud запустит мастер онбординга, который поможет создать новый сервис ClickHouse. Выберите регион для развертывания сервиса и задайте ему имя:

По умолчанию для новых организаций выбирается уровень Scale: создаются 3 реплики, каждая с 4 vCPU и 16 ГиБ оперативной памяти. Вертикальное автомасштабирование на уровне Scale включено по умолчанию. Позже уровень организации можно изменить на странице 'Plans'.

При необходимости настройте ресурсы сервиса, указав минимальный и максимальный размеры, между которыми будут масштабироваться реплики. Когда всё будет готово, выберите Create service.

Поздравляем! Ваш сервис ClickHouse Cloud запущен, а онбординг завершён. Читайте далее, чтобы узнать, как начать приём данных и выполнять запросы к ним.

Подключиться к ClickHouse можно двумя способами:

• Через нашу веб-консоль SQL
• Из вашего приложения

Подключение через консоль SQL

Для быстрого начала работы ClickHouse предоставляет веб-консоль SQL, в которую вы будете перенаправлены после завершения онбординга.

Создайте вкладку запроса и выполните простой запрос, чтобы убедиться, что подключение работает:

SHOW databases

В списке должны отображаться 4 базы данных, а также все базы данных, добавленные вами.

Готово — теперь вы можете начать использовать новый сервис ClickHouse!

Подключение приложения

Нажмите кнопку подключения в навигационном меню. Откроется модальное окно с учетными данными для вашего сервиса и инструкциями по подключению через выбранный интерфейс или клиентскую библиотеку.

Если нужной клиентской библиотеки нет в списке, ознакомьтесь с нашим списком интеграций.

ClickHouse раскрывается в полной мере, когда в нём есть данные! Добавить данные можно несколькими способами, и большинство из них доступны на странице Data Sources, которую можно открыть из меню навигации.

Загрузить данные можно следующими способами:

• Настройте ClickPipe для начала ингестии данных из таких источников, как S3, Postgres, Kafka и GCS
• Используйте SQL-консоль
• Используйте клиент ClickHouse
• Загрузите файл — поддерживаются форматы JSON, CSV и TSV
• Загрузите данные по URL-адресу файла

ClickPipes

ClickPipes — это управляемая интеграционная платформа, которая позволяет загружать данные из самых разных источников буквально в несколько кликов. Разработанная для самых требовательных нагрузок, надежная и масштабируемая архитектура ClickPipes обеспечивает стабильную производительность и надежность. ClickPipes можно использовать как для долгосрочной передачи данных в реальном времени, так и для разовой загрузки данных.

Добавление данных через SQL Console

Как и большинство систем управления базами данных, ClickHouse логически группирует таблицы в базы данных. Чтобы создать новую базу данных в ClickHouse, используйте команду CREATE DATABASE:

CREATE DATABASE IF NOT EXISTS helloworld

Выполните следующую команду, чтобы создать таблицу my_first_table в базе данных helloworld:

CREATE TABLE helloworld.my_first_table
(
    user_id UInt32,
    message String,
    timestamp DateTime,
    metric Float32
)
ENGINE = MergeTree()
PRIMARY KEY (user_id, timestamp)

В приведённом выше примере my_first_table — это таблица MergeTree с четырьмя столбцами:

• user_id: 32-разрядное беззнаковое целое число (UInt32)
• message: тип данных String, заменяющий типы VARCHAR, BLOB, CLOB и другие, используемые в других системах баз данных
• timestamp: значение DateTime, обозначающее момент времени
• metric: 32-разрядное число с плавающей запятой (Float32)

Краткое введение в первичные ключи

Прежде чем двигаться дальше, важно разобраться, как в ClickHouse работают первичные ключи (их реализация может показаться неожиданной!):

• первичные ключи в ClickHouse не уникальны для каждой строки таблицы

Первичный ключ таблицы ClickHouse определяет, как данные сортируются при записи на диск. Каждые 8 192 строки или 10 МБ данных (это называется гранулярностью индекса) создают запись в файле индекса первичного ключа. Концепция этой гранулярности формирует разреженный индекс, который легко помещается в памяти, а гранулы представляют собой полосу наименьшего объёма данных столбца, обрабатываемых во время запросов SELECT.

Первичный ключ можно задать с помощью параметра PRIMARY KEY. Если при создании таблицы PRIMARY KEY не указан, то ключом становится кортеж, заданный в секции ORDER BY. Если указаны и PRIMARY KEY, и ORDER BY, первичный ключ должен быть подмножеством порядка сортировки.

Первичный ключ одновременно является и ключом сортировки — кортежем (user_id, timestamp). Поэтому данные, хранящиеся в каждом файле столбца, будут отсортированы сначала по user_id, затем по timestamp.

Подробное описание ключевых концепций ClickHouse см. в разделе "Основные концепции".

Вставьте данные в вашу таблицу

В ClickHouse можно использовать привычную команду INSERT INTO TABLE, однако важно понимать, что каждая вставка в таблицу MergeTree приводит к созданию в хранилище нового part.

Даже в простом примере вставим сразу несколько строк за один раз:

INSERT INTO helloworld.my_first_table (user_id, message, timestamp, metric) VALUES
    (101, 'Hello, ClickHouse!',                                 now(),       -1.0    ),
    (102, 'Insert a lot of rows per batch',                     yesterday(), 1.41421 ),
    (102, 'Sort your data based on your commonly-used queries', today(),     2.718   ),
    (101, 'Granules are the smallest chunks of data read',      now() + 5,   3.14159 )

Проверим, что всё сработало:

SELECT * FROM helloworld.my_first_table

Добавление данных с помощью клиента ClickHouse

Также вы можете подключиться к своему сервису ClickHouse Cloud с помощью инструмента командной строки clickhouse client. Чтобы получить эти данные, нажмите Connect в меню слева. В открывшемся диалоговом окне выберите Native в выпадающем списке:

1. Установите ClickHouse.

2. Выполните команду, указав имя хоста, имя пользователя и пароль:

./clickhouse client --host HOSTNAME.REGION.CSP.clickhouse.cloud \
--secure --port 9440 \
--user default \
--password <password>

Если появилось приглашение со смайликом, значит, можно выполнять запросы!

:)

3. Выполните следующий запрос:

SELECT *
FROM helloworld.my_first_table
ORDER BY timestamp

Обратите внимание, что ответ возвращается в удобном табличном формате:

┌─user_id─┬─message────────────────────────────────────────────┬───────────timestamp─┬──metric─┐
│     102 │ Insert a lot of rows per batch                     │ 2022-03-21 00:00:00 │ 1.41421 │
│     102 │ Sort your data based on your commonly-used queries │ 2022-03-22 00:00:00 │   2.718 │
│     101 │ Hello, ClickHouse!                                 │ 2022-03-22 14:04:09 │      -1 │
│     101 │ Granules are the smallest chunks of data read      │ 2022-03-22 14:04:14 │ 3.14159 │
└─────────┴────────────────────────────────────────────────────┴─────────────────────┴─────────┘

4 rows in set. Elapsed: 0.008 sec.

4. Добавьте предложение FORMAT, чтобы указать один из многих поддерживаемых ClickHouse форматов вывода:

SELECT *
FROM helloworld.my_first_table
ORDER BY timestamp
FORMAT TabSeparated

В приведённом выше запросе результат возвращается в виде значений, разделённых табуляцией:

Query id: 3604df1c-acfd-4117-9c56-f86c69721121

102 Insert a lot of rows per batch      2022-03-21 00:00:00     1.41421
102 Sort your data based on your commonly-used queries  2022-03-22 00:00:00     2.718
101 Hello, ClickHouse!  2022-03-22 14:04:09     -1
101 Granules are the smallest chunks of data read       2022-03-22 14:04:14     3.14159

4 rows in set. Elapsed: 0.005 sec.

5. Чтобы выйти из клиента ClickHouse, введите команду exit:

exit

Загрузка файла

Одна из типичных задач в начале работы с базой данных — вставка данных, которые у вас уже есть в файлах. Мы разместили в интернете пример данных, который вы можете вставить: это данные о кликах пользователей (clickstream), включающие ID пользователя, посещённый URL и временную метку события.

Предположим, что в CSV-файле с именем data.csv содержится следующий текст:

102,This is data in a file,2022-02-22 10:43:28,123.45
101,It is comma-separated,2022-02-23 00:00:00,456.78
103,Use FORMAT to specify the format,2022-02-21 10:43:30,678.90

1. Следующая команда вставляет данные в таблицу my_first_table:

./clickhouse client --host HOSTNAME.REGION.CSP.clickhouse.cloud \
--secure --port 9440 \
--user default \
--password <password> \
--query='INSERT INTO helloworld.my_first_table FORMAT CSV' < data.csv

2. Обратите внимание: при выполнении запроса из SQL-консоли в таблице теперь отображаются новые строки: