Приём данных из MySQL в ClickHouse (с использованием CDC (фиксация изменений данных))

MySQL ClickPipe предоставляет полностью управляемое и отказоустойчивое решение для приёма данных из баз данных MySQL и MariaDB в ClickHouse Cloud. Он поддерживает как пакетную загрузку для одноразовой ингестии, так и CDC (фиксацию изменений данных) (фиксацию изменений данных) для непрерывной ингестии.

MySQL ClickPipes можно развёртывать и управлять ими вручную через интерфейс ClickPipes, а также программно с использованием OpenAPI и Terraform.

Чтобы начать, сначала убедитесь, что ваша база данных MySQL правильно настроена для репликации binlog. Шаги настройки зависят от того, как именно развёрнут MySQL, поэтому следуйте соответствующему руководству ниже:

После настройки исходной базы данных MySQL можно перейти к созданию ClickPipe.

Убедитесь, что вы вошли в свою учётную запись ClickHouse Cloud. Если у вас ещё нет учётной записи, вы можете зарегистрироваться здесь.

1. В консоли ClickHouse Cloud перейдите к своему сервису ClickHouse Cloud.

2. Выберите кнопку Data Sources в меню слева и нажмите «Set up a ClickPipe»

3. Выберите плитку MySQL CDC

4. Заполните сведения о подключении к вашей исходной базе данных MySQL, которую вы настроили на этапе предварительной подготовки.

По умолчанию ваш ClickPipe создаётся с включённым TLS и проверкой сертификата. Эти параметры можно изменить при создании ClickPipe:

Или отредактировать в разделе Connection settings на вкладке Settings приостановленного ClickPipe:

Где:

• Disable TLS включает или отключает TLS для соединения. Если TLS отключён, данные передаются по сети в открытом виде, включая потенциально учётные данные и другую конфиденциальную информацию.
• Skip certificate verification включает или отключает проверку сертификата, предоставленного исходной базой данных. Учитывайте риски для безопасности при отключении проверки сертификата.
• TLS Host (необязательно; по умолчанию используется исходный Host) — это hostname, с которым должен совпадать CN сертификата, если включена проверка сертификата.
• Upload CA используется для загрузки CA, который применяется при включённой проверке сертификата.

Вы можете указать параметры SSH-туннелирования, если ваша исходная база данных MySQL недоступна из интернета.

1. Включите переключатель "Use SSH Tunnelling".

2. Заполните сведения для SSH-подключения.

   

3. Чтобы использовать аутентификацию по ключу, нажмите "Revoke and generate key pair", чтобы создать новую пару ключей, и скопируйте сгенерированный открытый ключ на ваш SSH-сервер в ~/.ssh/authorized_keys.

4. Нажмите "Verify Connection", чтобы проверить подключение.

После заполнения сведений о подключении нажмите Next.

При необходимости можно настроить расширенные параметры. Краткое описание каждого параметра приведено ниже:

• Интервал синхронизации: интервал, с которым ClickPipes будет опрашивать исходную базу данных на предмет изменений. Это влияет на целевой сервис ClickHouse, поэтому пользователям, чувствительным к затратам, рекомендуется задавать здесь более высокое значение (свыше 3600).
• Параллельные потоки для начальной загрузки: количество параллельных воркеров, которые будут использоваться для получения начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять числом параллельных воркеров, используемых для получения начального снимка. Этот параметр задается отдельно для каждой таблицы.
• Размер батча Pull: количество строк, извлекаемых за один батч. Это параметр best effort, поэтому он может соблюдаться не во всех случаях.
• Количество строк снимка на партицию: количество строк, которое будет извлекаться в каждой партиции во время начального снимка. Это полезно, если в ваших таблицах много строк и вы хотите управлять количеством строк, извлекаемых в каждой партиции.
• Количество таблиц в снимке, обрабатываемых параллельно: количество таблиц, которые будут извлекаться параллельно во время начального снимка. Это полезно, если у вас много таблиц и вы хотите управлять количеством таблиц, извлекаемых параллельно.
• Server ID: необязательный параметр для задания идентификатора сервера для репликации binlog на сервере MySQL. Если он не задан, ClickPipes сгенерирует случайный идентификатор сервера, который может меняться в течение жизненного цикла ClickPipe. Используйте его, чтобы однозначно идентифицировать ваш ClickPipe на стороне исходного сервера MySQL.

5. Здесь вы можете выбрать целевую базу данных для вашего ClickPipe. Можно выбрать существующую базу данных или создать новую.

   

6. Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных MySQL. При выборе таблиц также можно переименовать их в целевой базе данных ClickHouse и исключить отдельные столбцы.

7. Кроме того, вы можете задать пользовательское выражение PARTITION BY <expr> для управления партиционированием целевой таблицы ClickHouse.

   

8. Выберите роль "Full access" в раскрывающемся списке разрешений и нажмите "Complete Setup".

   

Наконец, см. страницу "FAQ по ClickPipes для MySQL", где описаны распространённые проблемы и способы их решения.

После того как вы настроите ClickPipe для репликации данных из MySQL в ClickHouse Cloud, можно сосредоточиться на том, как запрашивать и моделировать данные для оптимальной производительности. Ответы на распространённые вопросы о MySQL CDC и устранении неполадок см. на странице с часто задаваемыми вопросами по MySQL.