Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

Руководство по настройке Amazon DocumentDB как источника

View as MarkdownEdit this pageReport an issueSet up docs MCP

Поддерживаемые версии DocumentDB

ClickPipes поддерживает версию 5.0 DocumentDB.

Настройка срока хранения журнала change stream

По умолчанию в Amazon DocumentDB срок хранения журнала change stream составляет 3 часа, тогда как начальная загрузка может занять значительно больше времени в зависимости от объема имеющихся данных в DocumentDB. Мы рекомендуем установить срок хранения журнала change stream на 72 часа или более, чтобы журнал не был обрезан до завершения начального снимка.

Обновление срока хранения журнала change stream в консоли AWS

  1. В левой панели нажмите Parameter groups, затем найдите группу параметров, используемую вашим кластером DocumentDB (если вы используете группу параметров по умолчанию, сначала потребуется создать новую, чтобы можно было вносить изменения).
Выбор группы параметров
  1. Найдите change_stream_log_retention_duration, выберите этот параметр и измените его значение на 259200 (72 часа)
Изменение группы параметров
  1. Нажмите Apply Changes, чтобы немедленно применить изменённую группу параметров к кластеру DocumentDB. Статус группы параметров должен сначала измениться на applying, а после применения изменения — на in-sync.
Применение группы параметров
Статус группы параметров

Обновление срока хранения журнала change stream через AWS CLI

Кроме того, это можно настроить через AWS CLI.

Чтобы проверить текущий срок хранения журнала change stream:

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Чтобы установить срок хранения журнала change stream на 72 часа:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

Настройка пользователя базы данных

Подключитесь к своему кластеру DocumentDB под учетной записью администратора и выполните следующую команду, чтобы создать пользователя базы данных для MongoDB CDC ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Что дальше?

Теперь вы можете создать ClickPipe и начать приём данных из экземпляра DocumentDB в ClickHouse Cloud. Обязательно сохраните сведения о подключении, которые вы использовали при настройке кластера DocumentDB, так как они понадобятся вам в процессе создания ClickPipe.

Navigation