Guia de configuração da fonte Amazon DocumentDB

O ClickPipes é compatível com a versão 5.0 do DocumentDB.

Por padrão, o Amazon DocumentDB mantém os logs do change stream por 3 horas, enquanto a carga inicial pode levar bem mais tempo, dependendo do volume de dados já existente no seu DocumentDB. Recomendamos definir a retenção dos logs do change stream para 72 horas ou mais, para garantir que eles não sejam truncados antes da conclusão do snapshot inicial.

1. Clique em Parameter groups no painel esquerdo e localize o grupo de parâmetros usado pelo seu cluster do DocumentDB (se você estiver usando o grupo de parâmetros padrão, primeiro será necessário criar um novo grupo de parâmetros para poder modificá-lo).

2. Procure por change_stream_log_retention_duration, selecione o parâmetro e altere-o para 259200 (72 horas)

3. Clique em Apply Changes para aplicar imediatamente o grupo de parâmetros modificado ao seu cluster do DocumentDB. Você deverá ver o status do grupo de parâmetros mudar para applying e, em seguida, para in-sync quando a alteração for aplicada.

Como alternativa, você pode configurar isso pela AWS CLI.

Para verificar o período atual de retenção de logs do change stream:

aws docdb describe-db-cluster-parameters --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --query "Parameters[?ParameterName=='change_stream_log_retention_duration'].{Name:ParameterName,Value:ParameterValue}"

Para definir o período de retenção do log do change stream para 72 horas:

aws docdb modify-db-cluster-parameter-group --db-cluster-parameter-group-name <PARAMETER_GROUP_NAME> --parameters "ParameterName=change_stream_log_retention_duration,ParameterValue=259200,ApplyMethod=immediate"

Conecte-se ao cluster do DocumentDB como um usuário administrador e execute o comando a seguir para criar um usuário de banco de dados para o CDC do MongoDB no ClickPipes:

db.getSiblingDB("admin").createUser({
    user: "clickpipes_user",
    pwd: "some_secure_password",
    roles: ["readAnyDatabase", "clusterMonitor"],
})

Agora você pode criar seu ClickPipe e começar a fazer a ingestão de dados da sua instância do DocumentDB para o ClickHouse Cloud. Anote os detalhes da conexão usados na configuração do seu cluster do DocumentDB, pois você precisará deles durante o processo de criação do ClickPipe.