Guía de configuración de Aurora Postgres como origen

ClickPipes es compatible con Aurora PostgreSQL-Compatible Edition, versión 12 y posteriores.

Puede omitir esta sección si su instancia de Aurora ya tiene configurada la siguiente opción:

• rds.logical_replication = 1

Esta opción suele venir preconfigurada si anteriormente utilizó otra herramienta de replicación de datos.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Si todavía no está configurado, siga estos pasos:

1. Cree un nuevo grupo de parámetros para su versión de Aurora PostgreSQL con la configuración requerida:
   • Establezca rds.logical_replication en 1

2. Aplique el nuevo grupo de parámetros a su clúster de Aurora PostgreSQL

3. Reinicie su clúster de Aurora para aplicar los cambios

Conéctese a la instancia escritor de Aurora PostgreSQL como usuario administrador y ejecute los siguientes comandos:

1. Cree un usuario dedicado para ClickPipes:

   CREATE USER clickpipes_user PASSWORD 'some-password';

2. Otorgue al usuario que creó en el paso anterior acceso de solo lectura a nivel de esquema. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que desee replicar:

   GRANT USAGE ON SCHEMA "public" TO clickpipes_user;
   GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user;
   ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;

3. Otorgue privilegios de replicación al usuario:

   GRANT rds_replication TO clickpipes_user;

4. Cree una publicación con las tablas que desea replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar sobrecarga de rendimiento.

• Para crear una publicación para tablas específicas:

  CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

  • Para crear una publicación para todas las tablas de un esquema específico:

    CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga la intención de replicar todas las tablas, ya que incluir tablas innecesarias aumenta el tráfico de WAL desde Postgres a ClickPipes y reduce la eficiencia general de la replicación.

Instead of a password, you can authenticate the ClickPipes user with an AWS IAM role. This lets ClickPipes connect to your Amazon Aurora cluster without storing database credentials.

Enable IAM authentication

1. Log in to your AWS account and go to the Aurora cluster you want to configure.
2. Click Modify.
3. Scroll to the Database authentication section.
4. Select Password and IAM database authentication.
5. Click Continue.
6. Review the changes and select Apply immediately.

Create the ClickPipes user

Create the ClickPipes user with IAM authentication enabled, then grant it the same schema and replication privileges shown above:

CREATE USER clickpipes_iam_user;
GRANT rds_iam TO clickpipes_iam_user;

Obtain the ClickHouse service IAM role ARN

1. Log in to your ClickHouse Cloud account.
2. Select the ClickHouse service you want to connect.
3. Select the Settings tab.
4. Scroll to the Network security information section at the bottom of the page.
5. Copy the service's Service role ID (IAM) value, shown below.

This value is your {ClickHouse_IAM_ARN} — the role ClickPipes uses to access your Aurora cluster.

Obtain the resource ID

1. Log in to your AWS account and go to the Aurora cluster you want to configure.
2. Select the Configuration tab.
3. Note the Resource ID value — it looks like cluster-xxxxxxxxxxxxxx. This is your {RDS_RESOURCE_ID}, which you reference in the permissions policy.

Create the IAM role

1. Log in to your AWS account with an IAM user that has permission to create and manage IAM roles.
2. Open the IAM console.
3. Create a new IAM role with the following trust and permissions policies.

   Trust policy (replace {ClickHouse_IAM_ARN} with the IAM role ARN of your ClickHouse instance):

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "AWS": "{ClickHouse_IAM_ARN}"
         },
         "Action": [
           "sts:AssumeRole",
           "sts:TagSession"
         ]
       }
     ]
   }

   Permissions policy (replace {RDS_RESOURCE_ID} with the resource ID of your Aurora cluster, {RDS_REGION} with its region, and {AWS_ACCOUNT} with your AWS account ID):

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "rds-db:connect"
         ],
         "Resource": [
           "arn:aws:rds-db:{RDS_REGION}:{AWS_ACCOUNT}:dbuser:{RDS_RESOURCE_ID}/clickpipes_iam_user"
         ]
       }
     ]
   }

4. Once the role is created, copy its ARN. This is your {RDS_ACCESS_IAM_ROLE_ARN}.

You can now use this IAM role to authenticate with your Aurora cluster from ClickPipes.

Si desea restringir el tráfico a su clúster de Aurora, añada las IP estáticas de NAT documentadas a las Inbound rules de su grupo de seguridad de Aurora.

Para conectarte a tu clúster de Aurora mediante una red privada, puedes usar AWS PrivateLink. Sigue nuestra guía de configuración de AWS PrivateLink para ClickPipes para establecer la conexión.

Al configurar ClickPipes con Aurora PostgreSQL, ten en cuenta estas consideraciones:

1. Endpoint de conexión: Conéctate siempre al endpoint del escritor de tu clúster de Aurora, ya que la replicación lógica requiere acceso de escritura para crear slots de replicación y debe conectarse a la instancia principal.

2. Gestión del failover: En caso de failover, Aurora promocionará automáticamente una instancia de lectura como nuevo escritor. ClickPipes detectará la desconexión e intentará volver a conectarse al endpoint del escritor, que ahora apuntará a la nueva instancia principal.

3. Aurora Global Database: Si usas Aurora Global Database, debes conectarte al endpoint del escritor de la región principal, ya que la replicación entre regiones ya se encarga de mover los datos entre ellas.

4. Consideraciones de almacenamiento: La capa de almacenamiento de Aurora se comparte entre todas las instancias de un clúster, lo que puede ofrecer un mejor rendimiento para la replicación lógica en comparación con RDS estándar.

Aunque Aurora proporciona endpoints estables que redirigen automáticamente a la instancia adecuada, aquí tienes algunos métodos adicionales para garantizar una conectividad consistente:

1. En configuraciones de alta disponibilidad, configura tu aplicación para que use el endpoint del escritor de Aurora, que apunta automáticamente a la instancia primaria activa.

2. Si utilizas replicación entre regiones, considera configurar ClickPipes independientes para cada región a fin de reducir la latencia y mejorar la tolerancia a fallos.

Ya puede crear su ClickPipe y comenzar a ingestar datos desde su clúster de Aurora PostgreSQL en ClickHouse Cloud. Asegúrese de anotar los detalles de conexión que utilizó al configurar su clúster de Aurora PostgreSQL, ya que los necesitará durante el proceso de creación de ClickPipe.