Configuración de AWS PrivateLink para exponer MSK a ClickPipes

1. Vaya al clúster de MSK.
   • Seleccione "Clusters" en el panel de navegación izquierdo de la consola de Amazon MSK.
   • Seleccione el clúster de MSK específico que desea configurar para la conectividad multi-VPC.
2. Habilite la conectividad MSK multi-VPC
   • En la pestaña Connectivity, busque la sección Multi-VPC connectivity.
   • Haga clic en Edit.
   • Habilite la opción Turn-on MSK multi-VPC connectivity.
   • Siga las instrucciones.
3. Agregue el principal de la cuenta de ClickPipes a la política del clúster
   • Vaya a la pestaña Configuration.
   • Haga clic en Edit en la sección Cluster policy.
   • Incluya arn:aws:iam::072088201116:root en la IAM policy. Ejemplo:

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Principal": {
                     "AWS": [
                         "arn:aws:iam::072088201116:root"
                     ]
                 },
                 "Action": [
                     "kafka:CreateVpcConnection",
                     "kafka:GetBootstrapBrokers",
                     "kafka:DescribeCluster",
                     "kafka:DescribeClusterV2"
                 ],
                 "Resource": "<MSK_CLUSTER_ARN>"
             }
         ]
     }

Habilite el método de autenticación de MSK tanto para el clúster como para la conectividad multi-VPC. El siguiente ejemplo usa SASL/IAM; en su lugar, establezca scram = true para usar SASL/SCRAM.

resource "aws_msk_cluster" "this" {
  # ... configuración existente ...

  client_authentication {
    sasl {
      iam = true
    }
  }

  broker_node_group_info {
    # ... configuración existente ...

    connectivity_info {
      vpc_connectivity {
        client_authentication {
          sasl {
            iam = true
          }
        }
      }
    }
  }
}

Autorice la cuenta de AWS de ClickPipes en la política del clúster de MSK:

resource "aws_msk_cluster_policy" "clickpipes" {
  cluster_arn = aws_msk_cluster.this.arn

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Sid       = "ClickPipesMultiVpc"
      Effect    = "Allow"
      Principal = { AWS = "arn:aws:iam::072088201116:root" }
      Action = [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeCluster",
        "kafka:DescribeClusterV2",
      ]
      Resource = aws_msk_cluster.this.arn
    }]
  })
}

Si el clúster ya tiene una política, conserve sus sentencias existentes al agregar los permisos de ClickPipes.

Siga los pasos para crear el endpoint privado inverso en la documentación de ClickPipes.

Cree el endpoint privado inverso con el proveedor de Terraform de ClickHouse:

resource "clickhouse_clickpipes_reverse_private_endpoint" "msk" {
  service_id         = var.clickhouse_service_id
  description        = "MSK multi-VPC reverse private endpoint"
  type               = "MSK_MULTI_VPC"
  msk_cluster_arn    = aws_msk_cluster.this.arn
  msk_authentication = "SASL_IAM" # O "SASL_SCRAM"

  depends_on = [aws_msk_cluster_policy.clickpipes]
}

Los campos del recurso son inmutables. Al cambiar un campo, el endpoint privado inverso se destruye y se vuelve a crear.