Acessando dados do S3 com segurança

Este guia mostra como clientes do ClickHouse Cloud podem usar o controle de acesso baseado em função para se autenticar no Amazon Simple Storage Service (S3) e acessar seus dados com segurança. Antes de partir para a configuração do acesso seguro ao S3, é importante entender como isso funciona. Abaixo está uma visão geral de como os serviços do ClickHouse podem acessar buckets privados do S3 assumindo uma função na conta da AWS dos clientes.

Essa abordagem permite que os clientes gerenciem todo o acesso aos seus buckets do S3 em um único lugar (a política do IAM da função assumida), sem precisar revisar todas as políticas de bucket para adicionar ou remover acessos. Na seção abaixo, você aprenderá a configurar isso.

1. Faça login na sua conta do ClickHouse Cloud.

2. Selecione o serviço ClickHouse para o qual você deseja criar a integração

3. Selecione a guia Configurações

4. Role para baixo até a seção Informações de segurança da rede, na parte inferior da página

5. Copie o valor de Service role ID (IAM) do serviço, como mostrado abaixo.

A assunção de função do IAM pode ser configurada de duas maneiras:

• Usando uma stack do CloudFormation
• Criando manualmente uma função do IAM

1. Faça login na sua conta da AWS no navegador com um usuário do IAM que tenha permissão para criar e gerenciar função do IAM.

2. Acesse a seguinte URL do CloudFormation para preencher a stack do CloudFormation.

3. Digite (ou cole) o Service role ID (IAM) do seu serviço, obtido anteriormente, no campo intitulado "ClickHouse Instance Roles" Você pode colar o ID da service role exatamente como ele aparece no Cloud Console.

4. Digite o nome do seu bucket no campo intitulado "Bucket Names". Se a URL do seu bucket for https://ch-docs-s3-bucket.s3.eu-central-1.amazonaws.com/clickhouseS3/, então o nome do bucket será ch-docs-s3-bucket.

5. Configure a stack do CloudFormation. Veja abaixo informações adicionais sobre esses parâmetros.

6. Marque a caixa de seleção I acknowledge that AWS CloudFormation might create IAM resources with custom names.

7. Clique no botão Create stack, no canto inferior direito

8. Verifique se a stack do CloudFormation é concluída sem erro.

9. Selecione a Stack recém-criada e, em seguida, selecione a guia Outputs da stack do CloudFormation

10. Copie o valor de RoleArn desta integração, que é o que você precisará para acessar seu bucket do S3.

1. Faça login na sua conta da AWS no navegador com um usuário do IAM que tenha permissão para criar e gerenciar funções do IAM.

2. Acesse o Console do serviço IAM

3. Crie uma nova função do IAM com a seguinte política de IAM e de confiança. Substitua {ClickHouse_IAM_ARN} pelo ARN da função do IAM pertencente à sua instância do ClickHouse.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "{ClickHouse_IAM_ARN}"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Política de IAM

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::{BUCKET_NAME}"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": [
                "arn:aws:s3:::{BUCKET_NAME}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

4. Copie o novo ARN da função do IAM após a criação, pois ele é necessário para acessar seu bucket do S3.

O ClickHouse Cloud permite especificar extra_credentials como parte da função de tabela S3. Abaixo está um exemplo de como executar uma consulta usando a role recém-criada, copiada acima.

DESCRIBE TABLE s3('https://s3.amazonaws.com/BUCKETNAME/BUCKETOBJECT.csv','CSVWithNames',extra_credentials(role_arn = 'arn:aws:iam::111111111111:role/ClickHouseAccessRole-001'))

Abaixo está um exemplo de consulta que usa role_session_name como segredo compartilhado para consultar dados de um bucket. Se role_session_name não estiver correto, essa operação falhará.

DESCRIBE TABLE s3('https://s3.amazonaws.com/BUCKETNAME/BUCKETOBJECT.csv','CSVWithNames',extra_credentials(role_arn = 'arn:aws:iam::111111111111:role/ClickHouseAccessRole-001', role_session_name = 'secret-role-name'))

Para um controle de acesso mais rigoroso, é possível restringir a política do bucket para aceitar apenas solicitações originadas dos endpoints da VPC do ClickHouse Cloud usando a condição aws:SourceVpce. Para obter os endpoints da VPC da sua região do ClickHouse Cloud, abra um terminal e execute:

# Replace <your-region> with your ClickHouse Cloud region
curl -s https://api.clickhouse.cloud/static-ips.json | jq -r '.aws[] | select(.region == "<your-region>") | .s3_endpoints[]'

Em seguida, adicione uma regra de negação à política do IAM com os endpoints retornados:

{
        "Version": "2012-10-17",
        "Statement": [
            {
                "Sid": "VisualEditor0",
                "Effect": "Allow",
                "Action": [
                    "s3:List*",
                    "s3:Get*"
                ],
                "Resource": [
                    "arn:aws:s3:::{BUCKET_NAME}",
                    "arn:aws:s3:::{BUCKET_NAME}/*"
                ]
            },
            {
                "Sid": "VisualEditor3",
                "Effect": "Deny",
                "Action": [
                    "s3:GetObject"
                ],
                "Resource": "*",
                "Condition": {
                    "StringNotEquals": {
                        "aws:SourceVpce": [
                            "{ClickHouse VPC ID from your S3 region}",
                            "{ClickHouse VPC ID from your S3 region}",
                            "{ClickHouse VPC ID from your S3 region}"
                        ]
                    }
                }
            }
        ]
}

Para mais detalhes sobre o acesso aos endpoints dos serviços do ClickHouse Cloud, consulte Endereços IP da Cloud.