AWS PrivateLink

يمكنك استخدام AWS PrivateLink لإنشاء اتصال آمن بين شبكات VPC، وخدمات AWS، وأنظمتك المحلية، وClickHouse Cloud، من دون تعريض حركة المرور إلى الإنترنت العام. توضح هذه الوثيقة الخطوات اللازمة للاتصال بـ ClickHouse Cloud باستخدام AWS PrivateLink.

لحصر الوصول إلى خدمات ClickHouse Cloud الخاصة بك عبر عناوين AWS PrivateLink فقط، اتبع الإرشادات التي يوفرها ClickHouse Cloud بشأن قوائم الوصول حسب عنوان IP.

يدعم ClickHouse Cloud PrivateLink عبر المناطق للخدمات المستضافة في مناطق AWS التالية:

يغطي الجدول مناطق استضافة الخدمات فقط. وتستخدم مناطق نقاط نهاية VPC للواجهة الخاصة بالمستهلك قائمة سماح منفصلة؛ فعلى سبيل المثال، تُعد mx-central-1 منطقة مستهلك مسموحًا بها، رغم أن الخدمات المستضافة فيها لا يمكنها تفعيل الوصول عبر المناطق.

يُرجى إكمال ما يلي لتمكين AWS PrivateLink:

1. احصل على "Service name" الخاص بنقطة النهاية.
2. أنشئ نقطة نهاية AWS.
3. أضف "Endpoint ID" إلى المؤسسة في ClickHouse Cloud.
4. أضف "Endpoint ID" إلى قائمة السماح لخدمة ClickHouse.

اعثر على أمثلة Terraform هنا.

يحاول ClickHouse تجميع خدماتك لإعادة استخدام نقطة نهاية الخدمة المنشورة نفسها داخل منطقة AWS. ومع ذلك، لا يمكن ضمان هذا التجميع، خصوصًا إذا كانت خدماتك موزعة على عدة مؤسسات في ClickHouse. إذا كان PrivateLink مهيأً بالفعل لخدمات أخرى في مؤسسة ClickHouse الخاصة بك، فغالبًا يمكنك تخطي معظم الخطوات بفضل هذا التجميع والانتقال مباشرةً إلى الخطوة الأخيرة: إضافة "Endpoint ID" الخاص بـ ClickHouse إلى قائمة السماح لخدمة ClickHouse.

قبل البدء، ستحتاج إلى ما يلي:

1. حساب AWS الخاص بك.
2. مفتاح واجهة برمجة تطبيقات ClickHouse مع الأذونات اللازمة لإنشاء نقاط النهاية الخاصة وإدارتها من جانب ClickHouse.

اتبع هذه الخطوات لتوصيل خدمات ClickHouse Cloud الخاصة بك عبر AWS PrivateLink.

في ClickHouse Cloud console، افتح الخدمة التي تريد الاتصال بها عبر PrivateLink، ثم انتقل إلى قائمة Settings.

دوّن Service name واسم DNS، ثم انتقل إلى الخطوة التالية.

أولًا، عيّن متغيرات البيئة التالية قبل تشغيل أي أوامر:

REGION=<Your region code using the AWS format, for example: us-west-2>
PROVIDER=aws
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
SERVICE_NAME=<Your ClickHouse service name>

احصل على INSTANCE_ID الخاص بـ ClickHouse من خلال التصفية حسب المنطقة وموفّر الخدمة واسم الخدمة:

INSTANCE_ID=$(curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services" | \
jq ".result[] | select (.region==\"${REGION:?}\" and .provider==\"${PROVIDER:?}\" and .name==\"${SERVICE_NAME:?}\") | .id " -r)

احصل على endpointServiceId وprivateDnsHostname الخاصَّين بإعداد PrivateLink لديك:

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | \
jq .result

من المفترض أن يُرجع هذا الأمر شيئًا مثل:

{
  "endpointServiceId": "com.amazonaws.vpce.us-west-2.vpce-svc-xxxxxxxxxxxxxxxxx",
  "privateDnsHostname": "xxxxxxxxxx.us-west-2.vpce.aws.clickhouse.cloud"
}

دوّن endpointServiceId وprivateDnsHostname، ثم انتقل إلى الخطوة التالية.

افتح AWS Console وانتقل إلى VPC → Endpoints → Create endpoints.

حدِّد Endpoint services that use NLBs and GWLBs، ثم استخدم Service name^console أو endpointServiceId^{واجهة برمجة تطبيقات} الذي حصلت عليه من خطوة Obtain Endpoint "Service name" في حقل Service Name. انقر على Verify service:

إذا ظهرت لك رسالة الخطأ "Service name couldn't be verified."، فيُرجى التواصل مع دعم العملاء لطلب إضافة Regions جديدة إلى قائمة المناطق المدعومة.

بعد ذلك، حدِّد VPC والشبكات الفرعية الخاصة بك:

كخطوة اختيارية، عيِّن مجموعات الأمان/الوسوم:

بعد إنشاء VPC Endpoint، دوِّن قيمة Endpoint ID، إذ ستحتاج إليها في خطوة لاحقة.

بعد ذلك، عليك إنشاء VPC Endpoint باستخدام Service name^Console أو endpointServiceId^{واجهة برمجة تطبيقات} اللذين حصلت عليهما من خطوة الحصول على Endpoint و"Service name" . تأكد من استخدام معرّفات الشبكات الفرعية الصحيحة، ومجموعات الأمان، ومعرّف VPC الصحيح.

Resources:
  ClickHouseInterfaceEndpoint:
    Type: 'AWS::EC2::VPCEndpoint'
    Properties:
      VpcEndpointType: Interface
      PrivateDnsEnabled: false
      ServiceName: <Service name(endpointServiceId), pls see above>
      VpcId: vpc-vpc_id
      SubnetIds:
        - subnet-subnet_id1
        - subnet-subnet_id2
        - subnet-subnet_id3
      SecurityGroupIds:
        - sg-security_group_id1
        - sg-security_group_id2
        - sg-security_group_id3

بعد إنشاء VPC Endpoint، دوّن قيمة Endpoint ID، إذ ستحتاج إليها في خطوة لاحقة.

service_name أدناه هو Service name^Console أو endpointServiceId^{واجهة برمجة تطبيقات} اللذان حصلت عليهما من خطوة الحصول على "Service name" لنقطة النهاية

resource "aws_vpc_endpoint" "this" {
  vpc_id            = var.vpc_id
  service_name      = "<pls see comment above>"
  vpc_endpoint_type = "Interface"
  security_group_ids = [
    Var.security_group_id1,var.security_group_id2, var.security_group_id3,
  ]
  subnet_ids          = [var.subnet_id1,var.subnet_id2,var.subnet_id3]
  private_dns_enabled = false
  service_region      = "(Optional) If specified, the VPC endpoint will connect to the service in the provided region. Define it for multi-regional PrivateLink connections."
}

بعد إنشاء VPC Endpoint، دوِّن قيمة Endpoint ID؛ فستحتاج إليها في خطوة لاحقة.

يجب توجيه "اسم DNS"، المأخوذ من خطوة الحصول على "Service name" لنقطة النهاية ، إلى واجهات الشبكة الخاصة بـ AWS Endpoint. وهذا يضمن أن الخدمات/المكوّنات داخل شبكة VPC/الشبكة لديك يمكنها حلّه بشكل صحيح.

للإضافة، يُرجى الانتقال إلى ClickHouse Cloud console، ثم فتح الخدمة التي تريد الاتصال بها عبر PrivateLink، وبعد ذلك الانتقال إلى الإعدادات. انقر على إعداد نقطة نهاية خاصة لفتح إعدادات نقاط النهاية الخاصة. أدخل Endpoint ID الذي حصلت عليه من خطوة إنشاء AWS Endpoint. انقر على "إنشاء نقطة نهاية".

للإزالة، يُرجى الانتقال إلى ClickHouse Cloud console، ثم العثور على الخدمة، وبعد ذلك الانتقال إلى الإعدادات الخاصة بها، ثم العثور على نقطة النهاية التي تريد إزالتها. أزلها من قائمة نقاط النهاية.

تحتاج إلى إضافة Endpoint ID إلى قائمة السماح لكل مثيل يجب أن يكون متاحًا عبر PrivateLink.

عيّن متغير البيئة ENDPOINT_ID باستخدام البيانات الواردة في خطوة Create AWS Endpoint.

عيّن متغيرات البيئة التالية قبل تشغيل أي أوامر:

REGION=<Your region code using the AWS format, for example: us-west-2>
PROVIDER=aws
KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
SERVICE_NAME=<Your ClickHouse service name>

لإضافة Endpoint ID إلى قائمة السماح:

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "add": [
      "${ENDPOINT_ID:?}"
    ]
  }
}
EOF

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X PATCH -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" \
-d @pl_config.json | jq

لإزالة Endpoint ID من قائمة السماح:

cat <<EOF | tee pl_config.json
{
  "privateEndpointIds": {
    "remove": [
      "${ENDPOINT_ID:?}"
    ]
  }
}
EOF

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X PATCH -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" \
-d @pl_config.json | jq

لكل خدمة مُفعَّل لها Private Link نقطة نهاية عامة وأخرى خاصة. وللاتصال باستخدام Private Link، يجب استخدام نقطة نهاية خاصة، وهي privateDnsHostname^{واجهة برمجة تطبيقات} أو DNS Name^{وحدة التحكم}، كما هو موضح في الحصول على «اسم الخدمة» لنقطة النهاية.

في ClickHouse Cloud console، انتقل إلى الإعدادات. انقر على زر إعداد نقطة نهاية خاصة. في اللوحة الجانبية المنبثقة، انسخ اسم DNS.

اضبط متغيرات البيئة التالية قبل تشغيل أي أوامر:

KEY_ID=<Your ClickHouse key ID>
KEY_SECRET=<Your ClickHouse key secret>
ORG_ID=<Your ClickHouse organization ID>
INSTANCE_ID=<Your ClickHouse service name>

يمكنك الحصول على INSTANCE_ID من الخطوة.

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}/privateEndpointConfig" | \
jq .result

من المفترض أن تكون النتيجة شيئًا مثل:

{
  "endpointServiceId": "com.amazonaws.vpce.us-west-2.vpce-svc-xxxxxxxxxxxxxxxxx",
  "privateDnsHostname": "xxxxxxxxxx.us-west-2.vpce.aws.clickhouse.cloud"
}

في هذا المثال، سيُوجَّه الاتصال عبر اسم المضيف الوارد في قيمة privateDnsHostname إلى PrivateLink، لكن الاتصال عبر اسم المضيف endpointServiceId سيُوجَّه عبر الإنترنت.

KEY_ID=<Key ID>
KEY_SECRET=<Key secret>
ORG_ID=<please set ClickHouse organization ID>
INSTANCE_ID=<Instance ID>

curl --silent --user "${KEY_ID:?}:${KEY_SECRET:?}" \
-X GET -H "Content-Type: application/json" \
"https://api.clickhouse.cloud/v1/organizations/${ORG_ID:?}/services/${INSTANCE_ID:?}" | \
jq .result.privateEndpointIds