継続的インジェスト向け順不同モードの設定

a. S3 バケットのプロパティで Event notifications > Amazon EventBridge に移動し、EventBridge への通知送信を有効にします。Save changes をクリックします。

b. AWS Console で Amazon EventBridge > Rules > Create rule に移動します。ルールに名前を付け (例: S3ObjectCreated) 、default event bus を選択して、Next をクリックします。Build event pattern ステップで、イベントソースとして AWS events or EventBridge partner events を選択し、次のイベントパターンを手動で入力します。このとき、<bucket-name> は使用するバケット名に置き換えてください。

{
  "source": ["aws.s3"],
  "detail-type": ["Object Created"],
  "detail": {
    "bucket": {
      "name": ["<bucket-name>"]
    }
  }
}

必要に応じて、プレフィックスまたは接尾辞で絞り込むための object.key 条件をパターンに追加できます。その場合は、ClickPipe に設定したパスと一致していることを確認してください。

c. Select target(s) ステップで、ターゲットタイプとして AWS service を選択し、SQS queue を選びます。前のステップで作成したキューを選択してください。EventBridge が必要な IAM ロールを自動作成できるよう、Use execution role (recommended) はチェックしたままにして、Next をクリックし、ウィザードを完了します。

d. SQS キューのアクセスポリシーを編集し、EventBridge がメッセージを送信できるようにします。<sqs-queue-arn> と <eventbridge-rule-arn> は適切な値に置き換えてください。

{
  "Version": "2012-10-17",
  "Id": "example-ID",
  "Statement": [
    {
      "Sid": "AllowEventBridgeToSendMessage",
      "Effect": "Allow",
      "Principal": {
        "Service": "events.amazonaws.com"
      },
      "Action": "SQS:SendMessage",
      "Resource": "<sqs-queue-arn>",
      "Condition": {
        "ArnLike": {
          "aws:SourceArn": "<eventbridge-rule-arn>"
        }
      }
    }
  ]
}

a. SQS キューのアクセスポリシーを編集し、S3 バケットがメッセージを送信できるようにします。<sqs-queue-arn>、<bucket-arn>、<aws-account-id> は適切な値に置き換えてください。

{
  "Version": "2012-10-17",
  "Id": "example-ID",
  "Statement": [
    {
      "Sid": "AllowS3ToSendMessage",
      "Effect": "Allow",
      "Principal": {
        "Service": "s3.amazonaws.com"
      },
      "Action": "SQS:SendMessage",
      "Resource": "<sqs-queue-arn>",
      "Condition": {
        "ArnLike": {
          "aws:SourceArn": "<bucket-arn>"
        },
        "StringEquals": {
          "aws:SourceAccount": "<aws-account-id>"
        }
      }
    }
  ]
}

b. S3 バケットのプロパティで Event notifications を有効にし、イベントタイプとして All object create events (s3:ObjectCreated:*) を選択して、宛先を SQS キューに設定します。代わりに個別のイベントタイプを選択しないでください。アップロード方法によって発生する ObjectCreated イベントの種類が異なるためです (たとえば、multipart upload では Put ではなく CompleteMultipartUpload が発生します) 。また、選択していないイベントタイプに該当するファイルはキューに配信されません。必要に応じて、通知をトリガーするオブジェクトを絞り込むためにプレフィックスまたは接尾辞を指定できます。その場合は、ClickPipe に設定したパスと一致していることを確認してください。