Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs

创建你的第一个 GCS ClickPipe

GCS ClickPipe 提供了一种完全托管且具备高弹性的方式,用于从 Google Cloud Storage (GCS) 摄取数据。它同时支持 一次性持续摄取,并具备精确一次语义。

选择数据源

1. 在 ClickHouse Cloud 中,先在主导航菜单中选择 数据源,再点击 Create ClickPipe

选择导入

2. 点击 Google Cloud Storage 卡片。

选择导入

设置 ClickPipe 连接

1. 要设置新的 ClickPipe,您需要提供连接到对象存储服务并完成身份验证所需的详细信息。

填写连接信息
  • GCS 文件路径:GCS ClickPipe 使用 Cloud Storage 的 XML API 以实现互操作,因此需要使用 storage.googleapis.com 端点:

    https://storage.googleapis.com/bucket-name/key-name

    您可以使用 POSIX 通配符来匹配多个文件或前缀。有关支持的模式,请参阅参考文档

2. 点击 Incoming data。ClickPipes 将从您的存储桶拉取元数据,以便进行下一步。

选择数据格式

界面将显示指定 bucket 中的文件列表。 选择数据格式 (目前支持部分 ClickHouse 格式) ,并决定是否启用持续摄取。 更多详细信息,请参阅概览页面中的“持续摄取”部分。

设置数据格式和 topic

配置表、schema 和设置

在下一步中,您可以选择将数据摄取到新的 ClickHouse 表中,或复用现有表。 按照界面上的说明修改表名、schema 和设置。 您可以在顶部的样本表中实时预览这些更改。

设置表、schema 和设置

您还可以使用提供的控件自定义高级设置。

设置高级控件

或者,您也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下,界面会允许您将源字段映射到所选目标表中的 ClickHouse 字段。

使用现有表

配置权限

最后,您可以为内部 ClickPipes 用户配置权限。

权限: ClickPipes 会创建一个专用用户,用于将数据写入目标表。您可以为该内部用户选择角色,可使用自定义角色或预定义角色之一:

  • Full access:拥有整个 cluster 的完全访问权限。如果目标表使用了 materialized view 或 字典,则需要选择此项。
  • Only destination table:仅拥有目标表的 INSERT 权限。
权限

完成设置

点击“Complete Setup”后,系统将注册您的 ClickPipe,随后您可以在摘要表中看到它。

成功提示
删除提示

摘要表提供了相关控件,可用于显示源中的样本数据,或显示 ClickHouse 中目标表的数据。

查看目标端

以及用于删除 ClickPipe 并显示摄取作业摘要的控件。

查看概览

恭喜! 您已成功设置第一个 ClickPipe。 如果这是一个配置为持续摄取的 ClickPipe,它将持续运行,并从远程数据源实时摄取数据。 否则,它会摄取该批次数据后完成。

Navigation