GCS ClickPipe 提供了一种完全托管且具备高弹性的方式,用于从 Google Cloud Storage (GCS) 摄取数据。它同时支持 一次性 和 持续摄取,并具备精确一次语义。
选择数据源
1. 在 ClickHouse Cloud 中,先在主导航菜单中选择 数据源,再点击 Create ClickPipe。

2. 点击 Google Cloud Storage 卡片。

设置 ClickPipe 连接
选择数据格式
界面将显示指定 bucket 中的文件列表。 选择数据格式 (目前支持部分 ClickHouse 格式) ,并决定是否启用持续摄取。 更多详细信息,请参阅概览页面中的“持续摄取”部分。

配置表、schema 和设置
在下一步中,您可以选择将数据摄取到新的 ClickHouse 表中,或复用现有表。 按照界面上的说明修改表名、schema 和设置。 您可以在顶部的样本表中实时预览这些更改。

您还可以使用提供的控件自定义高级设置。

或者,您也可以选择将数据摄取到现有的 ClickHouse 表中。 在这种情况下,界面会允许您将源字段映射到所选目标表中的 ClickHouse 字段。

配置权限
最后,您可以为内部 ClickPipes 用户配置权限。
权限: ClickPipes 会创建一个专用用户,用于将数据写入目标表。您可以为该内部用户选择角色,可使用自定义角色或预定义角色之一:
Full access:拥有整个 cluster 的完全访问权限。如果目标表使用了 materialized view 或 字典,则需要选择此项。Only destination table:仅拥有目标表的INSERT权限。

完成设置
点击“Complete Setup”后,系统将注册您的 ClickPipe,随后您可以在摘要表中看到它。


摘要表提供了相关控件,可用于显示源中的样本数据,或显示 ClickHouse 中目标表的数据。

以及用于删除 ClickPipe 并显示摄取作业摘要的控件。

恭喜! 您已成功设置第一个 ClickPipe。 如果这是一个配置为持续摄取的 ClickPipe,它将持续运行,并从远程数据源实时摄取数据。 否则,它会摄取该批次数据后完成。
