ClickPipes для CDC

В этом разделе описана модель ценообразования для коннекторов CDC (фиксация изменений данных) в ClickPipes.

Стоимость коннекторов OLTP CDC рассчитывается по двум параметрам: объёму данных и вычислительным ресурсам.

Объём необработанных несжатых данных, считанных из потока репликации базы данных и загруженных в ClickHouse. Стоимость зависит от фазы ингестии:

• Начальная загрузка / ресинхронизация: На этом этапе коннектор получает и загружает согласованный снимок таблиц, выбранных для репликации. Это происходит при первом создании ClickPipe, добавлении новой таблицы в существующий ClickPipe или возникновении неисправимой ошибки, требующей повторной загрузки согласованного снимка.

• Непрерывная репликация (CDC): На этом этапе коннектор получает текущие изменения в таблицах, выбранных для репликации, такие как вставки, обновления и удаления. Это происходит после завершения начальной загрузки и перехода ClickPipe в состояние Running.

Вычислительные единицы, выделенные на сервис для CDC ClickPipes, совместно используются всеми CDC ClickPipes в этом сервисе. Объём вычислительных ресурсов, выделяемых по умолчанию, зависит от уровня вашей организации.

Поскольку вычислительные ресурсы используются совместно, эта составляющая стоимости остаётся фиксированной для каждого сервиса по мере масштабирования использования CDC ClickPipes. Дополнительные вычислительные единицы можно выделить, масштабировав сервис CDC ClickPipes; стоимость при этом растёт линейно.

Рассмотрим сервис уровня Scale со следующей конфигурацией:

• 1 ClickPipe Postgres CDC, реплицирующий 8 таблиц, с начальной загрузкой 200 ГБ и 100 ГБ изменений (CDC) в месяц.
• 1 ClickPipe MySQL CDC, реплицирующий 5 таблиц, с начальной загрузкой 100 ГБ и 50 ГБ изменений (CDC) в месяц.

Первый месяц

Первоначальная загрузка (однократно, тарифицируется по более низкой ставке):

(200 + 100) \text{ ГБ} \times \$0.10/\text{GB} = \$30

Непрерывная репликация (CDC):

(100 + 50) \text{ ГБ} \times \$0.20/\text{GB} = \$30

Вычисление (общие для обоих ClickPipes, тарифицируется на каждый сервис):

1 \text{ вычислительная единица} \times \$0.20/\text{hr} \times 730 \text{ часов} = \$146

Итого за первый месяц:

\$30 \text{ (первоначальная загрузка)} + \$30 \text{ (CDC)} + \$146 \text{ (вычисление)} = \$206

Последующие месяцы

\$30 \text{ (CDC)} + \$146 \text{ (compute)} = \$176 \text{ в месяц}

Для CDC ClickPipes вычислительные ресурсы — это фиксированная стоимость, общая для всех CDC ClickPipes в рамках сервиса, независимо от типа коннектора. В этом примере добавление MySQL ClickPipe увеличило стоимость только за счёт принимаемых данных, но не за счёт дополнительных вычислительных ресурсов: то есть счёт растёт вместе с объёмом принимаемых данных, а не с количеством запущенных ClickPipes.

Чтобы избежать узких мест в производительности и эффективно использовать вычислительные ресурсы, выделенные сервису, рекомендуем реплицировать все таблицы из одного и того же экземпляра исходной базы данных через один ClickPipe — до тех пор, пока не появится веская причина разделить рабочую нагрузку между несколькими ClickPipes или увеличить масштаб.

Тарификация коннекторов CDC для хранилищ данных находится в разработке.