remote, remoteSecure

Табличная функция remote позволяет обращаться к удалённым серверам на лету, то есть без создания Distributed таблицы. Табличная функция remoteSecure аналогична remote, но использует защищённое соединение.

Обе функции можно использовать в запросах SELECT и INSERT, когда целевой объект — обычная db/table. Если целевой объект сам является табличной функцией (например, remote('127.0.0.1', numbers(10))), таблица доступна только для чтения: удалённой таблицы для вставки не существует, поэтому INSERT отклоняется с исключением NOT_IMPLEMENTED.

remote(addresses_expr, [db, table, user [, password], sharding_key][, SETTINGS name = value, ...])
remote(addresses_expr, [db.table, user [, password], sharding_key][, SETTINGS name = value, ...])
remote(named_collection[, option=value [,..]][, SETTINGS name = value, ...])
remoteSecure(addresses_expr, [db, table, user [, password], sharding_key][, SETTINGS name = value, ...])
remoteSecure(addresses_expr, [db.table, user [, password], sharding_key][, SETTINGS name = value, ...])
remoteSecure(named_collection[, option=value [,..]][, SETTINGS name = value, ...])

Аргументы также можно передавать с помощью именованных коллекций.

Таблица, расположенная на удалённом сервере.

Поскольку табличные функции remote и remoteSecure заново устанавливают соединение для каждого запроса, вместо них рекомендуется использовать таблицу Distributed. Кроме того, если указаны имена хостов, выполняется разрешение имён, а ошибки при работе с различными репликами не учитываются. При обработке большого количества запросов всегда заранее создавайте таблицу Distributed и не используйте табличную функцию remote.

Табличная функция remote может быть полезна в следующих случаях:

• Однократная миграция данных из одной системы в другую
• Доступ к конкретному серверу для сравнения данных, отладки и тестирования, то есть разовые ad hoc-подключения.
• Запросы между различными кластерами ClickHouse в исследовательских целях.
• Нечастые распределённые запросы, выполняемые вручную.
• Распределённые запросы, в которых набор серверов каждый раз задаётся заново.

Те же параметры можно использовать с движками таблиц Remote и RemoteSecure, чтобы создать постоянную таблицу вместо разовой; см. движки Remote и RemoteSecure. Единственное различие — предложение SETTINGS: движки принимают его после определения движка, ENGINE = Remote(...) SETTINGS skip_unavailable_shards = 1, а не среди аргументов.

example01-01-1
example01-01-1:9440
example01-01-1:9000
localhost
127.0.0.1
[::]:9440
[::]:9000
[2a02:6b8:0:1111::11]:9000

Несколько адресов можно указать через запятую. В этом случае ClickHouse будет использовать распределённую обработку и отправлять запрос на все указанные адреса (как в случае с сегментами, содержащими разные данные). Пример:

example01-01-1,example01-02-1

SELECT * FROM remote('127.0.0.1', db.remote_engine_table) LIMIT 3;

Или используя именованные коллекции:

CREATE NAMED COLLECTION creds AS
        host = '127.0.0.1',
        database = 'db';
SELECT * FROM remote(creds, table='remote_engine_table') LIMIT 3;

CREATE TABLE remote_table (name String, value UInt32) ENGINE=Memory;
INSERT INTO FUNCTION remote('127.0.0.1', currentDatabase(), 'remote_table') VALUES ('test', 42);
SELECT * FROM remote_table;

В этом примере используется одна таблица из набора демонстрационных данных. База данных — imdb, а таблица — actors.

• Проверьте исходную базу данных и имя таблицы (imdb.actors)

  show databases

  show tables in imdb

• Получите оператор CREATE TABLE в исходной системе:

  SELECT create_table_query
  FROM system.tables
  WHERE database = 'imdb' AND table = 'actors'

Ответ

  CREATE TABLE imdb.actors (`id` UInt32,
                            `first_name` String,
                            `last_name` String,
                            `gender` FixedString(1))
                  ENGINE = MergeTree
                  ORDER BY (id, first_name, last_name, gender);

• Создайте целевую базу данных:

  CREATE DATABASE imdb

• Используя оператор CREATE TABLE из исходной системы, создайте целевую таблицу:

  CREATE TABLE imdb.actors (`id` UInt32,
                            `first_name` String,
                            `last_name` String,
                            `gender` FixedString(1))
                  ENGINE = MergeTree
                  ORDER BY (id, first_name, last_name, gender);

Выполните вставку данных в новую базу данных и таблицу, созданные в удаленной системе. Вам понадобятся host, port, имя пользователя, пароль, база данных пункта назначения и целевая таблица.

INSERT INTO FUNCTION
remoteSecure('remote.clickhouse.cloud:9440', 'imdb.actors', 'USER', 'PASSWORD')
SELECT * from imdb.actors

Шаблоны в { } используются для генерации набора сегментов и указания реплик. Если есть несколько пар { }, генерируется декартово произведение соответствующих наборов.

Поддерживаются следующие типы шаблонов.

• {a,b,c} - Обозначает любую из альтернативных строк a, b или c. Шаблон заменяется на a в адресе первого сегмента, на b — в адресе второго сегмента и так далее. Например, example0{1,2}-1 генерирует адреса example01-1 и example02-1.
• {N..M} - Диапазон чисел. Этот шаблон генерирует адреса сегментов с последовательно возрастающими индексами от N до M включительно. Например, example0{1..2}-1 генерирует example01-1 и example02-1.
• {0n..0m} - Диапазон чисел с ведущими нулями. Этот шаблон сохраняет ведущие нули в индексах. Например, example{01..03}-1 генерирует example01-1, example02-1 и example03-1.
• {a|b} - Любое количество вариантов, разделённых символом |. Шаблон задаёт реплики. Например, example01-{1|2} генерирует реплики example01-1 и example01-2.

Запрос будет отправлен на первую работоспособную реплику. Однако для remote реплики перебираются в порядке, заданном в параметре load_balancing. Количество генерируемых адресов ограничено параметром table_function_remote_max_addresses.