Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

이름이 지정된 컬렉션

View as MarkdownEdit this pageReport an issueSet up docs MCP

이름이 지정된 컬렉션은 외부 소스와의 통합을 구성할 때 사용할 key-value 쌍 모음을 저장하는 방법을 제공합니다. 이름이 지정된 컬렉션은 딕셔너리, 테이블, 테이블 함수, 객체 스토리지와 함께 사용할 수 있습니다.

이름이 지정된 컬렉션은 DDL 또는 설정 파일에서 구성할 수 있으며, ClickHouse가 시작될 때 적용됩니다. 이를 통해 객체를 더 쉽게 생성할 수 있고, 관리자 권한이 없는 사용자에게 자격 증명을 숨길 수 있습니다.

이름이 지정된 컬렉션의 키는 해당 함수, 테이블 엔진, 데이터베이스 등의 매개변수 이름과 일치해야 합니다. 아래 예시에서는 각 유형별 매개변수 목록으로 연결되는 링크를 제공합니다.

이름이 지정된 컬렉션에 설정된 매개변수는 SQL에서 재정의할 수 있으며, 이는 아래 예시에서 확인할 수 있습니다. 이 기능은 [NOT] OVERRIDABLE 키워드와 XML 속성 및/또는 구성 옵션 allow_named_collection_override_by_default를 사용해 제한할 수 있습니다.

system 데이터베이스에 이름이 지정된 컬렉션 저장하기

DDL 예시

CREATE NAMED COLLECTION name AS
key_1 = 'value' OVERRIDABLE,
key_2 = 'value2' NOT OVERRIDABLE,
url = 'https://connection.url/'

위 예시에서는 다음과 같습니다:

  • key_1은 항상 재정의할 수 있습니다.
  • key_2는 절대 재정의할 수 없습니다.
  • url은 allow_named_collection_override_by_default 값에 따라 재정의할 수도 있고 할 수 없을 수도 있습니다.

DDL로 이름이 지정된 컬렉션을 생성하기 위한 권한

DDL로 이름이 지정된 컬렉션을 관리하려면 사용자에게 named_collection_control 권한이 있어야 합니다. 이 권한은 /etc/clickhouse-server/users.d/에 파일을 추가하여 부여할 수 있습니다. 다음 예시에서는 사용자 default에 access_management와 named_collection_control 권한을 모두 부여합니다:

/etc/clickhouse-server/users.d/user_default.xmlxml
<clickhouse>
  <users>
    <default>
      <password_sha256_hex>65e84be33532fb784c48129675f9eff3a682b27168c0ea744b2cf58ee02337c5</password_sha256_hex replace=true>
      <access_management>1</access_management>
      <named_collection_control>1</named_collection_control>
    </default>
  </users>
</clickhouse>

이름이 지정된 컬렉션용 저장소

이름이 지정된 컬렉션은 로컬 디스크 또는 ZooKeeper/Keeper에 저장할 수 있습니다. 기본적으로는 로컬 저장소가 사용됩니다. 또한 디스크 암호화에서 사용하는 것과 동일한 알고리즘으로 암호화해 저장할 수도 있으며, 기본값으로는 aes_128_ctr이 사용됩니다.

이름이 지정된 컬렉션 저장소를 구성하려면 type을 지정해야 합니다. 이 값으로는 local 또는 keeper/zookeeper를 사용할 수 있습니다. 암호화된 저장소의 경우 local_encrypted 또는 keeper_encrypted/zookeeper_encrypted를 사용할 수 있습니다.

ZooKeeper/Keeper를 사용하려면 설정 파일의 named_collections_storage 섹션에 path(이름이 지정된 컬렉션이 저장될 ZooKeeper/Keeper 내 경로)도 설정해야 합니다. 다음 예시에서는 암호화와 ZooKeeper/Keeper를 사용합니다:

<clickhouse>
  <named_collections_storage>
    <type>zookeeper_encrypted</type>
    <key_hex>bebec0cabebec0cabebec0cabebec0ca</key_hex>
    <algorithm>aes_128_ctr</algorithm>
    <path>/named_collections_path/</path>
    <update_timeout_ms>1000</update_timeout_ms>
  </named_collections_storage>
</clickhouse>

선택 사항인 구성 매개변수 update_timeout_ms의 기본값은 5000입니다.

system.server_settings 및 getServerSetting을 통해 활성 저장소 유형을 확인할 수 있습니다:

SELECT value, getServerSetting('named_collections_storage_type')
FROM system.server_settings
WHERE name = 'named_collections_storage.type';

저장소 유형을 변경하려면 서버를 다시 시작해야 하며, SYSTEM RELOAD CONFIG로는 활성 backend가 변경되지 않습니다.

설정 파일에 이름이 지정된 컬렉션 저장

XML 예시

/etc/clickhouse-server/config.d/named_collections.xmlxml
<clickhouse>
     <named_collections>
        <name>
            <key_1 overridable="true">value</key_1>
            <key_2 overridable="false">value_2</key_2>
            <url>https://connection.url/</url>
        </name>
     </named_collections>
</clickhouse>

위 예시에서:

  • key_1은 항상 재정의할 수 있습니다.
  • key_2는 절대 재정의할 수 없습니다.
  • url은 allow_named_collection_override_by_default 값에 따라 재정의할 수도 있고 재정의할 수 없을 수도 있습니다.

이름이 지정된 컬렉션 수정하기

DDL 쿼리로 생성한 이름이 지정된 컬렉션은 DDL을 사용해 변경하거나 삭제할 수 있습니다. XML 파일로 생성한 이름이 지정된 컬렉션은 해당 XML을 수정하거나 삭제하여 관리할 수 있습니다.

DDL 이름이 지정된 컬렉션 수정

컬렉션 collection2의 key1 및 key3 키를 변경하거나 추가합니다 (이 경우 해당 키의 overridable 플래그 값은 변경되지 않습니다):

ALTER NAMED COLLECTION collection2 SET key1=4, key3='value3'

key1 키를 변경하거나 추가하고, 항상 재정의할 수 있도록 설정합니다:

ALTER NAMED COLLECTION collection2 SET key1=4 OVERRIDABLE

collection2에서 key2 키를 제거합니다:

ALTER NAMED COLLECTION collection2 DELETE key2

collection2 컬렉션에서 키 key1을 변경하거나 추가하고, 키 key3를 삭제합니다:

ALTER NAMED COLLECTION collection2 SET key1=4, DELETE key3

overridable 플래그의 기본 설정을 적용하려면 해당 키를 제거한 후 다시 추가해야 합니다.

ALTER NAMED COLLECTION collection2 DELETE key1;
ALTER NAMED COLLECTION collection2 SET key1=4;

DDL 이름이 지정된 컬렉션 collection2를 삭제합니다:

DROP NAMED COLLECTION collection2

S3 액세스용 이름이 지정된 컬렉션

매개변수 설명은 s3 테이블 함수를 참고하십시오.

DDL 예시

CREATE NAMED COLLECTION s3_mydata AS
access_key_id = 'AKIAIOSFODNN7EXAMPLE',
secret_access_key = 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
format = 'CSV',
url = 'https://s3.us-east-1.amazonaws.com/yourbucket/mydata/'

XML 예시

<clickhouse>
    <named_collections>
        <s3_mydata>
            <access_key_id>AKIAIOSFODNN7EXAMPLE</access_key_id>
            <secret_access_key>wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY</secret_access_key>
            <format>CSV</format>
            <url>https://s3.us-east-1.amazonaws.com/yourbucket/mydata/</url>
        </s3_mydata>
    </named_collections>
</clickhouse>

s3() 함수 및 S3 Table용 이름이 지정된 컬렉션 예시

아래 두 예시에서는 동일한 이름이 지정된 컬렉션 s3_mydata를 사용합니다:

s3() 함수

INSERT INTO FUNCTION s3(s3_mydata, filename = 'test_file.tsv.gz',
   format = 'TSV', structure = 'number UInt64', compression_method = 'gzip')
SELECT * FROM numbers(10000);

S3 테이블

CREATE TABLE s3_engine_table (number Int64)
ENGINE=S3(s3_mydata, url='https://s3.us-east-1.amazonaws.com/yourbucket/mydata/test_file.tsv.gz', format = 'TSV')
SETTINGS input_format_with_names_use_header = 0;

SELECT * FROM s3_engine_table LIMIT 3;
┌

MySQL 데이터베이스 액세스를 위한 이름이 지정된 컬렉션

매개변수에 대한 설명은 mysql을 참조하십시오.

DDL 예시

CREATE NAMED COLLECTION mymysql AS
user = 'myuser',
password = 'mypass',
host = '127.0.0.1',
port = 3306,
database = 'test',
connection_pool_size = 8,
replace_query = 1

XML 예시

<clickhouse>
    <named_collections>
        <mymysql>
            <user>myuser</user>
            <password>mypass</password>
            <host>127.0.0.1</host>
            <port>3306</port>
            <database>test</database>
            <connection_pool_size>8</connection_pool_size>
            <replace_query>1</replace_query>
        </mymysql>
    </named_collections>
</clickhouse>

mysql() 함수, MySQL 테이블, MySQL 데이터베이스 및 딕셔너리의 이름이 지정된 컬렉션 예시

다음 4개의 예시에서는 동일한 이름이 지정된 컬렉션 mymysql을 사용합니다:

mysql() 함수

SELECT count() FROM mysql(mymysql, table = 'test');

┌

MySQL 테이블

CREATE TABLE mytable(A Int64) ENGINE = MySQL(mymysql, table = 'test', connection_pool_size=3, replace_query=0);
SELECT count() FROM mytable;

┌

MySQL 데이터베이스

CREATE DATABASE mydatabase ENGINE = MySQL(mymysql);

SHOW TABLES FROM mydatabase;

┌

MySQL 딕셔너리

CREATE DICTIONARY dict (A Int64, B String)
PRIMARY KEY A
SOURCE(MYSQL(NAME mymysql TABLE 'source'))
LIFETIME(MIN 1 MAX 2)
LAYOUT(HASHED());

SELECT dictGet('dict', 'B', 2);

┌

PostgreSQL 데이터베이스에 액세스하기 위한 명명된 컬렉션

매개변수에 대한 설명은 postgresql을 참조하십시오. 또한 다음과 같은 별칭이 있습니다:

  • username은 user의 별칭입니다
  • db는 database의 별칭입니다.

PostgreSQL 테이블 엔진의 연결 풀 설정(postgresql_connection_pool_size 및 기타 postgresql_* 설정)도 컬렉션에 저장하거나 key = value 재정의로 전달할 수 있습니다. 이는 PostgreSQL 테이블 엔진, postgresql 테이블 함수, 그리고 PostgreSQL 데이터베이스 엔진에 적용되며, 테이블에 명시적으로 지정된 SETTINGS 절은 컬렉션의 값보다 우선합니다.

컬렉션에서는 host:port 대신 addresses_expr 매개변수를 사용합니다. host, hostname, port와 같은 다른 선택적 매개변수도 있으므로 이 매개변수는 선택 사항입니다. 다음 의사 코드는 우선순위를 설명합니다:

CASE
    WHEN collection['addresses_expr'] != '' THEN collection['addresses_expr']
    WHEN collection['host'] != ''           THEN collection['host'] || ':' || if(collection['port'] != '', collection['port'], '5432')
    WHEN collection['hostname'] != ''       THEN collection['hostname'] || ':' || if(collection['port'] != '', collection['port'], '5432')
END

생성 예시:

CREATE NAMED COLLECTION mypg AS
user = 'pguser',
password = 'jw8s0F4',
host = '127.0.0.1',
port = 5432,
database = 'test',
schema = 'test_schema'

구성 예시:

<clickhouse>
    <named_collections>
        <mypg>
            <user>pguser</user>
            <password>jw8s0F4</password>
            <host>127.0.0.1</host>
            <port>5432</port>
            <database>test</database>
            <schema>test_schema</schema>
        </mypg>
    </named_collections>
</clickhouse>

postgresql 함수에서 이름이 지정된 컬렉션을 사용하는 예시

SELECT * FROM postgresql(mypg, table = 'test');

┌

PostgreSQL 엔진을 사용하는 데이터베이스에서 이름이 지정된 컬렉션을 사용하는 예시

CREATE TABLE mypgtable (a Int64) ENGINE = PostgreSQL(mypg, table = 'test', schema = 'public');

SELECT * FROM mypgtable;

┌

PostgreSQL 엔진을 사용하는 데이터베이스에서 이름이 지정된 컬렉션을 사용하는 예시

CREATE DATABASE mydatabase ENGINE = PostgreSQL(mypg);

SHOW TABLES FROM mydatabase

┌

POSTGRESQL 소스를 사용하는 딕셔너리에서 이름이 지정된 컬렉션을 사용하는 예시

CREATE DICTIONARY dict (a Int64, b String)
PRIMARY KEY a
SOURCE(POSTGRESQL(NAME mypg TABLE test))
LIFETIME(MIN 1 MAX 2)
LAYOUT(HASHED());

SELECT dictGet('dict', 'b', 2);

┌

원격 ClickHouse 데이터베이스에 접속하기 위한 이름이 지정된 컬렉션

매개변수 설명은 remote에서 확인하십시오.

구성 예시는 다음과 같습니다:

CREATE NAMED COLLECTION remote1 AS
host = 'remote_host',
port = 9000,
database = 'system',
user = 'foo',
password = 'secret',
secure = 1
<clickhouse>
    <named_collections>
        <remote1>
            <host>remote_host</host>
            <port>9000</port>
            <database>system</database>
            <user>foo</user>
            <password>secret</password>
            <secure>1</secure>
        </remote1>
    </named_collections>
</clickhouse>

remoteSecure를 사용하므로 연결에는 secure가 필요하지 않지만, 딕셔너리에는 사용할 수 있습니다.

remote/remoteSecure 함수에서 이름이 지정된 컬렉션을 사용하는 예시

SELECT * FROM remote(remote1, table = one);
┌

소스로 ClickHouse를 사용하는 딕셔너리에서 이름이 지정된 컬렉션을 사용하는 예시

CREATE DICTIONARY dict(a Int64, b String)
PRIMARY KEY a
SOURCE(CLICKHOUSE(NAME remote1 TABLE test DB default))
LIFETIME(MIN 1 MAX 2)
LAYOUT(HASHED());

SELECT dictGet('dict', 'b', 1);
┌

Kafka에 액세스하기 위한 이름이 지정된 컬렉션

매개변수 설명은 Kafka를 참조하십시오.

DDL 예시

CREATE NAMED COLLECTION my_kafka_cluster AS
kafka_broker_list = 'localhost:9092',
kafka_topic_list = 'kafka_topic',
kafka_group_name = 'consumer_group',
kafka_format = 'JSONEachRow',
kafka_max_block_size = '1048576';

XML 예시

<clickhouse>
    <named_collections>
        <my_kafka_cluster>
            <kafka_broker_list>localhost:9092</kafka_broker_list>
            <kafka_topic_list>kafka_topic</kafka_topic_list>
            <kafka_group_name>consumer_group</kafka_group_name>
            <kafka_format>JSONEachRow</kafka_format>
            <kafka_max_block_size>1048576</kafka_max_block_size>
        </my_kafka_cluster>
    </named_collections>
</clickhouse>

Kafka 테이블에서 이름이 지정된 컬렉션 사용 예시

다음 두 예시에서는 동일한 이름이 지정된 컬렉션 my_kafka_cluster를 사용합니다.

CREATE TABLE queue
(
    timestamp UInt64,
    level String,
    message String
)
ENGINE = Kafka(my_kafka_cluster)

CREATE TABLE queue
(
    timestamp UInt64,
    level String,
    message String
)
ENGINE = Kafka(my_kafka_cluster)
SETTINGS kafka_num_consumers = 4,
         kafka_thread_per_consumer = 1;

백업용 이름이 지정된 컬렉션

매개변수 설명은 Backup 및 복원을 참조하십시오.

DDL 예시

BACKUP TABLE default.test to S3(named_collection_s3_backups, 'directory')

XML 예시

<clickhouse>
    <named_collections>
        <named_collection_s3_backups>
            <url>https://my-s3-bucket.s3.amazonaws.com/backup-S3/</url>
            <access_key_id>ABC123</access_key_id>
            <secret_access_key>Abc+123</secret_access_key>
        </named_collection_s3_backups>
    </named_collections>
</clickhouse>

MongoDB 테이블 및 딕셔너리 액세스를 위한 이름이 지정된 컬렉션

매개변수에 대한 설명은 mongodb를 참조하십시오.

DDL 예시

CREATE NAMED COLLECTION mymongo AS
user = '',
password = '',
host = '127.0.0.1',
port = 27017,
database = 'test',
collection = 'my_collection',
options = 'connectTimeoutMS=10000'

XML 예시

<clickhouse>
    <named_collections>
        <mymongo>
            <user></user>
            <password></password>
            <host>127.0.0.1</host>
            <port>27017</port>
            <database>test</database>
            <collection>my_collection</collection>
            <options>connectTimeoutMS=10000</options>
        </mymongo>
    </named_collections>
</clickhouse>

MongoDB 테이블

CREATE TABLE mytable(log_type VARCHAR, host VARCHAR, command VARCHAR) ENGINE = MongoDB(mymongo, options='connectTimeoutMS=10000&compressors=zstd')
SELECT count() FROM mytable;

┌

MongoDB 딕셔너리

CREATE DICTIONARY dict
(
    `a` Int64,
    `b` String
)
PRIMARY KEY a
SOURCE(MONGODB(NAME mymongo COLLECTION my_dict))
LIFETIME(MIN 1 MAX 2)
LAYOUT(HASHED())

SELECT dictGet('dict', 'b', 2);

┌
Navigation