MySQLテーブルエンジン

MySQLエンジンを使用すると、リモートのMySQLサーバーに保存されているデータに対して、SELECT クエリや INSERT クエリを実行できます。

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = MySQL({host:port, database, table, user, password[, replace_query, on_duplicate_clause] | named_collection[, option=value [,..]]})
SETTINGS
    [ connection_pool_size=16, ]
    [ connection_max_tries=3, ]
    [ connection_wait_timeout=5, ]
    [ connection_auto_close=true, ]
    [ connect_timeout=10, ]
    [ read_write_timeout=300, ]
    [ enable_compression=false ]
;

CREATE TABLE クエリの詳細な説明を参照してください。

テーブルの構造は、元の MySQL テーブルの構造と異なる場合があります。

• カラム名は元の MySQL テーブルと同じである必要がありますが、それらの一部のカラムだけを任意の順序で使用できます。
• カラムの型は、元の MySQL テーブルのものと異なっていてもかまいません。ClickHouse は値を ClickHouse のデータ型に cast しようとします。
• external_table_functions_use_nulls 設定は、Nullable カラムをどのように処理するかを定義します。デフォルト値: 1。0 の場合、このテーブル関数は Nullable カラムを作成せず、null の代わりにデフォルト値を挿入します。これは配列内の NULL 値にも適用されます。

エンジンパラメータ

• host:port — MySQL サーバーのアドレス。
• database — リモートのデータベース名。
• table — リモートテーブル名、またはそのまま MySQL に渡されるクエリです (テーブル名の代わりにクエリを渡す を参照) 。
• user — MySQL ユーザー。
• password — ユーザーのパスワード。
• replace_query — INSERT INTO クエリを REPLACE INTO に変換するフラグです。replace_query=1 の場合、クエリが置き換えられます。
• on_duplicate_clause — INSERT クエリに追加される ON DUPLICATE KEY on_duplicate_clause 式です。 例: INSERT INTO t (c1,c2) VALUES ('a', 2) ON DUPLICATE KEY UPDATE c2 = c2 + 1。この場合、on_duplicate_clause は UPDATE c2 = c2 + 1 です。ON DUPLICATE KEY 句で使用できる on_duplicate_clause については、MySQL documentation を参照してください。 on_duplicate_clause を指定するには、replace_query パラメータに 0 を渡す必要があります。replace_query = 1 と on_duplicate_clause を同時に渡すと、ClickHouse は例外を生成します。

引数は 名前付きコレクション を使用して渡すこともできます。この場合、host と port は別々に指定する必要があります。この方法は本番環境に推奨されます。

=, !=, >, >=, <, <= のような単純な WHERE 句は MySQL サーバー上で実行されます。

それ以外の条件と LIMIT サンプリング制約は、MySQL へのクエリが完了した後にのみ ClickHouse で実行されます。

MySQL への暗号化接続の認証情報は、名前付きコレクションのオプション (またはキー・バリュー引数) として渡されます。

値には対応する PEM ファイルの内容を指定します。これらは名前付きコレクションまたはクエリにコピーできます。パスワードと同様に、ログおよび SHOW クエリではマスクされます。

同じ認証情報は、ssl_ca、ssl_cert、ssl_key を使用してサーバー上のファイルへのパスとして指定することもできます。ただし、指定できるのはサーバー設定ファイルで定義された名前付きコレクション内のみであり、このような値をクエリでオーバーライドすることはできません。サーバーは自身の権限でこれらのファイルを開くため、SQL からパスを受け付けると、MySQL ログソースを定義できるすべてのユーザーがローカルファイルシステムを調査し、自身に読み取り権限のない証明書と秘密鍵を使って認証できるようになります。

<named_collections>
    <mysql_creds>
        <host>mysql-host</host>
        <port>3306</port>
        <user>mysql_user</user>
        <password>****</password>
        <ssl_ca>/etc/clickhouse-server/mysql-ca.crt</ssl_ca>
    </mysql_creds>
</named_collections>

テーブル名の代わりに、table 引数には MySQL にそのまま渡される SELECT クエリを指定できます。テーブルの構造はクエリの結果から推論されます。クエリは、サブクエリとして記述することも、query 関数でラップすることもできます。

CREATE TABLE mysql_table ENGINE = MySQL('localhost:3306', 'test', (SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0), 'user', 'password');
CREATE TABLE mysql_table ENGINE = MySQL('localhost:3306', 'test', query('SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0'), 'user', 'password');

これは、JOIN、集計、その他のあらゆる処理を MySQL にプッシュダウンする際に役立ちます。このようなテーブルは読み取り専用であり、これに INSERT することはできません。同じ構文は mysql テーブル関数でもサポートされています。

| で列挙する必要がある複数のレプリカをサポートしています。例:

CREATE TABLE test_replicas (id UInt32, name String, age UInt32, money UInt32) ENGINE = MySQL(`mysql{2|3|4}:3306`, 'clickhouse', 'test_replicas', 'root', 'clickhouse');

MySQLでテーブルを作成します。

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `int_nullable` INT NULL DEFAULT NULL,
    ->   `float` FLOAT NOT NULL,
    ->   `float_nullable` FLOAT NULL DEFAULT NULL,
    ->   PRIMARY KEY (`int_id`));
Query OK, 0 rows affected (0,09 sec)

mysql> insert into test (`int_id`, `float`) VALUES (1,2);
Query OK, 1 row affected (0,00 sec)

mysql> select * from test;
+------+----------+-----+----------+
| int_id | int_nullable | float | float_nullable |
+------+----------+-----+----------+
|      1 |         NULL |     2 |           NULL |
+------+----------+-----+----------+
1 row in set (0,00 sec)

通常の引数を使って ClickHouse にテーブルを作成します:

CREATE TABLE mysql_table
(
    `float_nullable` Nullable(Float32),
    `int_id` Int32
)
ENGINE = MySQL('localhost:3306', 'test', 'test', 'bayonet', '123')

または、名前付きコレクションを使用することもできます:

CREATE NAMED COLLECTION creds AS
        host = 'localhost',
        port = 3306,
        database = 'test',
        user = 'bayonet',
        password = '123';
CREATE TABLE mysql_table
(
    `float_nullable` Nullable(Float32),
    `int_id` Int32
)
ENGINE = MySQL(creds, table='test')

MySQLテーブルからデータを取得する:

SELECT * FROM mysql_table

┌─float_nullable─┬─int_id─┐
│           ᴺᵁᴸᴸ │      1 │
└────────────────┴────────┘

既定の設定は接続の再利用すら行わないため、あまり効率的ではありません。これらの設定により、サーバーが 1 秒あたりに実行できるクエリ数を増やせます。

クエリの実行後に接続を自動的に閉じるようにします。つまり、接続の再利用を無効にします。

設定可能な値:

• 1 — 接続の自動クローズが許可され、接続の再利用は無効になります
• 0 — 接続の自動クローズは許可されず、接続の再利用は有効になります

デフォルト値: 1。

フェイルオーバー対応のプールに対する再試行回数を設定します。

設定可能な値:

• 正の整数。
• 0 — フェイルオーバー対応のプールでは再試行しません。

デフォルト値: 3。

接続プールのサイズです (すべての接続が使用中の場合、いずれかの接続が空くまでクエリは待機します) 。

設定可能な値:

• 正の整数。

デフォルト値: 16。

空き接続を待機する際のタイムアウト (秒単位) です (すでに connection_pool_size 個の接続がアクティブな場合) 。0 の場合は待機しません。

設定可能な値:

• 正の整数。

デフォルト値: 5。

接続タイムアウト (秒単位) 。

設定可能な値:

• 正の整数。

デフォルト値: 10。

読み取り/書き込みのタイムアウト (秒) 。

設定可能な値:

• 正の整数。

デフォルト値: 300。

MySQLプロトコル接続で圧縮を有効にします。

デフォルト値: false。

この設定は次に適用されます:

• MySQL テーブルエンジン;
• MySQL データベースエンジン;
• mysql テーブル関数;
• MySQLインテグレーションで使用される 名前付きコレクション。

有効にすると、ClickHouse はその接続に対して圧縮を要求します。

例:

CREATE TABLE mysql_engine_compression
(
    id UInt32,
    name String,
    age UInt32,
    money UInt32
)
ENGINE = MySQL('mysql80:3306', 'clickhouse', 'test_table', 'root', 'password')
SETTINGS enable_compression = 1;

• mysql テーブル関数
• MySQL を Dictionary ソースとして使用する