Skip to content
ClickHouse Docs
ClickHouse DocsClickHouse Docs
49.6kGet Started

OPTIMIZE

View as MarkdownEdit this pageReport an issueSet up docs MCP

يحاول هذا الاستعلام بدء عملية دمج غير مجدولة لأجزاء البيانات في الجداول. لاحظ أننا نوصي عمومًا بعدم استخدام OPTIMIZE TABLE ... FINAL (راجع هذه الوثائق)، لأن حالة استخدامه مخصصة للأغراض الإدارية، لا للعمليات اليومية.

الصياغة

OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FINAL | FORCE] [DEDUPLICATE [BY expression]]
OPTIMIZE TABLE [db.]name DRY RUN PARTS 'part_name1', 'part_name2' [, ...] [DEDUPLICATE [BY expression]] [CLEANUP]

استعلام OPTIMIZE مدعوم لعائلة MergeTree (بما في ذلك materialized views) ومحركات Buffer. أما محركات الجداول الأخرى فلا يدعمها النظام.

عند استخدام OPTIMIZE مع عائلة محركات الجداول ReplicatedMergeTree، ينشئ ClickHouse مهمة دمج وينتظر تنفيذها على جميع النسخ المتماثلة (إذا كان الإعداد alter_sync مضبوطًا على 2) أو على النسخة المتماثلة الحالية (إذا كان الإعداد alter_sync مضبوطًا على 1).

  • إذا لم يُجرِ OPTIMIZE عملية دمج لأي سبب، فلن يُخطر العميل بذلك. لتمكين الإشعارات، استخدم الإعداد optimize_throw_if_noop.
  • إذا حددت PARTITION، فلن يُحسَّن إلا القسم المحدد. كيفية تعيين تعبير القسم.
  • إذا حددت FINAL أو FORCE، فستُنفَّذ عملية التحسين حتى إذا كانت جميع البيانات موجودة بالفعل في جزء واحد. يمكنك التحكم في هذا السلوك باستخدام optimize_skip_merged_partitions. كذلك، يُفرَض الدمج حتى إذا كانت هناك عمليات دمج متزامنة قيد التنفيذ.
  • إذا حددت DEDUPLICATE، فستُزال الصفوف المتطابقة تمامًا (ما لم تُحدَّد عبارة BY) (تُقارَن جميع الأعمدة)، وهذا مفيد فقط مع محرك MergeTree.

يمكنك تحديد مدة الانتظار (بالثواني) لكي تنفّذ النسخ المتماثلة غير النشطة استعلامات OPTIMIZE باستخدام الإعداد replication_wait_for_inactive_replica_timeout.

DRY RUN

يحاكي عبارة DRY RUN دمج الأجزاء المحددة من دون تثبيت النتيجة. ويُكتب الجزء المدموج في موقع مؤقت، ثم يُتحقَّق منه ويُتخلَّص منه بعد ذلك. وتبقى الأجزاء الأصلية وبيانات الجدول من دون تغيير.

يفيد ذلك في:

  • اختبار صحة الدمج عبر إصدارات ClickHouse.
  • إعادة إنتاج الأخطاء المرتبطة بالدمج بصورة حتمية.
  • قياس أداء الدمج.

لا يُدعَم DRY RUN إلا للجداول من عائلة MergeTree. ويُشترط استخدام الكلمة المفتاحية PARTS مع قائمة بأسماء الأجزاء. ويجب أن تكون جميع الأجزاء المحددة موجودة ونشطة وتنتمي إلى القسم نفسه.

لا يتوافق DRY RUN مع FINAL وPARTITION. ويمكن دمجه مع DEDUPLICATE (مع تحديد اختياري للأعمدة) وCLEANUP (لجداول ReplacingMergeTree).

الصياغة

OPTIMIZE TABLE [db.]name DRY RUN PARTS 'part_name1', 'part_name2' [, ...] [DEDUPLICATE [BY expression]] [CLEANUP]

افتراضيًا، يُتحقَّق من الجزء المدموج الناتج بأسلوب مشابه لاستعلام CHECK TABLE. ويخضع هذا السلوك للإعداد optimize_dry_run_check_part (مفعّل افتراضيًا). ويؤدي تعطيله إلى تخطي التحقق، ما قد يكون مفيدًا لاختبار أداء عملية الدمج نفسها.

مثال

CREATE TABLE dry_run_example (key UInt64, value String) ENGINE = MergeTree ORDER BY key;

INSERT INTO dry_run_example VALUES (1, 'a'), (2, 'b');
INSERT INTO dry_run_example VALUES (1, 'c'), (4, 'd');

-- Simulate merging using two parts
OPTIMIZE TABLE dry_run_example DRY RUN PARTS 'all_1_1_0', 'all_2_2_0';

-- Simulate merging with deduplication
OPTIMIZE TABLE dry_run_example DRY RUN PARTS 'all_1_1_0', 'all_2_2_0' DEDUPLICATE;

-- Parts and data remain unchanged after DRY RUN
SELECT name, rows FROM system.parts
WHERE database = currentDatabase() AND table = 'dry_run_example' AND active
ORDER BY name;
┌─name────────┬─rows─┐
│ all_1_1_0   │    2 │
│ all_2_2_0   │    2 │
└─────────────┴──────┘

تعبير BY

إذا كنت تريد إجراء إزالة التكرار على مجموعة مخصّصة من الأعمدة بدلًا من جميع الأعمدة، فيمكنك تحديد قائمة الأعمدة صراحةً أو استخدام أي مزيج من تعبيرات * وCOLUMNS وEXCEPT. ويجب أن تتضمن قائمة الأعمدة المكتوبة صراحةً أو الموسَّعة ضمنيًا جميع الأعمدة المحددة في تعبير ترتيب الصفوف (أي كلًّا من المفتاح الأساسي ومفتاح الفرز) وتعبير التقسيم (مفتاح التقسيم).

الصياغة

OPTIMIZE TABLE table DEDUPLICATE; -- all columns
OPTIMIZE TABLE table DEDUPLICATE BY *; -- excludes MATERIALIZED and ALIAS columns
OPTIMIZE TABLE table DEDUPLICATE BY colX,colY,colZ;
OPTIMIZE TABLE table DEDUPLICATE BY * EXCEPT colX;
OPTIMIZE TABLE table DEDUPLICATE BY * EXCEPT (colX, colY);
OPTIMIZE TABLE table DEDUPLICATE BY COLUMNS('column-matched-by-regex');
OPTIMIZE TABLE table DEDUPLICATE BY COLUMNS('column-matched-by-regex') EXCEPT colX;
OPTIMIZE TABLE table DEDUPLICATE BY COLUMNS('column-matched-by-regex') EXCEPT (colX, colY);

أمثلة

لننظر إلى الجدول التالي:

Querysql
CREATE TABLE example (
    primary_key Int32,
    secondary_key Int32,
    value UInt32,
    partition_key UInt32,
    materialized_value UInt32 MATERIALIZED 12345,
    aliased_value UInt32 ALIAS 2,
    PRIMARY KEY primary_key
) ENGINE=MergeTree
PARTITION BY partition_key
ORDER BY (primary_key, secondary_key);
Querysql
INSERT INTO example (primary_key, secondary_key, value, partition_key)
VALUES (0, 0, 0, 0), (0, 0, 0, 0), (1, 1, 2, 2), (1, 1, 2, 3), (1, 1, 3, 3);
Querysql
SELECT * FROM example;
Responsesql

┌

تُنفَّذ جميع الأمثلة التالية على هذه الحالة، التي تضم 5 صفوف.

DEDUPLICATE

عندما لا تُحدَّد الأعمدة المستخدمة لإزالة التكرار، تُؤخذ جميعها في الحسبان. ولا يُزال الصف إلا إذا كانت جميع القيم في كل الأعمدة مساويةً للقيم المناظرة في الصف السابق:

Querysql
OPTIMIZE TABLE example FINAL DEDUPLICATE;
Querysql
SELECT * FROM example;
Responseresponse
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             2 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           0 │             0 │     0 │             0 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             3 │
│           1 │             1 │     3 │             3 │
└─────────────┴───────────────┴───────┴───────────────┘

DEDUPLICATE BY *

عندما تُحدَّد الأعمدة ضمنيًا، يُزال التكرار من الجدول استنادًا إلى جميع الأعمدة التي ليست ALIAS أو MATERIALIZED. وبالنظر إلى الجدول أعلاه، فهذه هي الأعمدة primary_key وsecondary_key وvalue وpartition_key:

Querysql
OPTIMIZE TABLE example FINAL DEDUPLICATE BY *;
Querysql
SELECT * FROM example;
Responseresponse
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             2 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           0 │             0 │     0 │             0 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             3 │
│           1 │             1 │     3 │             3 │
└─────────────┴───────────────┴───────┴───────────────┘

DEDUPLICATE BY * EXCEPT

أزل التكرار بحسب جميع الأعمدة التي ليست ALIAS أو MATERIALIZED، مع استبعاد value صراحةً: أعمدة primary_key وsecondary_key وpartition_key.

Querysql
OPTIMIZE TABLE example FINAL DEDUPLICATE BY * EXCEPT value;
Querysql
SELECT * FROM example;
Responseresponse
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             2 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           0 │             0 │     0 │             0 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             3 │
└─────────────┴───────────────┴───────┴───────────────┘

DEDUPLICATE BY <list of columns>

أزل التكرار صراحةً استنادًا إلى الأعمدة primary_key وsecondary_key وpartition_key:

Querysql
OPTIMIZE TABLE example FINAL DEDUPLICATE BY primary_key, secondary_key, partition_key;
Querysql
SELECT * FROM example;
Responseresponse
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             2 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           0 │             0 │     0 │             0 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             3 │
└─────────────┴───────────────┴───────┴───────────────┘

DEDUPLICATE BY COLUMNS(<regex>)

أزل التكرار استنادًا إلى جميع الأعمدة التي تطابق تعبيرًا نمطيًا: الأعمدة primary_key وsecondary_key وpartition_key:

Querysql
OPTIMIZE TABLE example FINAL DEDUPLICATE BY COLUMNS('.*_key');
Querysql
SELECT * FROM example;
Responseresponse
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           0 │             0 │     0 │             0 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             2 │
└─────────────┴───────────────┴───────┴───────────────┘
┌─primary_key─┬─secondary_key─┬─value─┬─partition_key─┐
│           1 │             1 │     2 │             3 │
└─────────────┴───────────────┴───────┴───────────────┘
Navigation