Матрица поддержки - ClickHouse Documentation

На этой странице представлены подробные матрицы поддержки для интеграций ClickHouse с озерами данных. Здесь описаны возможности, доступные для каждого открытого табличного формата, каталоги, к которым может подключаться ClickHouse, а также функции, поддерживаемые каждым каталогом.

Поддержка открытых табличных форматов

ClickHouse интегрируется с четырьмя открытыми табличными форматами: Apache Iceberg, Delta Lake, Apache Hudi и Apache Paimon. Выберите формат ниже, чтобы посмотреть матрицу поддержки. Условные обозначения: ✅ Поддерживается | ⚠️ Частично / экспериментально | ❌ Не поддерживается

Apache Iceberg
Delta Lake
Apache Hudi
Apache Paimon

Возможность	Статус	Примечания
Поддерживаемые хранилища
AWS S3	✅	Через `icebergS3()` или псевдоним `iceberg()`
GCS	✅	Через `icebergS3()` или псевдоним `iceberg()`
Azure Blob Storage	✅	Через `icebergAzure()`
HDFS	⚠️	Через `icebergHDFS()`. Устарело.
Local filesystem	✅	Через `icebergLocal()`
Методы доступа
Табличная функция	✅	`icebergS3()` в вариантах для каждого типа хранилища
Движок таблицы	✅	`IcebergS3` в вариантах для каждого типа хранилища
Распределённое чтение в кластере	✅	`icebergS3Cluster`, `icebergAzureCluster`, `icebergHDFSCluster`
Именованные коллекции	✅	Определение именованной коллекции

Возможности чтения
Поддержка чтения	✅	Полная поддержка SELECT со всеми функциями ClickHouse SQL
Отсечение партиций	✅	См. Отсечение партиций.
Скрытое партиционирование	✅	Поддерживается партиционирование Iceberg на основе преобразований
Эволюция партиций	✅	Поддерживается чтение таблиц с изменяющимися со временем спецификациями партиций
Эволюция схемы	✅	Добавление, удаление и изменение порядка столбцов. См. Эволюция схемы.
Повышение / расширение типов	✅	`int` → `long`, `float` → `double`, `decimal(P,S)` → `decimal(P',S)`, где P’ > P. См. Эволюция схемы.
Путешествие во времени / снимки	✅	Через настройки `iceberg_timestamp_ms` или `iceberg_snapshot_id`. См. Путешествие во времени.
Удаления по позиции	✅	См. Обработка удалённых строк.
Удаления по равенству	✅	Только для движка таблицы, начиная с v25.8+. См. Обработка удалённых строк.
Merge-on-read	⚠️	Экспериментальная возможность. Поддерживается для операций удаления.
Версии формата	⚠️	Поддерживаются v1 и v2. V3 не поддерживается.
Статистика столбцов	✅
Bloom-фильтры / файлы puffin	❌	Индексы bloom-фильтров в файлах puffin не поддерживаются
Виртуальные столбцы	✅	`_path`, `_file`, `_size`, `_time`, `_etag`. См. Виртуальные столбцы.

Возможности записи
Создание таблицы	✅	Экспериментальная возможность. Требуется `allow_insert_into_iceberg = 1`. Начиная с v25.7+. См. Создание таблицы.
INSERT	✅	Бета с 26.2. Требуется `allow_insert_into_iceberg = 1`. См. Вставка данных.
DELETE	✅	Экспериментально. Требуется `allow_insert_into_iceberg = 1`. Через `ALTER TABLE ... DELETE WHERE`. См. Удаление данных.
ALTER TABLE (изменения схемы)	✅	Экспериментально. Требуется `allow_insert_into_iceberg = 1`. Добавление, удаление, изменение и переименование столбцов. См. Эволюция схемы.
Compaction	⚠️	Экспериментально. Требуется `allow_experimental_iceberg_compaction = 1`. Объединяет файлы позиционного удаления с файлами данных. См. Компакция. Другие операции компакции Iceberg не поддерживаются.
UPDATE / MERGE	❌	Не поддерживается. См. Compaction.
Copy-on-write	❌	Не поддерживается
Удаление устаревших снимков	❌	Не поддерживается
Удаление осиротевших файлов	❌	Не поддерживается
Запись в партиции	✅	Поддерживается.
Изменение партиций	❌	Изменение схемы партиционирования из ClickHouse не поддерживается. ClickHouse может записывать в таблицы Iceberg с изменённой схемой партиционирования.

Метаданные
Ветвление и тегирование	❌	Ссылки на ветки/теги Iceberg не поддерживаются
Определение файла метаданных	✅	Поддерживается определение файла метаданных через каталоги, простое перечисление каталога, использование ‘version-hint’ и указание конкретного пути. Настраивается через `iceberg_metadata_file_path` и `iceberg_metadata_table_uuid`. См. Определение файла метаданных.
Кэширование данных	✅	Тот же механизм, что и в движках хранения S3/Azure/HDFS. См. Кэш данных.
Кэширование метаданных	✅	Manifest-файлы и файлы метаданных кэшируются в памяти. По умолчанию включено через `use_iceberg_metadata_files_cache`. См. Кэш метаданных.

Начиная с версии 25.6, ClickHouse читает таблицы Delta Lake с использованием Rust-ядра Delta Lake, что расширяет поддержку возможностей; однако при доступе к данным в Azure Blob Storage возникают известные проблемы. По этой причине ядро отключено при чтении данных из Azure Blob Storage. Ниже указано, для каких возможностей требуется это ядро.

Возможность	Статус	Примечания
Поддерживаемые хранилища
AWS S3	✅	Через `deltaLake()` или `deltaLakeS3()`
GCS	✅	Через `deltaLake()` или `deltaLakeS3()`
Azure Blob Storage	✅	Через `deltaLakeAzure()`
HDFS	❌	Не поддерживается
Локальная файловая система	✅	Через `deltaLakeLocal()`
Методы доступа
Табличная функция	✅	`deltaLake()` с вариантами для каждого хранилища
Движок таблицы	✅	`DeltaLake`
Распределённое чтение по кластеру	✅	`deltaLakeCluster`, `deltaLakeAzureCluster`
Именованные коллекции	✅	Именованная коллекция
Возможности чтения
Поддержка чтения	✅	Полная поддержка SELECT со всеми функциями ClickHouse SQL
Отсечение партиций	✅	Требуется Delta Kernel.
Эволюция схемы	✅	Требуется Delta Kernel.
Time travel	✅	Требуется Delta Kernel.
Векторы удаления	✅
Сопоставление столбцов	✅
Поток изменений данных	✅	Требуется Delta Kernel.
Виртуальные столбцы	✅	`_path`, `_file`, `_size`, `_time`, `_etag`. См. Виртуальные столбцы.
Возможности записи
INSERT	✅	Экспериментальная возможность. Требуется `allow_experimental_delta_lake_writes = 1`. См. движок DeltaLake. Требуется Delta Kernel.
DELETE / UPDATE / MERGE	❌	Не поддерживается
CREATE empty table	❌	Создание новой пустой таблицы Delta Lake не поддерживается. Операция `CREATE TABLE` предполагает, что Delta Lake уже существует в объектном хранилище.
Кэширование
Кэширование данных	✅	Тот же механизм, что и у движков хранения S3/Azure/HDFS. См. Кэш данных.

Возможность	Статус	Примечания
Поддерживаемые хранилища
AWS S3	✅	Через `hudi()`
GCS	✅	Через `hudi()`
Azure Blob Storage	❌	Не поддерживается
HDFS	❌	Не поддерживается
Локальная файловая система	❌	Не поддерживается
Методы доступа
Табличная функция	✅	`hudi()`
Движок таблицы	✅	`Hudi`
Распределённое чтение в кластере	✅	`hudiCluster` (только S3)
Именованные коллекции	✅	Аргументы Hudi
Возможности чтения
Поддержка SELECT	✅	Полная поддержка SELECT со всеми функциями ClickHouse SQL
Эволюция схемы	❌	Не поддерживается
Запросы к прошлым версиям	❌	Не поддерживается
Виртуальные столбцы	✅	`_path`, `_file`, `_size`, `_time`, `_etag`. См. Виртуальные столбцы.
Возможности записи
INSERT / DELETE / UPDATE	❌	Интеграция только для чтения
Кэширование
Кэширование данных	❌	Не поддерживается

Возможность	Статус	Примечания
Хранилища
S3	✅	Экспериментально. Через `paimon()` или `paimonS3()`
GCS	✅	Экспериментально. Через `paimon()` или `paimonS3()`
Azure Blob Storage	✅	Экспериментально. Через `paimonAzure()`
HDFS	⚠️	Экспериментально. Через `paimonHDFS()`. Устаревшее.
Local filesystem	✅	Экспериментально. Через `paimonLocal()`
Способы доступа
Табличная функция	✅	Экспериментально. `paimon()` с вариантами для каждого backend-а
Движок таблицы	❌	Отдельный движок таблицы отсутствует
Распределённое чтение в кластере	✅	Экспериментально. `paimonS3Cluster`, `paimonAzureCluster`, `paimonHDFSCluster`
Именованные коллекции	✅	Экспериментально. Определение именованной коллекции
Возможности чтения
Поддержка чтения	✅	Экспериментально. Полная поддержка SELECT со всеми функциями ClickHouse SQL
Эволюция схемы	❌	Не поддерживается
Доступ к прошлым версиям	❌	Не поддерживается
Виртуальные столбцы	✅	Экспериментально. `_path`, `_file`, `_size`, `_time`, `_etag`. См. Виртуальные столбцы.
Возможности записи
INSERT / DELETE / UPDATE	❌	Интеграция только для чтения
Кэширование
Кэширование данных	❌	Не поддерживается

Поддержка каталогов

ClickHouse может подключаться к внешним каталогам данных с помощью движка базы данных DataLakeCatalog, который представляет каталог в виде базы данных ClickHouse. Таблицы, зарегистрированные в каталоге, появляются автоматически, и их можно запрашивать с помощью стандартного SQL. В настоящее время поддерживаются следующие каталоги. Полные инструкции по настройке см. в справочном руководстве для каждого каталога.

Каталог	Форматы	Чтение	Создание таблицы	INSERT	Справочное руководство
Каталог AWS Glue	Iceberg	✅ бета	❌	❌	Руководство по каталогу Glue
BigLake Metastore	Iceberg	✅ бета	❌	❌	Руководство по BigLake Metastore
Databricks Unity Catalog	Delta, Iceberg	✅ бета	✅ бета	✅ бета	Руководство по Unity Catalog
Iceberg REST	Iceberg	✅ бета	❌	❌	Руководство по REST-каталогу
Lakekeeper	Iceberg	✅ бета	❌	❌	Руководство по каталогу Lakekeeper
Project Nessie	Iceberg	✅ экспериментальный	❌	❌	Руководство по каталогу Nessie
Microsoft OneLake	Iceberg	✅ бета	✅ бета	✅ бета	Руководство по каталогу OneLake

Для всех интеграций с каталогами в настоящее время требуется включить экспериментальную или бета-настройку. За исключением Microsoft OneLake и Databricks Unity Catalog, все каталоги предоставляют доступ только для чтения — таблицы можно запрашивать, но нельзя создавать или записывать в них данные через подключение к каталогу. Чтобы загружать данные из каталога в ClickHouse для ускорения аналитики, используйте INSERT INTO SELECT, как описано в руководстве по ускорению аналитики. Чтобы записывать данные обратно в открытые табличные форматы, создавайте автономные таблицы Iceberg, как описано в руководстве по записи данных.

​Поддержка открытых табличных форматов

​Поддержка каталогов

Поддержка открытых табличных форматов

Поддержка каталогов