Как охлаждать данные в Tarantool Column Store

Быстрые операции со свежими событиями и доступ к длинной истории

В in-memory HTAP-системах со временем накапливается история, которую нужно хранить, хотя для текущих операций она нужна редко. В Tarantool Column Store для этого есть автоматическое охлаждение данных.

Механизм пригодится там, где важны быстрые операции со свежими событиями и доступ к длинной истории. Например, в антифроде, рекомендательных системах, динамическом ценообразовании и ERP.

Зачем охлаждать данные RAM дает быстрый доступ, но стоит дороже дискового хранения. При этом исторические записи часто нельзя удалять.

Охлаждение помогает освободить память под актуальную нагрузку и сохранить старые данные доступными для запросов.

Как проходит охлаждение Tarantool Column Store переносит записи из RAM на диск, когда их возраст превышает заданный TTL.

1. СУБД находит записи старше заданного TTL.
2. Собирает их в крупные пакеты.
3. Атомарно записывает на диск в Parquet и освобождает занятую RAM.

Есть две стратегии чтения

Запрос идет только в RAM. Подходит для данных, которые нужны прямо сейчас.

Tarantool Column Store параллельно читает RAM и холодный слой, затем объединяет результат. Подходит для аналитики по всей истории.

SQL переписывать не нужно Запросы для горячего слоя и всей истории остаются одинаковыми. Администратор меняет только стратегию доступа: skip или union.

Что учесть при настройке Охлаждение задается при создании новой таблицы. Текущая реализация рассчитана на append-only данные и однонаправленное перемещение из RAM на диск.

С версии Tarantool Column Store 1.3 механизм работает и с шардированными данными.

Рассказали подробнее — на Хабр →