Tarantool DataBase 3.2.0: как экономнее хранить холодные данные

Когда объем данных растет, хранить их целиком в оперативной памяти становится дорого. При этом к одним данным система обращается постоянно, а к другим — лишь время от времени.

В Tarantool DataBase 3.2.0 улучшили возможности охлаждения и прогрева данных с использованием кэша в vinyl. Vinyl хранит данные на диске и использует оперативную память как кэш: востребованные данные остаются в нем для быстрого доступа, а редко используемые постепенно вытесняются.

Такой подход позволяет использовать оперативную память для наиболее востребованных данных, не размещая в ней постоянно весь объем хранимой информации.

Что изменилось в cooler

Вместе с улучшением сценария охлаждения и прогрева модуль cooler обновился до версии 0.1.3. В новой версии стало проще отслеживать состояние данных и их распределение:

• cooler.locate() показывает, где находятся данные — в memtx или vinyl
• новые метрики позволяют отслеживать объем данных и количество записей в каждом слое
• cooler.info() теперь выводит размер memtx-спейса в байтах.

Новые возможности помогают контролировать использование разных слоев хранения и оценивать, как распределяются данные.

Как настроить охлаждение и прогрев

Для работы с обновленным cooler команда подготовила рекомендации по настройке охлаждения и прогрева данных. В документации также появился пример использования кэша в vinyl.

Дополнительно опубликованы новые материалы о безопасности и ограничениях Tarantool DataBase.

Следующий шаг — интеграция с LDAP

Команда подготовила RFC будущей интеграции Tarantool DataBase с корпоративными LDAP-каталогами. В дальнейшем это позволит централизованно управлять аутентификацией пользователей через применяемые в компаниях системы управления доступом.

Интеграция пока не входит в Tarantool DataBase 3.2.0. RFC описывает подход к ее дальнейшей реализации.