Вызовы цифровой трансформации, с которыми справляется Tarantool

В процессе цифровой трансформации крупные компании сталкиваются с множеством трудностей. Основная проблема заключается в том, что им необходимо обеспечить высокую производительность и позитивный пользовательский опыт на фоне устаревшей инфраструктуры и постоянно растущего объема данных.

В этой статье разберем, как с этими трудностями помогает справиться Tarantool и на какие конкретно вызовы цифровой трансформации она отвечает.

Немного о Tarantool

В качестве решения для цифровой трансформации в последние годы набирают популярность платформы, основанные на open-source и open-core технологиях. При этом основная проблема с open-source — зависимость от комьюнити и отсутствие SLA. То есть, внедряя open-source решения, организация берет на себя ответственность и все риски.

VK Tech предлагает другой подход — создание сервисов на базе технологий Tarantool. Компания может использовать готовые коробочные продукты на базе платформы Tarantool (Tarantool DB, Tarantool Column Store, Tarantool Queue Enterprise и другие). А может инвестировать ресурсы в создание собственных сервисов на базе платформы, если запрос нетиповой.

Tarantool — это промежуточное ПО для хранения и обработки данных, сочетающее сервер приложений и масштабируемое хранилище. На нем можно создавать типовые и нетиповые вещи, связанные с хранением, обработкой и аналитикой данных. Другими словами, Tarantool позволяет создать срединный слой для управления движением данных и способен ускорить цифровую трансформацию организации.

На длинной дистанции наличие системы, подобной Tarantool, всегда будет эффективнее для вывода новых продуктов на рынок. Бизнесу выгоднее иметь одну технологическую платформу и создавать на ее базе сервисы, вместо того чтобы плодить «зоопарк» технологий. Единый технологический стек — это выгодное решение с точки зрения стоимости владения (TCO).

Давайте рассмотрим на реальных примерах, с какими именно вызовами цифровой трансформации поможет справиться Tarantool.

Низкая скорость обработки запросов и обмена данными

Продукты Tarantool способны обрабатывать большие объемы запросов с минимальной задержкой. Встроенные возможности горизонтального масштабирования позволяют равномерно распределять нагрузку по нескольким узлам, что обеспечивает стабильную и высокую производительность даже при увеличении количества пользователей и объема данных.

Tarantool широко применяется в сценариях с использованием хранилища сессий авторизации и кэшей. Например, это может быть сервис, собирающий данные о клиентах из смежных систем и кэширующий их. Или доменно-ориентированное постоянное хранилище структур данных, создаваемых другими ИТ-продуктами. Сервис на базе Tarantool обеспечивает сохранение, обновление, чтение и удаление данных в таком хранилище.

Кейс банка ВТБ

«ВТБ Бизнес Lite» — мобильный банкинг для бизнеса. Количество пользователей на момент внедрения — 100 000.

После переноса приложения на микросервисную архитектуру независимыми стали системы, хранящие пользовательские данные. Из‑за поэтапного сбора клиентских данных обмен был долгим и информация в мобильное приложение поступала с задержками. Проблема усугублялась постоянным ростом количества пользователей.

Задача. Ускорить обмен данными между внутренними системами банка и мобильным приложением «ВТБ Бизнес Lite», а также повысить производительность обработки запросов и отказоустойчивость системы.

Решение. Tarantool используется как хранилище для прогретого кэша предподготовленных данных. Она взаимодействует со всеми системами, которые хранят пользовательские данные.

Внедрение Tarantool позволило:

• кэшировать пользовательские данные;
• повысить отказоустойчивость сервисов;
• расширить пропускную способность системы.

Результаты. Tarantool обрабатывает 700 Гбайт горячего персистентного кэша пользовательских данных. Скорость ответа при росте нагрузки до 15 000 RPS составляет всего 0,2–0,4 сек. В масштабируемом in‑memory хранилище кэша можно хранить до 2 Тбайт.

Медленная работа legacy-систем

Сложность модернизации биллинговых систем, АБС, ивент-процессинга, скоростной онлайн-аналитики состоит не только в накопившемся legacy, но и в том, что системы разные и сложно организовать сбор и интеграцию потоков их данных. С одной стороны, у предприятия развернуты легаси-системы. Их необходимо связать между собой так, чтобы процессы в приложении проходили быстро и без сбоев. С другой стороны, пользователи рассчитывают на высокий уровень сервиса.

Tarantool быстро, надежно, с гарантированным SLA связывает и ускоряет core-системы и предоставляет пользователю лучший опыт.

Кейс банка «Открытие»

Цифровая система обслуживает 57 миллионов счетов и обрабатывает данные во всех физических отделениях банка «Открытие». Из-за поэтапного сбора клиентских данных обмен мог занимать десятки секунд и сильно нагружал инфраструктуру. Это замедляло скорость обновления данных в пользовательских приложениях.

Задача. Кратно увеличить устойчивость платформы, повысить доступность и скорость обмена данными между внутренними системами и пользовательскими сервисами.

Важно добавить, что сервисы и ресурсы в цифровой системе банка объединены сложной логикой, вдобавок часть сервисов относятся к критическим — их остановка недопустима. Поэтому выполнить обновления было необходимо без перестройки существующей ИТ-инфраструктуры банка.

Решение. Tarantool кэширует критические для бизнеса системы, чтобы снизить время отклика для одного из фронт-каналов банка. Защищает от перегрузки бэк-системы банка за счет хранения данных с использованием шардирования. Обеспечивает поддержку захвата данных из Kafka и Oracle Golden Gate.

Результаты. Платформа способна выдерживать пиковые нагрузки, в 20 раз превышающие среднесуточный объем запросов. Время обновления информации о балансе на счетах клиентов сократилось до двух секунд вместо нескольких десятков. Нагрузка на чтение из бэк‑системы банка уменьшилась на 85%.

Построение RTM — real-time marketing систем

В ритейле, телекоме и банковской сфере в самых разных сценариях может применяться RTM. Tarantool способна стать частью RTM-системы, чтобы она могла справляться с высокими нагрузками и легко масштабировалась. Tarantool подходит для простого и быстрого запуска новых сервисов, например для создания витрины данных или единого профиля клиента. Также Tarantool способна помогать получать, обрабатывать и обновлять информацию о текущих остатках, рассчитывать скидки и формировать индивидуальные предложения.

Кейс «Магнита»

«Магнит» — лидер российского рынка ритейла по количеству и географии торговых точек: 21 000 магазинов в 65 регионах. В 2020 году ритейлер запустил экспресс-доставку товаров.

Инфраструктура и бизнес-процессы были изначально рассчитаны на потребности офлайн-бизнеса. Каталог товаров хранился в центральной базе данных «Магнита», а информация о складских остатках — локально в торговых точках. В центральную базу данные о запасах товаров в конкретных магазинах передавались один раз в несколько часов — во время инвентаризации. Поэтому реализовать обычную схему интеграции было невозможно. Ритейлеру был нужен программный интерфейс, связывающий информационные системы компании и пользовательские приложения.

Задача. Tarantool стала middle-слоем между информационными системами «Магнита» и внешними приложениями партнеров. Решение на базе Tarantool собирает и структурирует каталог с товарами, ценами и складскими остатками и в реальном времени передает информацию в сервисы доставки. Решение позволяет подключать к системе новые приложения без необходимости доработки или модификации: сервисы просто подключаются и начинают считывать необходимую информацию из Tarantool.

Результаты. Стандартная нагрузка на решение — 20 тысяч RPS. Решение хорошо масштабируется: за первый месяц работы увеличили количество подключенных торговых точек с 20 до 200, во второй месяц — до 400.

Высокая стоимость владения — TCO

Tarantool оптимизирует TCO за счет высокой производительности и масштабируемости, что снижает необходимость в дорогом оборудовании и избыточных ресурсах. Продукты Tarantool позволяют использовать существующую инфраструктуру эффективнее, минимизируя затраты на оборудование и эксплуатацию. Кроме того, упрощение развертывания и управления кластерами (особенно в версии 3.0) сокращает трудозатраты на администрирование и поддержку, снижая операционные расходы. По итогу Tarantool оптимизирует затраты на ИТ и повышает рентабельность инвестиций.

Кейс Wildberries

Wildberries — самый популярный российский онлайн-магазин. Компания работает в 7 странах, имеет 30 миллионов клиентов и обрабатывает 780 тысяч заказов в сутки.

В середине 2010-х технически Wildberries существовал в виде .NET-приложения и MS SQL-серверов. Это была пара монолитов — back и front — и один потолок для них, к которому производительность медленно, но верно приближалась. С выходом на рынок Беларуси нагрузка на процессор не опускалась ниже 90%. В период акций типа «Черная пятница» запросы увеличивались в три раза.

Задача. C ростом нагрузки затраты на MS SQL становились неприемлемыми, и команда решила перейти на микросервисную архитектуру. Были сформулированы следующие требования: надежный кэш для критически важных систем; надежность важнее скорости; экономия на оборудовании и лицензиях в сравнении с MS SQL; важна персистентность данных; автопереключение с одного дата-центра на другой; горизонтальное масштабирование.

Решение. Tarantool стала универсальным хранилищем для работы с востребованными данными: пользовательскими профилями, баннерами, скидками и так далее. Всего на Tarantool работают 12 микросервисов.

Результат. Самый критичный сервис сайта — Мастер-хранилище профилей пользователей — содержит данные 50 миллионов пользователей.

Самый объемный сервис Wildberries, где используют Tarantool, это Сервис отложенных товаров. В памяти он занимает около 120 Гбайт, и 3–4 экземпляра есть в каждом дата-центре.

По RPS самые нагруженные сервисы — Промотайзер и Мастер-хранилище профилей, они выдерживают примерно 6 000 и 12 000 запросов в секунду соответственно.

Tarantool также используют для быстрых справочников в складской системе, чтобы оперативно перепроверять информацию в некоторых случаях.

IoT и IIoT

На базе Tarantool возможно создание платформ для обычного и промышленного интернета вещей, Tarantool способна связать вместе множество небольших систем и обеспечить высокую производительность интеллектуальных слоев хранения для передачи и обработки данных. При этом устройства, генерирующие данные, могут быть географически удалены от дата-центра на значительное расстояние.

Выводы

Tarantool — надежное, отказоустойчивое и производительное хранилище данных и сервер приложений — позволяет создавать типовые и нетиповые цифровые сервисы, дающие бизнесу возможности для кратного роста. Среди вызовов цифровой трансформации, с которыми позволяет справиться Tarantool, стоит отметить:

• снижение TTM (Time-to-market), быстрый вывод продуктов и сервисов на рынок;
• поддержание динамичного роста бизнеса за счет перехода к микросервисной архитектуре;
• оптимизация расходов и ТСО благодаря уменьшению «зоопарка» технологий и снижению затрат на оборудование;
• повышение скорости запросов и обмена данными.