Как запустить
технологический
продукт с пропускной
способностью
100 К+ RPS

Изначально VK Process Mining, платформа процессной аналитики на базе Tarantool, появилась как заказное решение для конкретного проекта. Существующие на рынке продукты не отвечали требованиям заказчика, поэтому разработка решения была делегирована компании VK. После реализации проекта VK Process Mining стала частью продуктового портфеля VK Цифровые технологии.

Одна из задач, которая стояла перед разработчиками на старте, — горизонтальное масштабирование решения. При внедрении платформы заказчики часто начинают с одного процесса, например, аналитики закупок или логистики, а потом расширяют решение на другие.

По мере продвижения проекта требуется разбивать процессы на разные модели данных за периоды и сравнивать все в динамике. При этом корпоративные информационные системы постоянно генерируют новые данные, которые тоже нужно анализировать. Поэтому VK Process Mining потребовалось кластерное решение, которое бы соответствовало требованиям:

• Горизонтальное масштабирование;
• Обработка большого объема данных;
• Аналитика на основе тысяч атрибутов из различных систем;
• Загрузка данных в режиме реального времени.

Архитектура
решения

В VK Process Mining есть классическое веб-приложение с фронтом, бэком и хранением данных. Tarantool работает как веб-сервер, причем производительный. Он выдерживает нагрузку в сотни тысяч RPS. Между системой и пользователем дополнительно есть HTTP-балансировщик.

В решении используется гибридная форма хранения. Основные данные с готовыми цепочками событий хранятся в оперативной памяти, потому что к ним нужен быстрый доступ. Данные, которые прокачиваются через ETL, Tarantool cкладирует в дисковую систему хранения.