Балансировка запросов к роутерам через Java-коннектор

В примере демонстрируется работа с повреждённым кластером под нагрузкой. Приложение непрерывно записывает кортежи пачками через все роутеры по очереди. Для записи используется операция replace. Если какой-либо роутер упал, трафик с него переключается на остальные роутеры. Если роутер поднялся, трафик на него возвращается.

Для мониторинга используются:

• Telegraf — сбор метрик;
• InfluxDB — хранение метрик;
• Grafana — визуализация метрик.

Содержание:

• Пререквизиты
• Запуск стенда
• Панель Grafana
• Увеличение нагрузки
• Имитация отказа роутера
• Восстановление роутера
• Остановка стенда

Для выполнения примера требуются:

• установленные Docker-образы Tarantool DB, Telegraf, InfluxDB и Grafana;

• приложение Docker Compose;

• Maven;

• Java версии 8+;

• конфигурация Maven — для загрузки Java-коннектора. Чтобы задать эту конфигурацию, используйте инструкцию Установка клиента tarantool-java-ee;

• исходные файлы примера java_balancer.

Для успешного запуска должны быть свободны следующие порты:

• 2379
• 3000
• 3301--3306
• 8081
• 8086

Перейдите в директорию java_balancer:

 
cd ./docs/docs/ru/assets/examples/java_balancer

Стенд состоит из:

• кластера Tarantool DB:

  • 2 роутера;
  • 2 набора реплик по 2 хранилища;
  • 1 Tarantool Cluster Manager (TCM);

• кластера etcd из 3 узлов;

• клиентского приложения, подающего нагрузку;

• средств мониторинга — Telegraf, InfluxDB, Grafana.

Запустите всё, кроме клиентского приложения, командой:

 
make start

После запуска должны работать все контейнеры, кроме init_host. Также после запуска доступны следующие пользовательские интерфейсы:

• http://localhost:8081 — веб-интерфейс TCM;
• http://localhost:3000 — веб-интерфейс Grafana.

Для входа в веб-интерфейс TCM откройте в браузере адрес http://localhost:8081. Логин и пароль для входа:

• Username: admin
• Password: secret

В TCM откройте вкладку Stateboard. Выберите в наборе реплик router-msk узел router-msk и в открывшемся окне перейдите на вкладку Terminal. Во вкладке Terminal проверьте наличие спейса test:

 
box.space

Спейс test должен присутствовать в выводе, он создается при запуске кластера.

Откройте в браузере веб-интерфейс Grafana по адресу http://localhost:3000/dashboards. В списке Dashboards откройте папку General и выберите панель Tarantool DB dashboard в выпадающем списке. Проверьте, что графики показывают данные за последние 5 минут, а частота обновления равна 5 секундам:

Разверните панель Tarantool network activity и откройте график Processed requests. Чтобы развернуть график на полный экран, нажмите на графике кнопку ... (Menu) в правом верхнем углу и нажмите в выпадающем меню кнопку View. Выберите роутеры на графике, используя один из способов ниже:

• Нажмите на название router-msk и, зажав Shift, нажмите на router-spb.
• Используйте переключатель сверху (Instances), чтобы выбрать роутеры на уровне всего дашборда.

После перейдите на панель Tarantool operations statistics и откройте график REPLACE space requests. Выберите все узлы, кроме роутеров:

Откройте вторую вкладку локального терминала. В этой вкладке перейдите в директорию java_balancer:

 
cd ./docs/docs/ru/assets/examples/java_balancer

Запустите клиентское приложение:

 
mvn clean compilemvn exec:java -Dexec.mainClass="org.example.App"

На графиках теперь заметна растущая нагрузка:

• растет число обработанных запросов на роутерах:

  

• растет число операций replace в единицу времени:

  

Проверьте, что в спейсе test появились данные. Для этого в веб-интерфейсе TCM перейдите на вкладку Tuples и выберите в списке спейс test. Откроется новая вкладка с содержимым кортежей спейса test.

В первом терминале перейдите в директорию cluster:

 
cd cluster

Чтобы имитировать отказ роутера, выполните следующую команду:

 
docker compose stop tarantool-router-msk

Теперь в TCM во вкладке Stateboard узел router-msk отмечен серым — это значит, что он отключен. График запросов изменится так:

Нагрузка на второй роутер увеличилась вдвое. График для второго роутера выглядит так:

Роста нагрузки на этом графике нет. График прерывается, так как роутер не работает и метрики с него не поступают. Количество операций replace при этом не изменилось:

Для запуска первого роутера выполните следующую команду в директории cluster:

 
docker compose start tarantool-router-msk

В TCM во вкладке Stateboard видно, что узел router-msk восстановлен. Нагрузка на второй роутер уменьшилась вдвое, появились данные по нагрузке с первого:

Число операций replace не изменилось:

Для остановки стенда:

• В первом локальном терминале вернитесь в директорию java_balancer:

   
  cd ./docs/docs/ru/assets/examples/java_balancer

  Выполните следующую команду:

   
  make stop

• Во втором локальном терминале выполните команду Ctrl + Z.