Балансировка запросов к роутерам через Go-коннектор

В примере демонстрируется работа с повреждённым кластером под нагрузкой. Приложение непрерывно записывает кортежи пачками через все роутеры по очереди. Для записи используется операция replace. Если какой-либо роутер стал недоступен, трафик с него переключается на другие роутеры. Если роутер снова стал доступен, трафик на него возвращается.

Для мониторинга используются:

• Prometheus — сбор и хранение метрик;
• Grafana — визуализация метрик.

Содержание:

• Пререквизиты
• Запуск стенда
• Панель Grafana
• Увеличение нагрузки
• Имитация отказа роутера
• Восстановление роутера
• Остановка стенда

Для выполнения примера требуются:

• установленные Docker-образы Tarantool DB, Prometheus и Grafana;

• приложение Docker Compose;

• Go;

• исходные файлы примера go_balancer.

Для успешного запуска должны быть свободны следующие порты:

• 2379
• 3000
• 3301--3308
• 8081
• 9090

Перейдите в директорию примера go_balancer:

 
cd ./docs/docs/ru/assets/examples/go_balancer/

Стенд состоит из:

• кластера Tarantool DB:
  • 2 роутера;
  • 2 набора реплик по 3 хранилища;
• кластера etcd из 3 узлов;
• 1 Tarantool Cluster Manager (TCM);
• клиентского приложения, подающего нагрузку;
• средств мониторинга — Prometheus, Grafana.

Запустите всё, кроме клиентского приложения, следующей командой:

 
make start

После запуска должны работать все контейнеры, кроме init_host.

Также после запуска доступны следующие пользовательские интерфейсы:

• http://localhost:8081 — веб-интерфейс TCM;
• http://localhost:3000 — веб-интерфейс Grafana.

Для входа в TCM откройте в браузере адрес http://localhost:8081. Логин и пароль для входа:

• Username: admin
• Password: secret

В TCM откройте вкладку Stateboard. После применения настроек кластер будет выглядеть так:

Выберите в наборе реплик router-msk узел router-msk и в открывшемся окне перейдите на вкладку Terminal. Во вкладке Terminal проверьте наличие спейса test:

 
box.space

Спейс test должен присутствовать в выводе, он создается при запуске кластера.

Откройте в браузере веб-интерфейс Grafana по адресу http://localhost:3000/dashboards. В списке Dashboards откройте папку General и выберите панель Tarantool DB dashboard в выпадающем списке. Проверьте, что графики показывают данные за последние 5 минут, а частота обновления равна 5 секундам:

Разверните панель Tarantool network activity и откройте график Processed requests. Чтобы развернуть график на полный экран, нажмите на графике кнопку ... (Menu) в правом верхнем углу и нажмите в выпадающем меню кнопку View. Выберите роутеры на графике, используя один из способов ниже:

• Нажмите на название router-msk и, зажав Shift, нажмите на router-spb.
• Используйте переключатель сверху (Instances), чтобы выбрать роутеры на уровне всего дашборда.

После перейдите на панель Tarantool operations statistics и откройте график REPLACE space requests. Выберите все узлы, кроме роутеров:

Затем перейдите на панель CRUD module statistics и откройте график REPLACE success requests:

Откройте вторую вкладку локального терминала. В этой вкладке перейдите в директорию go_balancer/go:

 
cd ./docs/docs/ru/assets/examples/go_balancer/go

Запустите клиентское приложение:

 
go run -tags go_tarantool_ssl_disable main.go

Здесь:

• go_tarantool_ssl_disable — опция, отключающая поддержку TLS. Так как для поддержки TLS требуется установленный OpenSSL 3.x, для простоты в примере поддержка TLS отключена.

На графиках теперь заметна растущая нагрузка:

• растет число обработанных запросов на роутерах:

  

• растет число операций replace в единицу времени:

  

Включите отображение графиков роутеров и оцените их:

Проверьте, что в спейсе test появились данные. Для этого в веб-интерфейсе TCM перейдите на вкладку Tuples и выберите в списке спейс test. Откроется новая вкладка с содержимым кортежей спейса test.

В первом терминале перейдите в директорию cluster:

 
cd cluster

Чтобы имитировать отказ роутера, выполните следующую команду:

 
docker compose stop tarantool-router-msk

Теперь в TCM во вкладке Stateboard узел router-msk помечается как нездоровый (unhealthy). График запросов изменится так:

Нагрузка на второй роутер увеличилась вдвое. График для второго роутера выглядит так:

Роста нагрузки на этом графике нет. График прерывается, так как роутер не работает и метрики с него не поступают. Количество операций replace при этом не изменилось:

Кол-во операций crud-replace на рабочем роутере возросло:

Для запуска первого роутера выполните следующую команду в директории cluster:

 
docker compose start tarantool-router-msk

В TCM во вкладке Stateboard видно, что узел router-msk восстановлен. Нагрузка на второй роутер уменьшилась вдвое, появились данные по нагрузке с первого:

Число операций replace не изменилось:

Кол-во операций crud-replace на один роутер снизилось:

Для остановки стенда:

• В первом локальном терминале вернитесь в директорию go_balancer/:

   
  cd ./docs/docs/ru/assets/examples/go_balancer/

  Выполните следующую команду:

   
  make stop

• Во втором локальном терминале выполните команду Ctrl + Z.