Справочники¶

Конфигурация модуля API¶

Пример YAML-файла конфигурации модуля API:

app_name: MESSAGE_QUEUE_EE_API
app_version: 1.0
core_host: 0.0.0.0
core_port: 18184
grpc_host: 0.0.0.0
grpc_port: 18182

publisher:
  enabled: true
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          routers:
            - "localhost:3301"
consumer:
  enabled: true
  polling_timeout: 500ms
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          storage-1:
            - "localhost:3301"

log:
  file: log.jsonl
  format: json
  level: info

app_name: MESSAGE_QUEUE_EE_API
app_version: 1.0
core_host: 0.0.0.0
core_port: 18184
grpc_host: 0.0.0.0
grpc_port: 18182

publisher:
  enabled: true
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          routers:
            - "localhost:3301"

consumer:
  enabled: true
  polling_timeout: 500ms
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          storage-1:
            - "localhost:3301"

log:
  file: log.jsonl
  format: json
  level: info

Конфигурация ядра¶

Пример YAML-файла конфигурации модуля ядра:

---
creds:
  user: user
  pass: pass
queues:
  - name: queue
  - name: another_queue
    deduplication_mode: basic
sharding:
  routing:
    core-1:
        buckets:
        - 1
        - [2,10]
    core-2:
        buckets:
        - [11,20]
    core-3:
        buckets:
        - [21,1000]
...

---
user: user
pass: pass
...

---
queues:
  - name: some-queue
    latency: 1
    deduplication_mode: basic
  - name: other-queue
...

---
queues: ["some-query", "other-query"]
...

sharding:
  routing:
    core-1:
        buckets:
        - 1
        - [2,300]
    core-2:
        buckets:
        - [301,500]
    core-3:
        buckets:
        - [501,1000]

Метрики модуля API¶

Метрики модуля API доступны на HTTP-эндпоинте /metrics.

Пример частичного вывода метрик модуля API:

# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 5.3002e-05
go_gc_duration_seconds{quantile="0.25"} 7.574e-05
go_gc_duration_seconds{quantile="0.5"} 9.047e-05
go_gc_duration_seconds{quantile="0.75"} 0.000111856
go_gc_duration_seconds{quantile="1"} 0.000338263
go_gc_duration_seconds_sum 1.305067544
go_gc_duration_seconds_count 11608
...

Основный метрики модуля API предоставляют следующую диагностическую информацию:

• mqee_grpc_published_messages_total - счетчик опубликованных сообщений в очередь:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_received_messages_total - счетчик полученных gRPC-сервером сообщений на публикацию:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_sent_messages_total - счетчик отправленных сообщений потребителям gRPC-сервером:

  • queue - название очереди.

• mqee_grpc_requests_size_bytes_total - счетчик общего размера запросов в байтах:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_subscribers_count - индикатор текущего количества подписчиков:

  • queue - название очереди;

  • routing_key - значение routing_key, по которому была произведена подписка.

• mqee_grpc_app_info - информация об очереди (mqee_grpc_app_info{app_name="MESSAGE_QUEUE_EE_API",app_version="test"} 1);

• mqee_grpc_gomaxprocs - индикатор текущего значения GOMAXPROCS.

• grpc_server_started_total - счетчик полученных запросов на удаленную процедуру:

  • grpc_type - тип подключения (unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры:

    • Publish;

    • PublishBatch;

    • ServerReflectionInfo;

    • Subscribe.

• grpc_server_handled_total - счетчик завершенных удаленных процедур:

  • grpc_type - тип подключения (unary, client_stream, server_stream, bidi_stream):

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

  • grpc_code - код ответа gRPC-код.

• grpc_server_msg_received_total - счетчик полученных сообщений:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• grpc_server_msg_sent_total - счетчик отправленных сообщений:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• grpc_server_handling_seconds - гистограмма секунд на обработку gRPC-вызова:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• go_gc_duration_seconds - сводная информация по длительности паузы на цикл сборки мусора окружения Go. Используемый диапазон в секундах: 0, 0.25, 0.5, 0.75, 1;

• go_goroutines - индикатор текущего количества goroutine;

• go_info - информация о версии окружения Go;

• go_memstats_* - набор метрик для отслеживания использования памяти средой выполнения Go;

• go_threads - индикатор текущего количества потоков (threads) операционной системы, используемых средой выполнения Go.

Метрики ядра TQE(MQ)¶

Метрики ядра TQE(MQ) доступны на HTTP-эндпоинте /metrics на каждом экземпляре Tarantool.

Пример частичного вывода метрик модуля ядра:

# HELP tnt_vinyl_disk_index_size Amount of index stored in files
# TYPE tnt_vinyl_disk_index_size gauge
tnt_vinyl_disk_index_size{alias="app"} 0
# HELP tnt_read_only Is instance read only
# TYPE tnt_read_only gauge
tnt_read_only{alias="app"} 0
# HELP tnt_vinyl_disk_data_size Amount of data stored in files
# TYPE tnt_vinyl_disk_data_size gauge
tnt_vinyl_disk_data_size{alias="app"} 0
...

Сейчас метрики ядра TQE содержат только метрики Tarantool. С полным списком можно ознакомиться в справочнике метрик Tarantool

PublisherService¶

Сервер публикации сообщений брокера очередей

PublishRequest¶

Публикация сообщения в очередь.

PublishRequest.MetadataEntry¶

PublishResponse¶

Ответ на публикацию сообщения

PublishResponse.MetadataEntry¶

PublishBatchRequest¶

Запрос на публикацию группы сообщений в очередь

PublishBatchRequest.MetadataEntry¶

BatchRequestMessage¶

Группа сообщений.

BatchRequestMessage.MetadataEntry¶

PublishBatchResponse¶

Ответ на публикацию группы сообщений.

PublishBatchResponse.MetadataEntry¶

ConsumerService¶

Сервер подписок на сообщения брокера очередей

SubscriptionRequest¶

Запрос на подписку

SubscriptionNotifications¶

Сообщение в стриме подписки

SubscriptionNotification¶

Уведомление клиента о новых сообщения в очереди

QueueMessage¶

Сообщение в очереди

QueueMessage.MetadataEntry¶