Справочники¶

Конфигурация модуля API¶

Пример YAML-файла конфигурации модуля API:

app_name: MESSAGE_QUEUE_EE_API
app_version: 1.0
core_host: 0.0.0.0
core_port: 18184
grpc_listen:
  - uri: 'tcp://0.0.0.0:18182'

publisher:
  enabled: true
  tarantool:
    user: user
    pass: pass
    connections:
      routers:
        - "localhost:3301"
    queues:
      queue:
        connections:
          routers:
            - "localhost:3302"
consumer:
  enabled: true
  polling_timeout: 500ms
  tarantool:
    user: user
    pass: pass
    connections:
      storage-1:
        - "localhost:3301"
    queues:
      queue:
        connections:
          storage-1:
            - "localhost:3302"

log:
  file: log.jsonl
  format: json
  level: info

app_name: MESSAGE_QUEUE_EE_API
app_version: 1.0
core_host: 0.0.0.0
core_port: 18184
grpc_listen:
  - uri: 'tcp://0.0.0.0:18182'
grpc_host: 0.0.0.0
grpc_port: 18182

publisher:
  enabled: true
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          routers:
            - "localhost:3301"

consumer:
  enabled: true
  polling_timeout: 500ms
  tarantool:
    user: user
    pass: pass
    queues:
      queue:
        connections:
          storage-1:
            - "localhost:3301"

log:
  file: log.jsonl
  format: json
  level: info

Конфигурация ядра¶

Конфигурация ядра Tarantool 3 происходит с помощью обновления файла конфигурации или конфигурации в etcd/Tarantool Config Storage. Подробнее про конфигурацию в Tarantool 3 можно прочитать здесь

Пример YAML-файла конфигурации модуля ядра:

credentials:
  users:
    user:
      roles: [super]
      password: pass

roles_cfg:
  app.roles.queue:
    queues:
      - name: queue
      - name: another_queue
        deduplication_mode: basic
      - name: archive_queue
        storage: disk
  app.roles.api:
    sharding:
      routing:
        core-1:
            buckets:
            - 1
            - [2,10]
        core-2:
            buckets:
            - [11,20]
        core-3:
            buckets:
            - [21,1000]

roles_cfg:
  app.roles.queue:
      queues:
        - name: some-queue
          latency: 1
      deduplication_mode: basic
        - name: other-queue

roles_cfg:
  app.roles.queue:
    queues: ["some-queue", "other-queue"]

roles_cfg:
  app.roles.api:
    sharding:
      routing:
        core-1:
          buckets:
            - 1
            - [2,300]
        core-2:
          buckets:
            - [301,500]
        core-3:
          buckets:
            - [501,1000]

Метрики модуля API¶

Метрики модуля API доступны на HTTP-эндпоинте /metrics.

Пример частичного вывода метрик модуля API:

# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 5.3002e-05
go_gc_duration_seconds{quantile="0.25"} 7.574e-05
go_gc_duration_seconds{quantile="0.5"} 9.047e-05
go_gc_duration_seconds{quantile="0.75"} 0.000111856
go_gc_duration_seconds{quantile="1"} 0.000338263
go_gc_duration_seconds_sum 1.305067544
go_gc_duration_seconds_count 11608
...

Основный метрики модуля API предоставляют следующую диагностическую информацию:

• mqee_grpc_published_messages_total - счетчик опубликованных сообщений в очередь:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_received_messages_total - счетчик полученных gRPC-сервером сообщений на публикацию:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_sent_messages_total - счетчик отправленных сообщений потребителям gRPC-сервером:

  • queue - название очереди.

• mqee_grpc_requests_size_bytes_total - счетчик общего размера запросов в байтах:

  • grpc_method - название удаленной процедуры;

  • queue - название очереди.

• mqee_grpc_subscribers_count - индикатор текущего количества подписчиков:

  • queue - название очереди;

  • routing_key - значение routing_key, по которому была произведена подписка.

• mqee_grpc_app_info - информация об очереди (mqee_grpc_app_info{app_name="MESSAGE_QUEUE_EE_API",app_version="test"} 1);

• mqee_grpc_gomaxprocs - индикатор текущего значения GOMAXPROCS.

• grpc_server_started_total - счетчик полученных запросов на удаленную процедуру:

  • grpc_type - тип подключения (unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры:

    • Publish;

    • PublishBatch;

    • ServerReflectionInfo;

    • Subscribe.

• grpc_server_handled_total - счетчик завершенных удаленных процедур:

  • grpc_type - тип подключения (unary, client_stream, server_stream, bidi_stream):

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

  • grpc_code - код ответа gRPC-код.

• grpc_server_msg_received_total - счетчик полученных сообщений:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• grpc_server_msg_sent_total - счетчик отправленных сообщений:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• grpc_server_handling_seconds - гистограмма секунд на обработку gRPC-вызова:

  • grpc_type - тип подключения(unary, client_stream, server_stream, bidi_stream);

  • grpc_service - название gRPC-сервиса;

  • grpc_method - название процедуры (см. список в grpc_server_started_total).

• go_gc_duration_seconds - сводная информация по длительности паузы на цикл сборки мусора окружения Go. Используемый диапазон в секундах: 0, 0.25, 0.5, 0.75, 1;

• go_goroutines - индикатор текущего количества goroutine;

• go_info - информация о версии окружения Go;

• go_memstats_* - набор метрик для отслеживания использования памяти средой выполнения Go;

• go_threads - индикатор текущего количества потоков (threads) операционной системы, используемых средой выполнения Go.

Метрики ядра TQE(MQ)¶

Метрики ядра TQE(MQ) доступны на HTTP-эндпоинте /metrics на каждом экземпляре Tarantool.

Пример частичного вывода метрик модуля ядра:

# HELP tnt_vinyl_disk_index_size Amount of index stored in files
# TYPE tnt_vinyl_disk_index_size gauge
tnt_vinyl_disk_index_size{alias="app"} 0
# HELP tnt_read_only Is instance read only
# TYPE tnt_read_only gauge
tnt_read_only{alias="app"} 0
# HELP tnt_vinyl_disk_data_size Amount of data stored in files
# TYPE tnt_vinyl_disk_data_size gauge
tnt_vinyl_disk_data_size{alias="app"} 0
...

Сейчас метрики ядра TQE содержат только метрики Tarantool. С полным списком можно ознакомиться в справочнике метрик Tarantool

PublisherService¶

Сервер публикации сообщений брокера очередей

PublishRequest¶

Публикация сообщения в очередь.

PublishRequest.MetadataEntry¶

PublishResponse¶

Ответ на публикацию сообщения

PublishResponse.MetadataEntry¶

PublishBatchRequest¶

Запрос на публикацию группы сообщений в очередь

PublishBatchRequest.MetadataEntry¶

BatchRequestMessage¶

Группа сообщений.

BatchRequestMessage.MetadataEntry¶

PublishBatchResponse¶

Ответ на публикацию группы сообщений.

PublishBatchResponse.MetadataEntry¶

BroadcastRequest¶

Запрос на рассылку сообщения на указанные шарды

BroadcastRequest.MetadataEntry¶

BroadcastResponse¶

Ответ на рассылку сообщения

BroadcastResponse.ReplicasetsEntry¶

BroadcastResponse.MetadataEntry¶

ReplicasetResponse¶

Ответ репликасета на публикацию сообщения

Success¶

Сообщение об успешной публикации

Error¶

Сообщение об ошибке публикации

ConsumerService¶

Сервер подписок на сообщения брокера очередей

SubscriptionRequest¶

Запрос на подписку

SubscriptionNotifications¶

Сообщение в стриме подписки

SubscriptionNotification¶

Уведомление клиента о новых сообщения в очереди

QueueMessage¶

Сообщение в очереди

QueueMessage.MetadataEntry¶