код ответа
504
таймаут (мс)
30 000
upstream RTT (p99)
34 211мс
таймаутов / 5 мин
87
upstream response time · 60 мин (мс)
контекст последнего таймаута
request id0x88cc-2e09-44df
trace9d2a17f8e0c4
span4f7c01ed
methodPOST /api/process
upstreamsvc-process-03.lan
protocolHTTP/2 · TLS 1.3
retry-after180s
nginx1.25.3
метка2026-05-19 15:22:11
последние таймауты
15:22:11svc-process-03 timeout 34211ms
15:21:47svc-process-03 timeout 33102ms
15:21:22svc-search-02 slow 28412ms
15:20:58svc-process-02 timeout 31840ms
15:20:30svc-process-03 timeout 32411ms
15:19:55svc-orders-01 ok 1240ms
15:19:28svc-search-02 timeout 30890ms
распределение upstream RTT по узлам
| upstream | p50 (мс) | p95 (мс) | p99 (мс) | таймауты / 5 мин | состояние |
|---|---|---|---|---|---|
| svc-process-01.lan | 1 210 | 3 400 | 8 200 | 2 | ok |
| svc-process-02.lan | 4 800 | 14 200 | 26 100 | 14 | slow |
| svc-process-03.lan | 12 400 | 28 100 | 34 211 | 52 | degraded |
| svc-search-01.lan | 820 | 2 100 | 4 800 | 0 | ok |
| svc-search-02.lan | 3 100 | 9 800 | 28 412 | 9 | slow |
| svc-orders-01.lan | 1 400 | 3 800 | 6 200 | 1 | ok |
| svc-orders-02.lan | 1 480 | 3 920 | 7 100 | 3 | ok |
действия команды
15:22зафиксирован пик таймаутов
15:23svc-process-03 исключён из ротации
15:24трафик переключен на svc-process-01/02
15:26перезапуск svc-process-03
15:28проверка восстановления
метрики системы
CPU load avg1.84 · 1.62 · 1.40
Memory74 % / 16 GB
Open conns11 248
Throughput148 Mbit/s
504 / мин87