feat(alerts): алерты всей команде — детекторы, дедупликация, список (#15)
CI / ruff · mypy · pytest (pull_request) Successful in 4m49s

- детекторы по состоянию после каждого раунда снапшотов: краш, OOM,
  цикл рестартов, unhealthy, перегрузка ≥ 1 мин, мало места, Docker
  недоступен; пороги в config/alerts.yaml
- AlertService: ключ kind+service, повтор в 10 мин — счётчик в исходном
  сообщении, «✅ восстановлено» ответом; разовые события (🛡) со счётчиком
- рассылка всем активным (🛡 — только админам), темп ~25/с, RetryAfter,
  заблокировавший бота пропускается; alert_deliveries для правок и ответов
- «🚨 Алерты»: активные + 7 дней по 10, карточка; кнопки «📜 Логи»,
  «🩺 Статус» под алертом открывают новое сообщение, а не затирают алерт
- 🛡 атаки через агента идут через общий сервис алертов
- убраны заглушки «Раздел в разработке» — у всех разделов свои роутеры

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-17 15:36:09 +03:00
co-authored by Claude Opus 5.5
parent 65acf3abf1
commit 6c6f766abc
24 changed files with 1355 additions and 107 deletions
+17 -7
View File
@@ -126,13 +126,23 @@ pydantic-модели ответов. Методы: `list_runs`, `get_run`, `get
- При `LLM_PROVIDER=mock` агент выключен: mock отвечает стражу `{}`, и каждый вопрос считался бы атакой.
### 2.9 `app/alerts` — алерты
- **Детекторы** превращают события runtime/pipeline/хоста в `AlertEvent(kind, service, payload)`; пороги — `config/alerts.yaml`.
- **Дедупликация**: ключ `kind + service`; открытый алерт с тем же ключом → `count += 1`, исходные сообщения
редактируются (не чаще раза в 10 мин), новые не шлются.
- **Рассылка** всем активным участникам (кроме 🛡 — только администраторам) с учётом лимита Telegram (~30 msg/s,
очередь отправки); `alert_deliveries` хранит `chat_id`/`message_id` — чтобы обновлять счётчик и отвечать «✅ восстановлено».
- **Восстановление**: детектор сообщает, что условие прошло → `resolved_at`, ответ на исходные сообщения.
- **Список**: активные + история 7 дней, пагинация.
- **Детекторы** (`detectors.py`) — чистые функции «наблюдение за раунд + история снапшотов → условия, которые
выполняются сейчас»: 💥 краш (выход ≠ 0), 🧠 OOM, 🔁 ≥ 3 рестарта за 10 мин, 🩺 unhealthy, 🔥 CPU > 80 % или
RAM > 90 % на протяжении минуты, 💾 < 10 % свободного места на разделе тома бота, 🔌 Docker API недоступен > 5 мин.
Пороги — `config/alerts.yaml`. Монитор (`monitor.py`) вызывается после каждого раунда снапшотов (15 с).
- **По состоянию, а не по событиям**: сервис сверяет условия с открытыми алертами — новое открывает алерт, пропавшее
закрывает. Пропущенное событие не теряет алерт, а бесконечный рестарт остаётся одним алертом.
- **Дедупликация** (`service.py`): ключ `kind + service`. Условие, вернувшееся в течение 10 мин после закрытия, снова
открывает тот же алерт с `count += 1`: исходные сообщения редактируются, новые не шлются.
- **Разовые события** (🛡 атака через агента; 📦 CD и ⛔ отказ после деплоя — после #11/#13) открываются сразу
закрытыми; повтор в окне 10 мин — тоже счётчик.
- **Рассылка** (`broadcast.py`) — всем активным участникам, 🛡 — только администраторам; ~25 сообщений/с,
`RetryAfter` пережидается, заблокировавший бота участник пропускается. `alert_deliveries` хранит
`chat_id`/`message_id`, чтобы обновлять счётчик и отвечать «✅ восстановлено» на исходное сообщение.
- **Сообщение**: тип, сервис, время, хвост лога (30 строк), кнопки «📜 Логи», «🩺 Статус», «📋 Список алертов».
Кнопки открывают экран новым сообщением, чтобы не затирать алерт.
- **Список**: активные сверху, затем история за 7 дней, по 10 на страницу; 🛡 в общий список не попадает.
- **Если Docker недоступен**, оцениваются только 🔌 и 💾: алерты контейнеров не закрываются вслепую.
### 2.10 `app/db` — хранилище
SQLAlchemy 2 (async) + Alembic. PostgreSQL в Compose; в тестах — SQLite.