feat(alerts): алерты всей команде — детекторы, дедупликация, список (#15)
CI / ruff · mypy · pytest (pull_request) Successful in 4m49s

- детекторы по состоянию после каждого раунда снапшотов: краш, OOM,
  цикл рестартов, unhealthy, перегрузка ≥ 1 мин, мало места, Docker
  недоступен; пороги в config/alerts.yaml
- AlertService: ключ kind+service, повтор в 10 мин — счётчик в исходном
  сообщении, «✅ восстановлено» ответом; разовые события (🛡) со счётчиком
- рассылка всем активным (🛡 — только админам), темп ~25/с, RetryAfter,
  заблокировавший бота пропускается; alert_deliveries для правок и ответов
- «🚨 Алерты»: активные + 7 дней по 10, карточка; кнопки «📜 Логи»,
  «🩺 Статус» под алертом открывают новое сообщение, а не затирают алерт
- 🛡 атаки через агента идут через общий сервис алертов
- убраны заглушки «Раздел в разработке» — у всех разделов свои роутеры

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-17 15:36:09 +03:00
co-authored by Claude Opus 5.5
parent 65acf3abf1
commit 6c6f766abc
24 changed files with 1355 additions and 107 deletions
+64
View File
@@ -0,0 +1,64 @@
"""Glue: after each snapshot round run the detectors and sync open alerts (hooked into `snapshot_loop`)."""
import os
from collections.abc import Callable
from datetime import datetime, timedelta
from pathlib import Path
from app.alerts.detectors import (
MONITORED,
AlertsConfig,
Condition,
container_conditions,
disk_condition,
docker_condition,
)
from app.alerts.service import AlertService
from app.db.models import AlertKind, utcnow
from app.runtime.snapshots import Observation, SnapshotStore
WITHOUT_DOCKER = frozenset({AlertKind.DEPENDENCY_DOWN, AlertKind.DISK_LOW})
def free_disk_pct(path: Path) -> float | None:
try:
st = os.statvfs(path)
except OSError:
return None
return 100.0 * st.f_bavail / st.f_blocks if st.f_blocks else None
class AlertMonitor:
def __init__(
self,
alerts: AlertService,
store: SnapshotStore,
cfg: AlertsConfig,
disk: Callable[[Path], float | None] = free_disk_pct,
clock: Callable[[], datetime] = utcnow,
) -> None:
self._alerts = alerts
self._store = store
self._cfg = cfg
self._disk = disk
self._clock = clock
self._docker_down_since: datetime | None = None
@property
def _history(self) -> timedelta:
return timedelta(seconds=max(self._cfg.restart_loop_window, self._cfg.overload_for) + 60)
async def on_round(self, observations: list[Observation] | None) -> None:
now = self._clock()
conditions: list[Condition] = disk_condition(self._disk(self._cfg.disk_path), self._cfg)
if observations is None:
# Docker is unreachable: container alerts can't be judged — leave them as they are
self._docker_down_since = self._docker_down_since or now
conditions += docker_condition(self._docker_down_since, self._cfg, now)
await self._alerts.sync(conditions, WITHOUT_DOCKER, now)
return
self._docker_down_since = None
for o in observations:
history = await self._store.since(o.details.name, now - self._history)
conditions += container_conditions(o, history, self._cfg, now)
await self._alerts.sync(conditions, MONITORED, now)