[core] Eval извлечения и safety на размеченном наборе → цифры для слайда #24
Notifications
Due Date
No due date set.
Depends on
#4 [core] Safety: лексикон + LLM-сигнал, кризисный скрипт, recall 100% на наборе
MedITron/PTSRaiAgent
#7 [bot] LLM-шлюз: GigaChat + mock, extract / risk_classify / phrase / summarize
MedITron/PTSRaiAgent
Reference: MedITron/PTSRaiAgent#24
Reference in New Issue
Block a user
Описание
SPEC §10.
scripts/eval_extraction.pyпоdata/eval/labels.jsonl(разметка психиатра): точное совпадение, ±1, MAE, доля confidence < 0.5; safety recall = 100%. Mock и GigaChat (если есть ключ). Отчётdocs/eval.md. Делает lane B после этапа 1.Лог выполнения