feat(#190): метрики качества первички (AURORA-1759) #229

Merged
aep merged 45 commits from feat/190-ocr-metrics into main 2026-11-07 07:50:00 +03:00

45 Commits

Author SHA1 Message Date
Andrey Epifancev
2f4817137e docs(#190): M-16 дельта audit-trail — аудит выгрузки метрик качества
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:18:34 +04:00
Andrey Epifancev
5a5e5a25ad merge: влить origin/main в feat/190-ocr-metrics (I-10)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

# Conflicts:
#	web/src/auth/permissions.ts
2026-11-07 04:14:40 +04:00
Andrey Epifancev
4593cdc62c docs(#190): M-10 format=csv в README, M-14 ссылка R-4 в docstring, M-16 CLAUDE.md про аудит выгрузки метрик
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:14:24 +04:00
Andrey Epifancev
d1f4f45ab0 fix(#190): M-17 маршруты /quality-metrics в тесте OpenAPI
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:14:24 +04:00
Andrey Epifancev
24fbec8988 fix(#190): I-9 is_recognized допускает null в контракте quality-facts, тесты NULL-ячейки; M-13 решения R-1..R-3 в design.md
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:14:24 +04:00
Andrey Epifancev
3f6bd96388 docs(#190): дельты OpenSpec quality-metrics, README, CLAUDE.md, правки design/proposal (I-7, M-4, M-5, M-7)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:01:45 +04:00
Andrey Epifancev
8f90d0c22f fix(#190): тесты состава прав учитывают QUALITY_METRICS_VIEW (I-8)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:58:20 +04:00
Andrey Epifancev
e14f1ab2aa fix(#190): ruff format auto_confirm и recognition_exchange (I-1)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:57:42 +04:00
Andrey Epifancev
8c7ce7c172 fix(#190): I-2 payload фактов по контракту quality-facts, вендоринг схемы и тест валидации; I-5 дата шапки через parse_date
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:56:47 +04:00
Andrey Epifancev
7a6c3641c1 fix(#190): I-3 is_scan и raw_s3_object_id последними колонками, I-4 uploads с фактом приёма не экспирится, M-3 разбор PDF вне event loop
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:47:44 +04:00
Andrey Epifancev
85c5ab8596 fix(#190): C-1 query-модели эндпоинтов метрик, M-1 без payload в DISTINCT ON, M-2 аудит EXPORT
- series/cells/export: одна query-модель на маршрут (QualitySeriesParams, QualityCellParams, QualityExportParams),
  иначе FastAPI требовал параметр `filters` и отвечал 422
- _latest_outcomes не тянет payload jsonb
- выгрузка пишет audit_event(EXPORT), тест; design.md: R-12 и исправлено обоснование
- docstring задачи 10: sites 1-3

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:40:43 +04:00
Andrey Epifancev
25c568b5be docs(#190): зафиксировать решения задачи 16 (экран качества) в design.md
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:57:03 +04:00
Andrey Epifancev
7ded34fec5 fix(#190): доработки экрана качества по ревью Task 16
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:56:27 +04:00
Andrey Epifancev
717dec69cf feat(#190): экран «Качество первички» (web)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:49:24 +04:00
Andrey Epifancev
3589f53c3c fix(#190): экранировать формулы в CSV-выгрузке качества (T15.1)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:46:25 +04:00
Andrey Epifancev
1d99ea265e docs(#190): зафиксировать решения задачи 15 (API метрик качества) в design.md
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:46:07 +04:00
Andrey Epifancev
bebc678a96 feat(#190): API /quality-metrics — матрица, ряд по месяцам, список, выгрузка
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:43:36 +04:00
Andrey Epifancev
779e13fca8 docs(#190): зафиксировать решения задачи 14 (матрица причин) в design.md
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:38:24 +04:00
Andrey Epifancev
d191fd3039 fix(#190): доработки матрицы причин по ревью Task 14
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:37:50 +04:00
Andrey Epifancev
cd7b687049 feat(#190): матрица причин — чистая функция (§14.3)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:35:32 +04:00
Andrey Epifancev
b20f3fa607 docs(#190): зафиксировать решение задачи 13 (формат union types.ts) в design.md
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 22:58:50 +04:00
Andrey Epifancev
c161643ac1 feat(#190): право QUALITY_METRICS_VIEW всем ролям (design §8)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 22:46:48 +04:00
Andrey Epifancev
362d20c1c1 feat(#190): признак скан/цифровой PDF при загрузке (§14.6)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:41:25 +04:00
Andrey Epifancev
110b2ce61d feat(#190): регистрация сырого ответа ИС Сканирование (s3_bucket_role.raw)
_register_raw_object (по образцу _register_result_object) регистрирует raw_s3_key
в s3_object с bucket_role=raw; бакет берётся у файла задания (stored_file -> s3_object),
не у message.result_s3 (отсутствует при status=error) — именно error чаще всего и даёт
сырой ответ без результата. Регистрация не зависит от message.status (R-2). Поле
RecognitionJob.raw_s3_object_id уже существовало (Task 1) — решение v5.13 «не
регистрируется» отменено v5.25 (OQ-179), комментарий contract/message.py обновлён.

Тесты — tests/test_recognition_inbox.py (там же тестируются _apply_result и
_register_result_object через handle_message, а не в test_recognition_exchange.py,
который покрывает только outbox/вахтёр).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:27:18 +04:00
Andrey Epifancev
fa36602487 fix(#190): вернуть ассерцию OTHER в её тест, убрать из FILE_REPROCESS
Ревью задачи 10 нашло сплайс: при реконструкции после обрыва сессии
`assert DocumentType.OTHER not in rm.INTAKE_FACT_DOCUMENT_TYPES` приклеилась
к концу test_file_reprocess_keeps_failure_fact_of_first_attempt_and_adds_new_intake
(FILE_REPROCESS, §14.5) вместо своего теста
test_intake_fact_document_types_excludes_disclosure_and_other, чья докстрока
обещала проверку обоих исключённых типов (DISCLOSURE/OTHER), но проверяла
только DISCLOSURE. Строка перемещена на своё место — ровно 1 строка туда,
1 строка оттуда, больше ничего в файле не менялось.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:16:02 +04:00
Andrey Epifancev
494e789fbf docs(#190): зафиксировать решение задачи 10 про error_code отказов маппинга в design.md
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:13:27 +04:00
Andrey Epifancev
7f184d895f feat(#190): факт технического отказа (TIMEOUT/NO_ACK/SERVICE_ERROR/MAPPING, §14.5)
Задача 10: quality_failure_fact на 6 точках отказа — вахтёр сроков
(expire_deadlines, TIMEOUT, батчем на все просроченные задания), dlq
(_process_one, NO_ACK), невалидный запрос и результат сервиса со
status=error (_process_one/_apply_result, SERVICE_ERROR), неповторяемая
и исчерпанная ошибки маппинга (_fail/_register_failure, MAPPING).
Измерения ЮЛ/ГК/is_scan — отдельным запросом по file_id (батчем у
вахтёра), отсутствие строки ЮЛ не прерывает обработку, только лог.

Восстановление после обрыва сессии: имплементер задачи 10 (agent
a7ad86adedbac1d8a) закончил работу, но коммит и отчёт не состоялись —
диф остался в рабочем дереве незакоммиченным. Коммит и прогон
проверок — контроллером (ruff/mypy/pytest -m "not integration" чисты;
один magic-value в новом тесте поправлен тут же), не ревью находка.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:00:12 +04:00
Andrey Epifancev
68dc5118f6 docs(#190): зафиксировать решение задачи 9 об статусе ERROR в design.md
Документирует находку ревью задачи 9 (minor, deferred): почему supersede_previous не
исключает ERROR-статус из факта исхода, в отличие от primary_files.delete.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:39:29 +04:00
Andrey Epifancev
9a1584281d fix(#190): задача 9 — добавить совпадающий по ключу документ в тесты 1/2
Ревью фикс-раунда 1: у old_file в обоих тестах был только один документ
(account="62"), ключ которого не совпадал ни с одним документом нового
файла (account="60") — _replaceable не находила совпадений, file_ids
оставался пустым, и supersede_previous возвращала [] на раннем
`if not file_ids: return []`, до locked/хука. Тесты не проверяли
SUPERSEDED/SUPERSEDED_AFTER_CONFIRM, а падали бы с NoResultFound при
реальном прогоне. Добавлен документ account="60" в old_file каждого
теста — триггер замены файла; account="62" остаётся выпавшим документом,
на котором проверяется факт исхода.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:34:58 +04:00
Andrey Epifancev
5edcad6e9c feat(#190): факт исхода SUPERSEDED/SUPERSEDED_AFTER_CONFIRM при автозамене
§14.3 (design quality-metrics §4.2, AURORA-1759): supersede_previous пишет
один факт исхода на каждый документ BALANCE/INCOME/OSV заменённого файла —
и выпавший (без ключа среди документов нового файла, OQ-154), и совпавший
по ключу («rest»): замена идёт файлом целиком (design №33), поэтому факт
не ограничивается только выпавшими документами. CONFIRMED на момент замены
(в т. ч. вручную — здесь, в отличие от удаления файла, нет 409-проверки) →
SUPERSEDED_AFTER_CONFIRM, иначе SUPERSEDED; primary_cause всегда NULL (вне
матрицы причин). Счётчик нарушений — одним запросом на все документы всех
заменяемых файлов.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:22:09 +04:00
Andrey Epifancev
3a325e886c docs(#190): зафиксировать решения задачи 8 (DELETED/DELETED_AFTER_CONFIRM) в design.md
Перенос трёх решений, делегированных брифом исполнителю и задокументированных в докстринге
PrimaryFilesService._write_delete_outcome_facts, в раздел «Decisions made without discussion»
по правилу CLAUDE.md о маркировке находок.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:08:55 +04:00
Andrey Epifancev
6390b36188 feat(#190): факт исхода DELETED/DELETED_AFTER_CONFIRM
Удаление файла (PrimaryFilesService.delete) пишет факт качества quality_outcome_fact
по каждому документу типа BALANCE/INCOME/OSV до физического удаления строк: DELETED —
документ не подтверждался (RECOGNIZED/NEEDS_CHECK), DELETED_AFTER_CONFIRM —
автоподтверждённый CONFIRMED (вручную подтверждённые сюда не доходят, дают 409 раньше
в том же методе). primary_cause=None явно (§14.3 правило 1, вне матрицы причин),
payload — минимальный снимок без построчных данных (build_outcome_payload(document, fixes=())).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:06:35 +04:00
Andrey Epifancev
9bb9fba901 fix(#190): правка задачи 7 — PDF-добавленная строка «наш разбор», before у _header_fix
Ревью задачи 7, раунд 1: (1) добавлена строка design.md 06.11.2026 — решение
«нет сырого текста → наш разбор» для value/code/header фиксов задокументировано
отдельно (не то же, что 1250\n1260); тем же рядом исправлено направление для
PDF-добавленной строки — "наш разбор", не "сервис" (пустой raw_line_codes не
должен давать service через attribute_added_row, это противоречило уже принятому
27.10.2026 решению). (2) _added_row_fix для PDF больше не вызывает
attribute_added_row с заведомо пустым raw_line_codes — атрибуция "ours" прямо.
(3) _header_fix теперь возвращает "before" (meta.<field>_original_value), как
у _value_fix/_code_fix.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 10:53:19 +04:00
Andrey Epifancev
bb1714b096 feat(#190): факт исхода CONFIRMED с атрибуцией правок (§14.2-14.4)
DocumentService._write_confirm_outcome_fact — третий хук quality_outcome_fact
(outcome=CONFIRMED). В отличие от AUTO_CONFIRMED правки возможны: суммы и коды
строк сравниваются с живыми *_modified/original_*/source_text (не с JSON факта
приёма), добавленные строки и правки шапки — через attribute_* (Task 3), период/
счёт ОСВ — всегда "наш разбор". primary_cause — по приоритету сервис > наш разбор
> документ клиента > как есть. Гейт типа документа (BALANCE/INCOME/OSV) —
OUTCOME_FACT_DOCUMENT_TYPES, DISCLOSURE/OTHER без факта.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:58:03 +04:00
Andrey Epifancev
d26804a85d fix(#190): факт исхода только для BALANCE/INCOME/OSV (§14.3 п.5)
Ревью нашло: хук писал quality_outcome_fact для ЛЮБОГО автоподтверждённого
документа, в том числе DISCLOSURE/OTHER — у них нет факта приёма
(INTAKE_FACT_DOCUMENT_TYPES, Task 5), и факт исхода без пары превратился бы
в сироту при соединении по document_id. Добавлен гейт
OUTCOME_FACT_DOCUMENT_TYPES = {BALANCE, INCOME, OSV} (не импортируется из
result_mapping.py — там уже отложенный импорт auto_confirm во избежание
цикла); auto_confirm для DISCLOSURE/OTHER не меняется — только пропускает
запись факта. Поправлен вводивший в заблуждение комментарий в
_outcome_fact_fields. Тест на DISCLOSURE: автоподтверждение проходит,
quality_outcome_fact не появляется.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:36:11 +04:00
Andrey Epifancev
2a9ed10a29 feat(#190): факт исхода AUTO_CONFIRMED (§14.3 п.5)
Хук в auto_confirm: на каждый документ, подтверждённый системой,
пишется quality_outcome_fact (outcome=AUTO_CONFIRMED,
primary_cause=WITHOUT_PARTICIPATION всегда — правок при автоподтверждении
не бывает, D-3 блокирует формы с нарушениями). payload строится
build_outcome_payload по тому же шаблону, что факт приёма (Task 5):
ОСВ — osv_warnings/row_count, формы — lines/values/header_source,
issue_count_at_outcome — все нарушения документа без фильтра.
Запись в транзакции маппинга, без flush/commit (Task 4 insert_outcome_fact).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:25:03 +04:00
Andrey Epifancev
12ea8acd42 feat(#190): факт приёма документа при маппинге (§14.1)
Хук в _map_candidate (result_mapping.py): после map_file, до auto_confirm — для
каждого документа BALANCE/INCOME/OSV строит снимок build_intake_payload и пишет
quality_intake_fact через insert_intake_fact. Чисто добавочный шаг: не меняет
документы, статусы и прочий результат маппинга; DISCLOSURE/OTHER факта не получают.

Счётчики строк/значений — из financial_statement_* (BALANCE/INCOME) и document_issue;
warning_count/osv_warnings — предупреждения источника service (document_issue.source =
service): для BALANCE/ОФР 1.x таких записей нет, для ОСВ это коды OSV_*. Для ОСВ
построчные счётчики не считаются (их в ядре нет), только row_count в payload.

Тесты в test_result_mapping.py (маркер integration, не запускались — нет PostgreSQL
в песочнице, подтверждена только коллекция) + один DB-free тест на множество типов
документов хука.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:07:02 +04:00
Andrey Epifancev
a2d24fe802 feat(#190): репозиторий записи фактов качества
Тонкие функции insert_intake_fact / insert_outcome_fact / insert_failure_fact: session.add
без flush и commit, факт попадает в транзакцию вызывающего (design §4).

Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 18:48:11 +04:00
Andrey Epifancev
5603dd1898 feat(#190): атрибуция правки сервис/наш разбор (§14.2)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 18:37:57 +04:00
Andrey Epifancev
5f1001c808 fix(#190): header_source и счётчик строк ОСВ в payload фактов качества (§14.1)
Снимки приёма и исхода получают необязательные kwargs: header_source (сырой текст шапки
из financial_statement_meta.header_source) кладётся в header для ББ/ОФР, osv_row_count —
в payload ОСВ как row_count. Без kwargs ключи не эмитятся.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 16:08:50 +04:00
Andrey Epifancev
26529b3bef feat(#190): чистые снимки payload фактов качества (§14.1)
Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 16:04:25 +04:00
Andrey Epifancev
6d1a322e87 docs(#190): дорегистрировать решение об отложенном контракте quality-facts.schema.json
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 16:00:12 +04:00
Andrey Epifancev
251c30d5ca feat(#190): DBML v5.25 — ORM и миграция фактов качества первички
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 15:49:15 +04:00
Andrey Epifancev
1171e173af docs(#190): исправить номер открытого вопроса OQ-111 → OQ-179
OQ-111 уже занят (ретеншн S3 общего назначения) — реальный свободный номер для
срока хранения raw/{job_id}.json нашёлся при работе над arm-ka-docs#202.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 14:13:23 +04:00
Andrey Epifancev
9d2c44940a docs(#190): дизайн метрик качества первички (AURORA-1759), черновик до ревью владельца
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 14:13:23 +04:00