348 Commits

Author SHA1 Message Date
Andrey Epifancev
c161643ac1 feat(#190): право QUALITY_METRICS_VIEW всем ролям (design §8)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 22:46:48 +04:00
Andrey Epifancev
362d20c1c1 feat(#190): признак скан/цифровой PDF при загрузке (§14.6)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:41:25 +04:00
Andrey Epifancev
110b2ce61d feat(#190): регистрация сырого ответа ИС Сканирование (s3_bucket_role.raw)
_register_raw_object (по образцу _register_result_object) регистрирует raw_s3_key
в s3_object с bucket_role=raw; бакет берётся у файла задания (stored_file -> s3_object),
не у message.result_s3 (отсутствует при status=error) — именно error чаще всего и даёт
сырой ответ без результата. Регистрация не зависит от message.status (R-2). Поле
RecognitionJob.raw_s3_object_id уже существовало (Task 1) — решение v5.13 «не
регистрируется» отменено v5.25 (OQ-179), комментарий contract/message.py обновлён.

Тесты — tests/test_recognition_inbox.py (там же тестируются _apply_result и
_register_result_object через handle_message, а не в test_recognition_exchange.py,
который покрывает только outbox/вахтёр).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:27:18 +04:00
Andrey Epifancev
fa36602487 fix(#190): вернуть ассерцию OTHER в её тест, убрать из FILE_REPROCESS
Ревью задачи 10 нашло сплайс: при реконструкции после обрыва сессии
`assert DocumentType.OTHER not in rm.INTAKE_FACT_DOCUMENT_TYPES` приклеилась
к концу test_file_reprocess_keeps_failure_fact_of_first_attempt_and_adds_new_intake
(FILE_REPROCESS, §14.5) вместо своего теста
test_intake_fact_document_types_excludes_disclosure_and_other, чья докстрока
обещала проверку обоих исключённых типов (DISCLOSURE/OTHER), но проверяла
только DISCLOSURE. Строка перемещена на своё место — ровно 1 строка туда,
1 строка оттуда, больше ничего в файле не менялось.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:16:02 +04:00
Andrey Epifancev
7f184d895f feat(#190): факт технического отказа (TIMEOUT/NO_ACK/SERVICE_ERROR/MAPPING, §14.5)
Задача 10: quality_failure_fact на 6 точках отказа — вахтёр сроков
(expire_deadlines, TIMEOUT, батчем на все просроченные задания), dlq
(_process_one, NO_ACK), невалидный запрос и результат сервиса со
status=error (_process_one/_apply_result, SERVICE_ERROR), неповторяемая
и исчерпанная ошибки маппинга (_fail/_register_failure, MAPPING).
Измерения ЮЛ/ГК/is_scan — отдельным запросом по file_id (батчем у
вахтёра), отсутствие строки ЮЛ не прерывает обработку, только лог.

Восстановление после обрыва сессии: имплементер задачи 10 (agent
a7ad86adedbac1d8a) закончил работу, но коммит и отчёт не состоялись —
диф остался в рабочем дереве незакоммиченным. Коммит и прогон
проверок — контроллером (ruff/mypy/pytest -m "not integration" чисты;
один magic-value в новом тесте поправлен тут же), не ревью находка.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:00:12 +04:00
Andrey Epifancev
9a1584281d fix(#190): задача 9 — добавить совпадающий по ключу документ в тесты 1/2
Ревью фикс-раунда 1: у old_file в обоих тестах был только один документ
(account="62"), ключ которого не совпадал ни с одним документом нового
файла (account="60") — _replaceable не находила совпадений, file_ids
оставался пустым, и supersede_previous возвращала [] на раннем
`if not file_ids: return []`, до locked/хука. Тесты не проверяли
SUPERSEDED/SUPERSEDED_AFTER_CONFIRM, а падали бы с NoResultFound при
реальном прогоне. Добавлен документ account="60" в old_file каждого
теста — триггер замены файла; account="62" остаётся выпавшим документом,
на котором проверяется факт исхода.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:34:58 +04:00
Andrey Epifancev
5edcad6e9c feat(#190): факт исхода SUPERSEDED/SUPERSEDED_AFTER_CONFIRM при автозамене
§14.3 (design quality-metrics §4.2, AURORA-1759): supersede_previous пишет
один факт исхода на каждый документ BALANCE/INCOME/OSV заменённого файла —
и выпавший (без ключа среди документов нового файла, OQ-154), и совпавший
по ключу («rest»): замена идёт файлом целиком (design №33), поэтому факт
не ограничивается только выпавшими документами. CONFIRMED на момент замены
(в т. ч. вручную — здесь, в отличие от удаления файла, нет 409-проверки) →
SUPERSEDED_AFTER_CONFIRM, иначе SUPERSEDED; primary_cause всегда NULL (вне
матрицы причин). Счётчик нарушений — одним запросом на все документы всех
заменяемых файлов.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:22:09 +04:00
Andrey Epifancev
6390b36188 feat(#190): факт исхода DELETED/DELETED_AFTER_CONFIRM
Удаление файла (PrimaryFilesService.delete) пишет факт качества quality_outcome_fact
по каждому документу типа BALANCE/INCOME/OSV до физического удаления строк: DELETED —
документ не подтверждался (RECOGNIZED/NEEDS_CHECK), DELETED_AFTER_CONFIRM —
автоподтверждённый CONFIRMED (вручную подтверждённые сюда не доходят, дают 409 раньше
в том же методе). primary_cause=None явно (§14.3 правило 1, вне матрицы причин),
payload — минимальный снимок без построчных данных (build_outcome_payload(document, fixes=())).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:06:35 +04:00
Andrey Epifancev
9bb9fba901 fix(#190): правка задачи 7 — PDF-добавленная строка «наш разбор», before у _header_fix
Ревью задачи 7, раунд 1: (1) добавлена строка design.md 06.11.2026 — решение
«нет сырого текста → наш разбор» для value/code/header фиксов задокументировано
отдельно (не то же, что 1250\n1260); тем же рядом исправлено направление для
PDF-добавленной строки — "наш разбор", не "сервис" (пустой raw_line_codes не
должен давать service через attribute_added_row, это противоречило уже принятому
27.10.2026 решению). (2) _added_row_fix для PDF больше не вызывает
attribute_added_row с заведомо пустым raw_line_codes — атрибуция "ours" прямо.
(3) _header_fix теперь возвращает "before" (meta.<field>_original_value), как
у _value_fix/_code_fix.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 10:53:19 +04:00
Andrey Epifancev
bb1714b096 feat(#190): факт исхода CONFIRMED с атрибуцией правок (§14.2-14.4)
DocumentService._write_confirm_outcome_fact — третий хук quality_outcome_fact
(outcome=CONFIRMED). В отличие от AUTO_CONFIRMED правки возможны: суммы и коды
строк сравниваются с живыми *_modified/original_*/source_text (не с JSON факта
приёма), добавленные строки и правки шапки — через attribute_* (Task 3), период/
счёт ОСВ — всегда "наш разбор". primary_cause — по приоритету сервис > наш разбор
> документ клиента > как есть. Гейт типа документа (BALANCE/INCOME/OSV) —
OUTCOME_FACT_DOCUMENT_TYPES, DISCLOSURE/OTHER без факта.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:58:03 +04:00
Andrey Epifancev
d26804a85d fix(#190): факт исхода только для BALANCE/INCOME/OSV (§14.3 п.5)
Ревью нашло: хук писал quality_outcome_fact для ЛЮБОГО автоподтверждённого
документа, в том числе DISCLOSURE/OTHER — у них нет факта приёма
(INTAKE_FACT_DOCUMENT_TYPES, Task 5), и факт исхода без пары превратился бы
в сироту при соединении по document_id. Добавлен гейт
OUTCOME_FACT_DOCUMENT_TYPES = {BALANCE, INCOME, OSV} (не импортируется из
result_mapping.py — там уже отложенный импорт auto_confirm во избежание
цикла); auto_confirm для DISCLOSURE/OTHER не меняется — только пропускает
запись факта. Поправлен вводивший в заблуждение комментарий в
_outcome_fact_fields. Тест на DISCLOSURE: автоподтверждение проходит,
quality_outcome_fact не появляется.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:36:11 +04:00
Andrey Epifancev
2a9ed10a29 feat(#190): факт исхода AUTO_CONFIRMED (§14.3 п.5)
Хук в auto_confirm: на каждый документ, подтверждённый системой,
пишется quality_outcome_fact (outcome=AUTO_CONFIRMED,
primary_cause=WITHOUT_PARTICIPATION всегда — правок при автоподтверждении
не бывает, D-3 блокирует формы с нарушениями). payload строится
build_outcome_payload по тому же шаблону, что факт приёма (Task 5):
ОСВ — osv_warnings/row_count, формы — lines/values/header_source,
issue_count_at_outcome — все нарушения документа без фильтра.
Запись в транзакции маппинга, без flush/commit (Task 4 insert_outcome_fact).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:25:03 +04:00
Andrey Epifancev
12ea8acd42 feat(#190): факт приёма документа при маппинге (§14.1)
Хук в _map_candidate (result_mapping.py): после map_file, до auto_confirm — для
каждого документа BALANCE/INCOME/OSV строит снимок build_intake_payload и пишет
quality_intake_fact через insert_intake_fact. Чисто добавочный шаг: не меняет
документы, статусы и прочий результат маппинга; DISCLOSURE/OTHER факта не получают.

Счётчики строк/значений — из financial_statement_* (BALANCE/INCOME) и document_issue;
warning_count/osv_warnings — предупреждения источника service (document_issue.source =
service): для BALANCE/ОФР 1.x таких записей нет, для ОСВ это коды OSV_*. Для ОСВ
построчные счётчики не считаются (их в ядре нет), только row_count в payload.

Тесты в test_result_mapping.py (маркер integration, не запускались — нет PostgreSQL
в песочнице, подтверждена только коллекция) + один DB-free тест на множество типов
документов хука.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:07:02 +04:00
Andrey Epifancev
a2d24fe802 feat(#190): репозиторий записи фактов качества
Тонкие функции insert_intake_fact / insert_outcome_fact / insert_failure_fact: session.add
без flush и commit, факт попадает в транзакцию вызывающего (design §4).

Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 18:48:11 +04:00
Andrey Epifancev
5603dd1898 feat(#190): атрибуция правки сервис/наш разбор (§14.2)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 18:37:57 +04:00
Andrey Epifancev
5f1001c808 fix(#190): header_source и счётчик строк ОСВ в payload фактов качества (§14.1)
Снимки приёма и исхода получают необязательные kwargs: header_source (сырой текст шапки
из financial_statement_meta.header_source) кладётся в header для ББ/ОФР, osv_row_count —
в payload ОСВ как row_count. Без kwargs ключи не эмитятся.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 16:08:50 +04:00
Andrey Epifancev
26529b3bef feat(#190): чистые снимки payload фактов качества (§14.1)
Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 16:04:25 +04:00
Andrey Epifancev
251c30d5ca feat(#190): DBML v5.25 — ORM и миграция фактов качества первички
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 15:49:15 +04:00
Andrey Epifancev
0404a4686d #213: test_env_test_is_read проверяет актуальный порт 5432
Тест не обновили вместе с .env.test (ревью #208, I-5): докстринг и
сам .env.test уже говорят про стандартный docker-compose порт 5432,
а assert всё ещё сверял 5431.
2026-11-02 21:06:06 +04:00
aep
afd924fc21 Merge pull request 'feat/corrections-back' (#208) from feat/corrections-back into main 2026-11-02 19:35:27 +03:00
Andrey Epifancev
fe259bd3ac #211: golden-тест учитывает D-7 для синтетики с повтором счёта в файле
test_all_golden_snapshots_mapped сравнивал документы 1:1 с листами
снимка. Синтетика s48_other_system_titles, s49_balance_and_turnover_by_side,
s50_sap_in_out_glued_side, s53_balance_by_side (tp#81, AURORA-1717/1732)
намеренно кладёт несколько листов под один счёт/период в одном файле,
проверяя распознавание разных названий ведомости — по D-7
(services/result_mapping._split_duplicates) core оставляет только
первый лист документом, остальные — предупреждением. Ожидаемый набор
локаторов теперь считается той же _split_duplicates, что и продакшен-код.
2026-11-02 20:32:51 +04:00
Andrey Epifancev
d542a228e0 Ревью #208 (I-7): осиротевшая APPLIED-корректировка требует проверки
attach_corrections молча пропускала (continue) корректировку, чей
агрегат (rule_id, пара ЮЛ) больше не существует после пересчёта
разнесения ВГО — вместо этого, как и в остальных ветках функции,
поднимаем ConflictError("CORRECTION_REVIEW_REQUIRED").
2026-11-02 20:17:48 +04:00
Andrey Epifancev
948724cf1e Ревью #208 (I-5): вернуть стандартный порт PostgreSQL в .env.test
Был 5431 вместо 5432 из docs/dev/docker-compose.yml, как и утверждает
комментарий в шапке файла — интеграционные тесты не подключались к
стенду, поднятому make up.
2026-11-02 20:17:41 +04:00
c62f9b2e39 AURORA-1540: API таблицы корректировок и интеграция с ВГО, правки 2026-11-02 18:12:32 +03:00
e9818e5182 Merge remote-tracking branch 'origin/AURORA-1751' into feat/corrections-back
# Conflicts:
#	api/src/api/dependencies/consolidations.py
#	api/src/services/vgo.py
2026-11-02 16:09:17 +03:00
PotapovaA
2b7116d8aa правки 2026-11-02 15:50:24 +03:00
PotapovaA
c8c7847766 ручной перенос строки в правило/из правилв 2026-11-02 14:05:56 +03:00
0e678acf35 AURORA-1540: корректировки + vgo_assignment 2026-10-30 19:44:22 +03:00
df892d1f20 Merge remote-tracking branch 'origin/AURORA-1751' into feat/corrections-back
# Conflicts:
#	api/src/api/dependencies/consolidations.py
2026-10-30 14:41:16 +03:00
PotapovaA
9bae931454 получение разнесение осв по правилам автоматическое + наложение ручных корректировок сверху 2026-10-30 12:56:39 +03:00
086050cc87 feat/corrections-back: Корректировки по ручным праавкам в vgo_assignments 2026-10-29 19:13:58 +03:00
PotapovaA
7194a55c15 создание таблицы vgo_assignment 2026-10-29 16:00:17 +03:00
aep
31904e334a Merge pull request 'AURORA-1652' (#203) from AURORA-1652 into main 2026-10-28 16:08:17 +03:00
Andrey Epifancev
c287839f49 AURORA-1652: тест правил с номерами статей; в спеке — elimination_mode в ответе правил нет
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-28 16:49:35 +04:00
Andrey Epifancev
f52563fea1 test(golden): 68.01.1/91.02.1 из синтетики s47 — в KNOWN_OUT_OF_PLAN (#204)
Синтетика s47_indent_hierarchy_code_sums (fixtures f1f7f83, #33; tabular-parser#78, AURORA-1858) — субсчета
68.01.1 и 91.02.1, которых нет в плане счетов seed; test_all_golden_snapshots_mapped на main падал с «новые коды вне
плана счетов». Найдено полной регрессией перед выкладкой (docs #179).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-28 14:14:46 +04:00
PotapovaA
29cead170c удалены не используемые функции 2026-10-27 19:14:26 +03:00
Andrey Epifancev
397a1a7aef fix(counter-pairs): правки финального ревью (I-1, I-2, I-3, M-1, M-2, M-3, M-5)
Подпись пары без служебных слов, тест пары на фикстурах РБ, модалка при уходе с «ОСВ» на любую вкладку,
без «Экспорт» в режиме пар, README и ARCHITECTURE, таблица решений design.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 19:22:25 +04:00
PotapovaA
b3260ab288 обновление докстринг 2026-10-27 18:13:36 +03:00
PotapovaA
4b98ff2a24 выводе данных в шахматке в денежном формате 2026-10-27 18:07:21 +03:00
Andrey Epifancev
c24bc3d4c1 feat(#195): counter_pairs в сводке сводной ОСВ и фильтр counterparty_id
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 18:48:59 +04:00
PotapovaA
6f52360c49 добавление недостающийх полей в EliminationRuleOut 2026-10-27 17:44:39 +03:00
Andrey Epifancev
40c1bca6bc feat(#195): доменная функция пар без встречных записей и фильтр counterparty_id
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 18:44:17 +04:00
Andrey Epifancev
33dbe54e9c test(golden): 60.111/60.112 из синтетики s46 — в KNOWN_OUT_OF_PLAN (#193)
Синтетика s46 (fixtures 530ede1, tabular-parser#71, AURORA-1714) — субсчета 60.111/60.112, которых нет в плане
счетов seed; test_all_golden_snapshots_mapped на main падал с «новые коды вне плана счетов».

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 18:12:46 +04:00
Andrey Epifancev
74ba43d1b7 AURORA-1646 чек-лист версии — только файлы стола консолидации (#188)
Кандидаты «Требуется проверка» / «Распознан» и состояние файлов («Обработка» / «Ошибка загрузки») чек-лист берёт
только со стола консолидации (§9.5 п. 11) — тем же фильтром, что панель «Первичные документы» (`files.on_desk`).
Документы организации из других консолидаций и из карточки ЮЛ ячейку больше не меняют: без документов — «Отсутствует».

В `on_desk` документ подзапроса — псевдоним: в запросе по `Document` он иначе коррелирует с внешним.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 10:54:50 +04:00
aep
019a1d8d1b Merge pull request 'AURORA-1690: пользователь и роли по клику на логотип' (#186) from feat/184-user-role into main 2026-10-27 09:21:52 +03:00
Andrey Epifancev
73a2a53e24 AURORA-1690: тест схемы MeResponse — поле role_details
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 10:19:31 +04:00
Andrey Epifancev
1590302b79 AURORA-1690: названия ролей в блоке пользователя (role_details в /me)
GET /me дополнен role_details [{code, name}] (аддитивно), фронт показывает
названия ролей, при их отсутствии — коды. Требования внесены в спеки
authn-authz и consolidations-ui, change 184-user-role удалён.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 01:11:28 +04:00
Andrey Epifancev
353b562dfc AURORA-1644 автозамена не вытесняет документ другой организации (#181)
Пара «новый документ — прежний» с counterparty_check = MISMATCH у любого из двух
в автозамене не участвует: сканы разных организаций в одной карточке больше не
вытесняют друг друга. UNKNOWN заменяется как прежде. Если файл оставлен только
из-за MISMATCH, в mapping_warnings нового файла — «автозамена не выполнена»
с именем и версией оставленного файла. Спека primary-files дополнена.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-27 00:54:27 +04:00
Andrey Epifancev
8940f32ae3 fix: пары ВГО — суммы со знаком, процент в упаковке, deviation_amount (ревью #175, AURORA-1536)
- суммы сторон со знаком, как в шахматке; строки с суммой < 0 в упаковку не идут, причина NEGATIVE_AMOUNT;
  при min(ΣA, ΣB) ≤ 0 процент null и элиминация 0, статус списка AUTO — только при элиминации > 0
- группы одного размера выбираются по проценту расхождения к меньшей сумме (точной дробью), ничья — по равному проценту
- elimination_amount группы и тройки переименован в deviation_amount; version_no тройки обязателен
- суммы и проценты пар в JSON — с двумя знаками
- elimination-pairs по правилу с measure ≠ closing — 422 INVALID_RULE
- дельта спеки, design.md (R-7, R-8), tasks, README

make check-full: exit 0 (1896 passed; integration 990 passed).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-23 21:47:47 +04:00
Andrey Epifancev
b4522addc0 feat: DBML v5.23 — версия правил обязательна; список пар ВГО версии (ревью #175, AURORA-1536)
- consolidation_version.elimination_rules_version NOT NULL: миграция 0010
  проставляет существующим версиям номер правил, действовавших на дату
  создания (по Москве), иначе последних открытых; без правил — отказ;
  создание версии без действующих правил — 409 ELIMINATION_RULES_MISSING;
  ветки «правила не зафиксированы» убраны (rules, preset, is_version_fixed
  всегда true);
- GET …/elimination-totals: все тройки «правило ББ × упорядоченная пара
  периметра» с ΣA, ΣB, расхождением, суммой элиминации, статусом
  AUTO/DISCREPANCY/ONE_SIDED/MANUAL и osv_entry_ids; сводная ОСВ строится
  один раз; сбор строк сторон вынесен в _collect_rule_sides — общий
  с упаковкой тройки.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-23 18:42:10 +04:00