288 Commits

Author SHA1 Message Date
Andrey Epifancev
d13a9554a1 fix(#237): «76-исключения» в правилах элиминации и разнесение по стороне строки (AURORA-2034)
Замечание заказчика 09.11.2026, п. 1: счета 76 (аренда, НДС) не должны участвовать в
расчётах и засорять таблицу корректировок. Список субсчетов — Лысенко 10.11.2026.

- seed правил v1 (правка на месте, решение владельца 10.11.2026): из маски 76 на обеих
  сторонах правил 5–8 исключены 76.07/76.27/76.37 .1/.5/.9, 76.АВ, 76.ВА, 76.К, 76.Н, 76.НА,
  76.ОТ; правило 1 не меняется; на стендах нужен повторный seed;
- результирующая таблица §6 (RESULT_ARTICLES) — тот же список ACCOUNT_76_EXCLUDED, совпадение
  с seed проверяет тест;
- дефект: VgoService._rule_accounts сливал счета дебета и кредита правила, исключения одной
  стороны возвращались через маску другой — Кт-строки 76.* попадали в правила 5–8 и висели
  в нераспределённых (MULTIPLE_RULES); то же в candidate_rule_ids. Теперь account_owners
  ведёт стороны раздельно, правило строки — по её стороне (row_side, rules_for);
- golden-тест правила 6 на фикстурах РБ: 76.АВ вне правила, ΣA 108 062 446,46, 1,65 %
  (совпадает с эталоном, OQ-164).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-10 12:49:52 +04:00
Andrey Epifancev
5a5e5a25ad merge: влить origin/main в feat/190-ocr-metrics (I-10)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

# Conflicts:
#	web/src/auth/permissions.ts
2026-11-07 04:14:40 +04:00
Andrey Epifancev
4593cdc62c docs(#190): M-10 format=csv в README, M-14 ссылка R-4 в docstring, M-16 CLAUDE.md про аудит выгрузки метрик
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 04:14:24 +04:00
Andrey Epifancev
e14f1ab2aa fix(#190): ruff format auto_confirm и recognition_exchange (I-1)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:57:42 +04:00
Andrey Epifancev
8c7ce7c172 fix(#190): I-2 payload фактов по контракту quality-facts, вендоринг схемы и тест валидации; I-5 дата шапки через parse_date
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:56:47 +04:00
Andrey Epifancev
7a6c3641c1 fix(#190): I-3 is_scan и raw_s3_object_id последними колонками, I-4 uploads с фактом приёма не экспирится, M-3 разбор PDF вне event loop
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:47:44 +04:00
Andrey Epifancev
85c5ab8596 fix(#190): C-1 query-модели эндпоинтов метрик, M-1 без payload в DISTINCT ON, M-2 аудит EXPORT
- series/cells/export: одна query-модель на маршрут (QualitySeriesParams, QualityCellParams, QualityExportParams),
  иначе FastAPI требовал параметр `filters` и отвечал 422
- _latest_outcomes не тянет payload jsonb
- выгрузка пишет audit_event(EXPORT), тест; design.md: R-12 и исправлено обоснование
- docstring задачи 10: sites 1-3

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-07 03:40:43 +04:00
Andrey Epifancev
3589f53c3c fix(#190): экранировать формулы в CSV-выгрузке качества (T15.1)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:46:25 +04:00
Andrey Epifancev
bebc678a96 feat(#190): API /quality-metrics — матрица, ряд по месяцам, список, выгрузка
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:43:36 +04:00
Andrey Epifancev
d191fd3039 fix(#190): доработки матрицы причин по ревью Task 14
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:37:50 +04:00
Andrey Epifancev
cd7b687049 feat(#190): матрица причин — чистая функция (§14.3)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-07 02:35:32 +04:00
aep
d1e3000dc0 Merge pull request 'feat/goodwillback: бэкенд гудвилл' (#222) from feat/goodwill-back into main 2026-11-06 18:07:13 +03:00
Andrey Epifancev
8485b2c53e Гудвилл: правки по финальному ревью ветки
I-1: сохранённая доля неактивной строки нормализуется (numeric(7,4) читается как 80.1200)
и не даёт INVALID_SHARE при null в пакете; экспорт помечает строку «Нет вложений» (сценарий
спеки); design/tasks/docstring без устаревшего «построчного» PUT, R-7/R-8.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 18:52:59 +04:00
Andrey Epifancev
eeb0ce48da Гудвилл: единицы ББ по словарю arm_statements
StatementsEngine.canonical_units — нормализация подписи единиц шаблонами пакета;
УК ДО переводится в рубли и при единицах, исправленных аналитиком вручную.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 18:26:17 +04:00
Andrey Epifancev
46fba8875b Гудвилл: пакетное сохранение таблицы одной транзакцией
PUT …/goodwill {rows: [...]} вместо построчного PUT …/goodwill/{head}/{sub}: все строки
проверяются до записи, ошибка любой (NOT_FOUND, INVALID_SHARE, COMMENT_REQUIRED,
MONEY_OUT_OF_RANGE, DUPLICATE_ROW) несёт ключ пары и откатывает пакет; неизменённые
строки не перезаписываются и аудит не пишут (DOC-259025 §5.1 п. 4).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 18:24:49 +04:00
Andrey Epifancev
a086c39a78 Гудвилл: доля до двух знаков, итоги по ГО и УК с бэка
participation() — единственное место формулы доли участия; totals с УК, group_totals
по ГО, GoodwillTableOut.groups; экспорт берёт «Всего» и «Итого по листу» из ответа таблицы;
доля 0–100 не больше двух знаков (DOC-259025 §5.2), ответ — два знака.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 18:22:26 +04:00
Andrey Epifancev
3e07276a96 Гудвилл: заготовка вклада КФО вынесена в AURORA-1546
Удалены contributions/load_for_kfo и фильтры общего свода ОСВ (load_osv_rows,
build_with_members возвращены к main); OpenSpec change без требований вклада КФО.
План доводки по ревью — docs/superpowers/plans/2026-11-06-goodwill-review-back.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 18:20:04 +04:00
Andrey Epifancev
df4e171cc5 AURORA-1756: подписи итогов в xlsx — «Итого Дт» / «Итого Кт», как на экране и в DOC-221277
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 17:00:46 +04:00
Andrey Epifancev
6faa4fb325 AURORA-1756: ревью #218 — без общего итога, total_debit, change OpenSpec
- grand_total результирующей таблицы убран из API и xlsx: аналитик 03.11 попросил
  убрать итог снизу, сумма ДЗ + КЗ + ФВ + займов смысла не имеет
- total_debet переименовано в total_debit, как во всём API
- итоги матрицы квантуются до двух знаков ("0.00" и при одном ЮЛ)
- правки openspec/specs перенесены в change intercompany-matrix-totals
- README: фильтр ЮЛ и итоги

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 16:42:52 +04:00
Andrey Epifancev
362d20c1c1 feat(#190): признак скан/цифровой PDF при загрузке (§14.6)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:41:25 +04:00
Andrey Epifancev
110b2ce61d feat(#190): регистрация сырого ответа ИС Сканирование (s3_bucket_role.raw)
_register_raw_object (по образцу _register_result_object) регистрирует raw_s3_key
в s3_object с bucket_role=raw; бакет берётся у файла задания (stored_file -> s3_object),
не у message.result_s3 (отсутствует при status=error) — именно error чаще всего и даёт
сырой ответ без результата. Регистрация не зависит от message.status (R-2). Поле
RecognitionJob.raw_s3_object_id уже существовало (Task 1) — решение v5.13 «не
регистрируется» отменено v5.25 (OQ-179), комментарий contract/message.py обновлён.

Тесты — tests/test_recognition_inbox.py (там же тестируются _apply_result и
_register_result_object через handle_message, а не в test_recognition_exchange.py,
который покрывает только outbox/вахтёр).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:27:18 +04:00
Andrey Epifancev
7f184d895f feat(#190): факт технического отказа (TIMEOUT/NO_ACK/SERVICE_ERROR/MAPPING, §14.5)
Задача 10: quality_failure_fact на 6 точках отказа — вахтёр сроков
(expire_deadlines, TIMEOUT, батчем на все просроченные задания), dlq
(_process_one, NO_ACK), невалидный запрос и результат сервиса со
status=error (_process_one/_apply_result, SERVICE_ERROR), неповторяемая
и исчерпанная ошибки маппинга (_fail/_register_failure, MAPPING).
Измерения ЮЛ/ГК/is_scan — отдельным запросом по file_id (батчем у
вахтёра), отсутствие строки ЮЛ не прерывает обработку, только лог.

Восстановление после обрыва сессии: имплементер задачи 10 (agent
a7ad86adedbac1d8a) закончил работу, но коммит и отчёт не состоялись —
диф остался в рабочем дереве незакоммиченным. Коммит и прогон
проверок — контроллером (ruff/mypy/pytest -m "not integration" чисты;
один magic-value в новом тесте поправлен тут же), не ревью находка.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 13:00:12 +04:00
Andrey Epifancev
5edcad6e9c feat(#190): факт исхода SUPERSEDED/SUPERSEDED_AFTER_CONFIRM при автозамене
§14.3 (design quality-metrics §4.2, AURORA-1759): supersede_previous пишет
один факт исхода на каждый документ BALANCE/INCOME/OSV заменённого файла —
и выпавший (без ключа среди документов нового файла, OQ-154), и совпавший
по ключу («rest»): замена идёт файлом целиком (design №33), поэтому факт
не ограничивается только выпавшими документами. CONFIRMED на момент замены
(в т. ч. вручную — здесь, в отличие от удаления файла, нет 409-проверки) →
SUPERSEDED_AFTER_CONFIRM, иначе SUPERSEDED; primary_cause всегда NULL (вне
матрицы причин). Счётчик нарушений — одним запросом на все документы всех
заменяемых файлов.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:22:09 +04:00
Andrey Epifancev
6390b36188 feat(#190): факт исхода DELETED/DELETED_AFTER_CONFIRM
Удаление файла (PrimaryFilesService.delete) пишет факт качества quality_outcome_fact
по каждому документу типа BALANCE/INCOME/OSV до физического удаления строк: DELETED —
документ не подтверждался (RECOGNIZED/NEEDS_CHECK), DELETED_AFTER_CONFIRM —
автоподтверждённый CONFIRMED (вручную подтверждённые сюда не доходят, дают 409 раньше
в том же методе). primary_cause=None явно (§14.3 правило 1, вне матрицы причин),
payload — минимальный снимок без построчных данных (build_outcome_payload(document, fixes=())).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 11:06:35 +04:00
Andrey Epifancev
9bb9fba901 fix(#190): правка задачи 7 — PDF-добавленная строка «наш разбор», before у _header_fix
Ревью задачи 7, раунд 1: (1) добавлена строка design.md 06.11.2026 — решение
«нет сырого текста → наш разбор» для value/code/header фиксов задокументировано
отдельно (не то же, что 1250\n1260); тем же рядом исправлено направление для
PDF-добавленной строки — "наш разбор", не "сервис" (пустой raw_line_codes не
должен давать service через attribute_added_row, это противоречило уже принятому
27.10.2026 решению). (2) _added_row_fix для PDF больше не вызывает
attribute_added_row с заведомо пустым raw_line_codes — атрибуция "ours" прямо.
(3) _header_fix теперь возвращает "before" (meta.<field>_original_value), как
у _value_fix/_code_fix.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-06 10:53:19 +04:00
Andrey Epifancev
bb1714b096 feat(#190): факт исхода CONFIRMED с атрибуцией правок (§14.2-14.4)
DocumentService._write_confirm_outcome_fact — третий хук quality_outcome_fact
(outcome=CONFIRMED). В отличие от AUTO_CONFIRMED правки возможны: суммы и коды
строк сравниваются с живыми *_modified/original_*/source_text (не с JSON факта
приёма), добавленные строки и правки шапки — через attribute_* (Task 3), период/
счёт ОСВ — всегда "наш разбор". primary_cause — по приоритету сервис > наш разбор
> документ клиента > как есть. Гейт типа документа (BALANCE/INCOME/OSV) —
OUTCOME_FACT_DOCUMENT_TYPES, DISCLOSURE/OTHER без факта.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:58:03 +04:00
Andrey Epifancev
d26804a85d fix(#190): факт исхода только для BALANCE/INCOME/OSV (§14.3 п.5)
Ревью нашло: хук писал quality_outcome_fact для ЛЮБОГО автоподтверждённого
документа, в том числе DISCLOSURE/OTHER — у них нет факта приёма
(INTAKE_FACT_DOCUMENT_TYPES, Task 5), и факт исхода без пары превратился бы
в сироту при соединении по document_id. Добавлен гейт
OUTCOME_FACT_DOCUMENT_TYPES = {BALANCE, INCOME, OSV} (не импортируется из
result_mapping.py — там уже отложенный импорт auto_confirm во избежание
цикла); auto_confirm для DISCLOSURE/OTHER не меняется — только пропускает
запись факта. Поправлен вводивший в заблуждение комментарий в
_outcome_fact_fields. Тест на DISCLOSURE: автоподтверждение проходит,
quality_outcome_fact не появляется.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:36:11 +04:00
Andrey Epifancev
2a9ed10a29 feat(#190): факт исхода AUTO_CONFIRMED (§14.3 п.5)
Хук в auto_confirm: на каждый документ, подтверждённый системой,
пишется quality_outcome_fact (outcome=AUTO_CONFIRMED,
primary_cause=WITHOUT_PARTICIPATION всегда — правок при автоподтверждении
не бывает, D-3 блокирует формы с нарушениями). payload строится
build_outcome_payload по тому же шаблону, что факт приёма (Task 5):
ОСВ — osv_warnings/row_count, формы — lines/values/header_source,
issue_count_at_outcome — все нарушения документа без фильтра.
Запись в транзакции маппинга, без flush/commit (Task 4 insert_outcome_fact).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:25:03 +04:00
Andrey Epifancev
12ea8acd42 feat(#190): факт приёма документа при маппинге (§14.1)
Хук в _map_candidate (result_mapping.py): после map_file, до auto_confirm — для
каждого документа BALANCE/INCOME/OSV строит снимок build_intake_payload и пишет
quality_intake_fact через insert_intake_fact. Чисто добавочный шаг: не меняет
документы, статусы и прочий результат маппинга; DISCLOSURE/OTHER факта не получают.

Счётчики строк/значений — из financial_statement_* (BALANCE/INCOME) и document_issue;
warning_count/osv_warnings — предупреждения источника service (document_issue.source =
service): для BALANCE/ОФР 1.x таких записей нет, для ОСВ это коды OSV_*. Для ОСВ
построчные счётчики не считаются (их в ядре нет), только row_count в payload.

Тесты в test_result_mapping.py (маркер integration, не запускались — нет PostgreSQL
в песочнице, подтверждена только коллекция) + один DB-free тест на множество типов
документов хука.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 19:07:02 +04:00
Andrey Epifancev
a2d24fe802 feat(#190): репозиторий записи фактов качества
Тонкие функции insert_intake_fact / insert_outcome_fact / insert_failure_fact: session.add
без flush и commit, факт попадает в транзакцию вызывающего (design §4).

Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 18:48:11 +04:00
Andrey Epifancev
5603dd1898 feat(#190): атрибуция правки сервис/наш разбор (§14.2)
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 18:37:57 +04:00
PotapovaA
a48a8f496c удаление итогов по ЮЛ в результирующей таблице шахматке 2026-11-05 16:22:17 +03:00
94895b6de7 feat/goodwillback: бэкенд гудвилл 2026-11-05 15:36:14 +03:00
Andrey Epifancev
5f1001c808 fix(#190): header_source и счётчик строк ОСВ в payload фактов качества (§14.1)
Снимки приёма и исхода получают необязательные kwargs: header_source (сырой текст шапки
из financial_statement_meta.header_source) кладётся в header для ББ/ОФР, osv_row_count —
в payload ОСВ как row_count. Без kwargs ключи не эмитятся.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 16:08:50 +04:00
Andrey Epifancev
26529b3bef feat(#190): чистые снимки payload фактов качества (§14.1)
Co-Authored-By: Claude Haiku 5.5 <noreply@anthropic.com>
2026-11-05 16:04:25 +04:00
Andrey Epifancev
251c30d5ca feat(#190): DBML v5.25 — ORM и миграция фактов качества первички
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
2026-11-05 15:49:15 +04:00
PotapovaA
994d6be94c объеденение эндпоинтов для all, manual и добавления для них суммы по дебету, кредиты в по юл 2026-11-03 17:45:54 +03:00
PotapovaA
0f107f8cf8 добавление итогов по компаниям в result table (шахматка) 2026-11-03 15:15:17 +03:00
Andrey Epifancev
d542a228e0 Ревью #208 (I-7): осиротевшая APPLIED-корректировка требует проверки
attach_corrections молча пропускала (continue) корректировку, чей
агрегат (rule_id, пара ЮЛ) больше не существует после пересчёта
разнесения ВГО — вместо этого, как и в остальных ветках функции,
поднимаем ConflictError("CORRECTION_REVIEW_REQUIRED").
2026-11-02 20:17:48 +04:00
c62f9b2e39 AURORA-1540: API таблицы корректировок и интеграция с ВГО, правки 2026-11-02 18:12:32 +03:00
e9818e5182 Merge remote-tracking branch 'origin/AURORA-1751' into feat/corrections-back
# Conflicts:
#	api/src/api/dependencies/consolidations.py
#	api/src/services/vgo.py
2026-11-02 16:09:17 +03:00
PotapovaA
2b7116d8aa правки 2026-11-02 15:50:24 +03:00
PotapovaA
c8c7847766 ручной перенос строки в правило/из правилв 2026-11-02 14:05:56 +03:00
0e678acf35 AURORA-1540: корректировки + vgo_assignment 2026-10-30 19:44:22 +03:00
df892d1f20 Merge remote-tracking branch 'origin/AURORA-1751' into feat/corrections-back
# Conflicts:
#	api/src/api/dependencies/consolidations.py
2026-10-30 14:41:16 +03:00
PotapovaA
9bae931454 получение разнесение осв по правилам автоматическое + наложение ручных корректировок сверху 2026-10-30 12:56:39 +03:00
086050cc87 feat/corrections-back: Корректировки по ручным праавкам в vgo_assignments 2026-10-29 19:13:58 +03:00
aep
31904e334a Merge pull request 'AURORA-1652' (#203) from AURORA-1652 into main 2026-10-28 16:08:17 +03:00
PotapovaA
29cead170c удалены не используемые функции 2026-10-27 19:14:26 +03:00
PotapovaA
b3260ab288 обновление докстринг 2026-10-27 18:13:36 +03:00