157 Commits

Author SHA1 Message Date
Andrey Epifancev
39a7affc48 OpenSpec: change slice-1-directories (справочники, импорт ЕЦП, policy, администрирование)
proposal, design, tasks и дельты спек: directories-api, directory-import, directory-policy, users-admin (новые),
data-model (v5.14: related_group_member.kind, audit_action), audit-trail (события справочников и администрирования).

Issue: RSHB/arm-core#5

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_012vJkmBGKKqMoEMzvsXG3y2
2026-10-04 20:23:03 +04:00
aep
73a208a57a Merge pull request 'chore(openspec): архив change slice-0-skeleton' (#4) from chore/archive-slice-0-skeleton into main
Reviewed-on: #4
2026-10-04 18:48:52 +03:00
Andrey Epifancev
db7df33517 chore(openspec): архив change slice-0-skeleton
Срез 0 реализован и влит (PR #3), change перенесён в openspec/changes/archive, спеки — в openspec/specs.

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_012vJkmBGKKqMoEMzvsXG3y2
2026-10-04 19:44:37 +04:00
aep
adb9ba47dc Merge pull request 'Срез 0: скелет ядра — ORM и миграция 0001 по DBML v5.13, seed, auth с dev-эмитентом, обмен через recognition_job' (#3) from feat/1-slice-0-skeleton into main
Reviewed-on: #3
2026-10-04 18:40:46 +03:00
Andrey Epifancev
477f037872 docs: сценарий «Системное событие» под R-7, решения 98–105 в design.md (I-4)
audit-trail: WHEN сценария «Системное событие» — «системный процесс (без
пользователя) вызывает сервис аудита»; NOTE: обмен через recognition_job
в Срезе 0 аудит не пишет (R-7, design #20). design.md: R-25, R-26 и
решения fix-волны финального ревью (№100–105). openspec validate --strict
проходит.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 02:01:41 +04:00
Andrey Epifancev
db3c1e5141 docs: предложения открытых вопросов в change slice-0-skeleton (I-5, R-26)
openspec/changes/slice-0-skeleton/open-questions-proposal.md — носитель
15 предложенных вопросов, правок статусов OQ-46/OQ-47 и кандидатов в DBML
v5.14 для docs-PR (открывает владелец ../docs); архивируется вместе с
change. Добавлены пункты финального ревью: аудит LOGIN/LOGIN_FAILED,
CORS * и доверенные прокси, открытые /docs и /openapi.json, статус
stored_file из inbox, срок ответа tabular, append-only на уровне БД,
последовательный callback NATS и длинный маппер, проверка ключа
results/{file_id}/{job_id}/ до чтения результата.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 02:01:41 +04:00
Andrey Epifancev
75045af723 test: обмен в реальном lifespan и два инстанса ядра на NATS (I-7)
tests/test_exchange_lifespan_nats.py (integration, NATS и PostgreSQL из
.env.test, уникальный subject результатов, queue group arm-core):
- настоящий lifespan при NATS_ENABLED=true: /healthcheck -> nats=ok,
  подписка видна в мониторинге NATS (/connz) с qgroup arm-core, публикатор
  lifespan переводит задание в published, inbox принимает ack и результат;
  остановка гасит задачи обмена до nats.stop(), закрывает пул БД и не
  оставляет висящих задач;
- два NatsConnection с настоящим handle_message: результат обрабатывает
  ровно один инстанс, задание и s3_object меняются один раз; повторная
  доставка того же сообщения ничего не меняет.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:59:58 +04:00
Andrey Epifancev
cce92212d2 test: убран --capture=no из addopts pytest (M-2)
Вывод loguru из негативных тестов больше не засоряет прогон: pytest
перехватывает stderr и показывает его только для упавших тестов (секция
«Captured stderr call»). Ни один тест не зависел от отключённого
перехвата; полный прогон зелёный.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:56:53 +04:00
Andrey Epifancev
8bab965988 fix: dev-запуск слушает только 127.0.0.1 (M-11)
В api/.env.example задан SERVER__HOST=127.0.0.1 (и SERVER__PORT=8000):
при DEBUG и AUTH_DEV_ISSUER эндпоинт dev-токенов выдаёт токен любому, кто
знает email. Значение приложения по умолчанию (0.0.0.0) не меняется.
.env.test — те же ключи; новый тест сверяет набор ключей .env.example и
.env.test. README: рекомендация в быстром старте и строка таблицы.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:55:59 +04:00
Andrey Epifancev
feaac9cb9a test: CREATE/DROP DATABASE через служебную БД postgres (M-9)
Команды уровня кластера в тестах (создание и удаление временных БД, роль
в тесте предвыданной схемы) подключались к рабочей БД armka. Теперь —
к служебной БД postgres того же сервера (service_url): тестам не нужна
существующая armka. Проверено прогоном с несуществующей БД в
OPENBAO__DATABASE__DATABASE_URL.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:55:22 +04:00
Andrey Epifancev
87816ef6c9 fix: job_id невалидного сообщения пишется в лог через repr (M-7)
job_id из сообщения, не прошедшего контракт, — данные отправителя; без
экранирования перевод строки в нём позволял подделать строку лога.
Теперь repr(job_id[:64]), как в рулинге R-18 для kid токена.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:54:30 +04:00
Andrey Epifancev
7a6a7fb36b fix: валидация настроек обмена PositiveInt/NonNegativeInt (M-4)
OUTBOX_POLL_SECONDS и ACK_TIMEOUT_SECONDS — PositiveInt, OUTBOX_MAX_REPUBLISH —
NonNegativeInt: 0 и отрицательные значения периода и таймаута, отрицательное
число повторов отвергаются при старте. Значения по умолчанию прежние.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:53:48 +04:00
Andrey Epifancev
3d31c1eac5 fix: SMB необязателен, остановка lifespan по независимым шагам (I-3, T4.5, M-3)
- OPENBAO__SMB__* необязательны (по умолчанию пусто); при пустом SMB_HOST
  сессия SMB не регистрируется (DEBUG «SMB не настроен»), в .env.example
  и .env.test SMB выключен — в логе dev-запуска больше нет трейсбэка SMB.
- Задан SMB_HOST: register_session и reset_connection_cache вызываются
  через asyncio.to_thread и не блокируют цикл событий.
- Остановка: задачи обмена -> NATS -> S3 -> SMB -> engine.dispose();
  каждый шаг в своём try/except с логом step=..., ошибка одного шага не
  отменяет следующие. Пул соединений БД закрывается последним (M-3).
- README: «что в логе при запуске», таблица настроек SMB, порядок
  остановки.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:53:23 +04:00
Andrey Epifancev
6a6ffb54f4 fix: ошибки БД и отказ проверки JWT пишутся в лог (I-2, T16.9)
Обработчики IntegrityError (409) и SQLAlchemyError (500) молча отдавали
ответ. Теперь каждая такая ошибка — одна запись ERROR: путь и метод
запроса, классы ошибок SQLAlchemy и драйвера, SQLSTATE, SQL-текст с
плейсхолдерами (усечён до 200 символов) и стек вызовов. Текст исключения
в лог не идёт: str() ошибки asyncpg/SQLAlchemy содержит параметры запроса
и DETAIL PostgreSQL со значениями ключей (email, ИНН). Ответы прежние.

JwksVerifier.verify: TypeError/ValueError, превращаемые в AuthError,
теперь пишут warning в том же санированном виде repr(str(exc))[:200].

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:50:57 +04:00
Andrey Epifancev
8d7d014391 fix: nullable jsonb пишет SQL NULL вместо jsonb null (I-1)
Все nullable jsonb-колонки ORM (audit_event.before_value/after_value,
ex_snapshot_item.payload, recognition_job.group_schema/metrics,
osv_entry.original_values) объявлены через nullable_jsonb() =
JSONB(none_as_null=True): Python None сохраняется как SQL NULL, IS NULL
находит строку. DDL не меняется; сверка с DBML и миграции зелёные.

Обходы для не-объекта в metrics (CASE по jsonb_typeof в публикаторе,
merge_metrics в inbox) оставлены: строки до исправления и сырой SQL
могут содержать jsonb null. Тесты: SQL NULL после AuditService.record
без before/after, metrics фабрики None -> SQL NULL, повтор публикации и
слияние метрик для SQL NULL и jsonb null, перечень колонок с флагом.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:49:26 +04:00
Andrey Epifancev
ac394bb4ce docs: перенос строк в docstring app.py (E501)
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:23:43 +04:00
Andrey Epifancev
2b1fdab294 docs: контракты обмена и ex-payload в CLAUDE.md, уточнён docstring app.py
Строка «Контракты» перечисляет три реальные схемы recognition-* и копии в api/contracts/; ex-payload-v1 помечен
как будущий (Срез 7). В раскладке — src/api/endpoints. В docstring app.py убрано утверждение, что middleware
РАИСА подключается при DEBUG=False (пакет лишь условно импортируется).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:23:18 +04:00
Andrey Epifancev
a880330f1f docs: design.md — решения 24–97 (рулинги контроллера и решения исполнителей, SDD срез 0)
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:21:59 +04:00
Andrey Epifancev
f7bde3f82f chore: отметка задачи 27
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:18:12 +04:00
Andrey Epifancev
18126eeb8f docs: команды make и фактическое устройство в CLAUDE.md, выправлены формулировки tasks/plan/spec
CLAUDE.md: цели make из корня, NATS_ENABLED vs DEBUG, обмен recognition_job, аудит, аутентификация, seed,
сверка ORM-DBML, тесты; Dockerfile для dev и check-full; skip reason у fixtures.
tasks.md/plan: required_document_rule в audit_ex.py (R-4); spec data-model: 43 таблицы модели + alembic_version.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:16:56 +04:00
Andrey Epifancev
b3f7deae22 chore: отметка задачи 26
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:12:24 +04:00
Andrey Epifancev
5ce496b94b chore: web/package-lock.json в .gitignore
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 01:09:10 +04:00
Andrey Epifancev
d4a29748f5 chore: отметка задачи 25
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:59:24 +04:00
Andrey Epifancev
81bb79e600 feat: make check-full — check, dbml-check, интеграционные тесты против compose, docker build, web; .env.test на порты compose
Цели docker-build, web-check, check-infra (подсказка «make up»); .env.test переведён на 5432/4222/9000 (R-19),
test_config и README обновлены. Цикл миграций входит в test-integration и отдельным шагом не дублируется.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:58:57 +04:00
Andrey Epifancev
0b4fa3a819 chore: отметка задачи 24
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:46:54 +04:00
Andrey Epifancev
9b81fa8e37 feat: inbox recognition.result — ack processing, идемпотентный приём результата, s3_object результата, ResultMapper/NoopMapper
handle_message(msg, *, session_factory, mapper, now): разбор конверта по контракту v1.0, одна короткая транзакция
с SELECT … FOR UPDATE (ждёт блокировку публикатора/вахтёра); ack published → processing; результат — дедуп по
result_msg_id, финальные статусы (R-22) не трогаются, регистрация s3_object (results), слияние метрик с сохранением
republish_count. Подписка app.py получает handler с фабрикой сессий и NoopMapper; шаблонный core/nats_callback.py
удалён (R-3). audit_event не пишется (R-7).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:46:48 +04:00
Andrey Epifancev
c5a5c0bf29 chore: отметка задачи 23
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:20:12 +04:00
Andrey Epifancev
2e96971475 feat: outbox-публикатор и вахтёр сроков recognition_job, фоновые задачи обмена в lifespan при NATS_ENABLED
- services/recognition_exchange.py: publish_pending — одно задание на короткую транзакцию
  (SELECT … LIMIT 1 FOR UPDATE OF recognition_job SKIP LOCKED → публикация → UPDATE → COMMIT):
  queued → published (request_msg_id = <job_id>:<attempt>, request_subject, published_at, reply_deadline —
  5 мин по умолчанию, requested_at); published без ack дольше ACK_TIMEOUT → повтор с тем же Nats-Msg-Id и
  attempt, metrics.republish_count (jsonb ||, прочие ключи сохраняются); после OUTBOX_MAX_REPUBLISH → dlq/NO_ACK;
  запрос не собирается по контракту → error/INVALID_REQUEST; первая NatsPublishError откатывает задание и
  прерывает проход; нет соединения — проход пропускается. published с прошедшим reply_deadline оставлен вахтёру.
- expire_deadlines — один UPDATE processing/published с reply_deadline < now → timeout/TIMEOUT.
- run_publisher_loop / run_watchdog_loop (30 с), ExchangeTasks: запуск в lifespan вместе с NatsConnection,
  остановка до nats.stop(). audit_event не пишется (R-7).
- Тесты: интеграционные против PostgreSQL и NATS (схема запроса, повторы и dlq на инжектируемых часах, ack после
  первого повтора, вахтёр, ошибка публикации, два конкурентных прохода, циклы), lifespan; фабрика CommittedJobs.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-04 00:20:06 +04:00
Andrey Epifancev
a0de203d88 chore: отметка задачи 22
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:48:55 +04:00
Andrey Epifancev
4d13a1ddb2 fix: настройка OPENBAO__MINIO__MINIO_SECURE — http-MinIO из compose без SSL-ошибки при старте (R-20)
MinioSettings.MINIO_SECURE (по умолчанию true — https, как в шаблоне и на платформе) передаётся в Minio(secure=...);
.env.example и .env.test — false (MinIO из docker compose слушает http). README: трейсбэк S3 из раздела
«что в логе» убран, переменная добавлена в таблицу конфигурации.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:47:39 +04:00
Andrey Epifancev
4e5e1a7b5b feat: src/core/nats.py — фоновое подключение к core NATS, publish с Nats-Msg-Id, подписка recognition.result в queue group arm-core
- NatsConnection: supervisor первого подключения в фоне (старт приложения не ждёт NATS), nats-py
  переподключается сам (max_reconnect_attempts=-1, reconnect_time_wait=2) и восстанавливает подписки;
  экспоненциальный backoff 1→30 с, если connect завершился исключением; логирование ошибок без шума
  (первая ошибка серии — warning, дальше не чаще раза в минуту).
- publish(subject, payload, msg_id): заголовок Nats-Msg-Id + flush; нет соединения или нет подтверждения —
  NatsPublishError. subscribe_results(handler): queue group arm-core, исключения обработчика логируются.
- build_nats_auth перенесён из app.py; ошибка учётных данных — NatsConfigError, категория config_error,
  без повторов (T4.1). Первое подключение повторяется (T4.2): прежний await connect в lifespan при
  недоступном NATS висел бесконечно (nats-py с max_reconnect_attempts=-1 повторяет первое подключение сам).
- app.py: подключение переехало в core/nats.py (R-3), lifespan запускает/останавливает NatsConnection,
  подписка — заглушка services/recognition_exchange.handle_message (полная обработка — задача 24).
- Тесты: юнит (поддельный клиент, инжектируемый sleep, отсутствие JetStream в src/) и интеграционные
  против NATS без JetStream (заголовок, queue group без дублей, недоступный сервер).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:47:39 +04:00
Andrey Epifancev
dcbeea5756 fix: сканер audit_event ловит псевдонимы импорта, __table__.update()/delete() и Query API
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:30:27 +04:00
Andrey Epifancev
1c51fb5459 chore: отметка задачи 21
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:21:30 +04:00
Andrey Epifancev
a58f5d9df1 feat: AuditService.record — единственная точка записи audit_event, тесты и статический запрет UPDATE/DELETE
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:21:15 +04:00
Andrey Epifancev
d7f6c280bb fix: целочисленные float (1.0) принимаются как целые, bool в header_variant отвергается
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:08:25 +04:00
Andrey Epifancev
0837e18a0a chore: отметка задачи 20
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:01:34 +04:00
Andrey Epifancev
c4afe4bc0b feat: pydantic-модели контракта распознавания v1.0 и тесты согласованности со схемами
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:01:23 +04:00
Andrey Epifancev
490d2568bc chore: копии схем контракта распознавания v1.0 и jsonschema в dev-зависимостях
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 23:01:23 +04:00
Andrey Epifancev
f6fa38f9dd docs: README — точный список трейсбэков при старте, ожидание healthy, имена env, .env.test для migration-cycle
I-1: предупреждение dev-эмитента появляется при первом запросе к /me, а не при старте. I-2: добавлен трейсбэк SMB
(заглушка). S3-трейсбэк помечен «до исправления в задаче 22». M-3: дождаться healthy перед make migrate.
M-5: таблица env с полными именами OPENBAO__MINIO__*, __NATS__*, __SMB__*. M-2: migration-cycle и check-full читают .env.test.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:47:06 +04:00
Andrey Epifancev
0c1e1b94b2 chore: отметка задачи 19
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:39:56 +04:00
Andrey Epifancev
4080a8ff18 docs: README.md описывает arm-core вместо шаблонного текста
Назначение, предварительные требования (Python 3.11, uv, Docker), быстрый старт до зелёного /api/v1/me
(make venv/up/migrate/seed-dev, dev-токен), таблица env, команды make, тесты, проверка ORM и DBML, миграции,
раскладка репозитория, работа без Nexus, безопасность dev-режима, ссылки на соседние документы.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:39:49 +04:00
Andrey Epifancev
64668085ab chore: отметка задачи 18
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:29:02 +04:00
Andrey Epifancev
048e09f724 fix: несуществующий маршрут под /api/v1 — 404, а не ответ SPA-заглушки
При выключенном dev-эмитенте POST /api/v1/dev/token отвечал 405 от StaticFiles.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:28:52 +04:00
Andrey Epifancev
f5a5bbf95f feat: GET /api/v1/me и POST /api/v1/dev/token, условный build_api_router (T17.4)
Dev-эмитент подключается только при AUTH_DEV_ISSUER и DEBUG; статический тест
«нет кодов ролей» расширен на src/api/** и src/services/**.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:26:18 +04:00
Andrey Epifancev
cd64087b0d feat: dev-секрет HS256 короче 32 байт отвергается (T16.7)
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:26:18 +04:00
Andrey Epifancev
953d978cc7 fix: обработчик 422 — актуальная константа статуса и сериализация ctx ошибок валидации
Без jsonable_encoder ValueError из field_validator давал 500 вместо 422;
HTTP_422_UNPROCESSABLE_ENTITY помечена устаревшей в starlette.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:26:18 +04:00
Andrey Epifancev
aaf9490a8d chore: отметка задачи 17
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:14:29 +04:00
Andrey Epifancev
11941caa20 feat: зависимости current_user и require(code), репозиторий пользователей, схема me
Пользователь, филиал, роли и права читаются одним запросом; роль is_active=false прав не даёт;
email без учёта регистра, неоднозначность — 403 (R-17).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:14:10 +04:00
Andrey Epifancev
5ed52a7239 fix: JWKS-проверяющий — алгоритм по типу ключа, без кэша ключей по kid; email в нижний регистр
I-1: в jwt.decode передаётся PyJWK (а не голый ключ), рассогласование alg и типа ключа даёт 401,
а не TypeError/500; страховка на (TypeError, ValueError).
I-2: cache_keys=False — кэш ключей по kid не имеет срока жизни и держал бы отозванный ключ;
остаётся кэш набора JWKS на 300 с.
R-17: Claims.email = strip().lower().
R-18: запредельный exp не даёт 500; пустой sub отвергается; kid из заголовка пишется в лог через repr и усекается.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:01:33 +04:00
Andrey Epifancev
d7469f31bc chore: зафиксирована версия cryptography в requirements.txt (R-18c)
auth.py импортирует cryptography напрямую, а requirements.txt — полный freeze.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2026-10-03 22:01:33 +04:00