Merge pull request 'Срез 0 (proposal): соглашения шаблона в CLAUDE.md, change slice-0-skeleton — скелет tabular-parser' (#2) from feat/1-slice-0-skeleton into main
Reviewed-on: #2
This commit is contained in:
commit
9ef7b9af48
20
CLAUDE.md
20
CLAUDE.md
@ -19,4 +19,22 @@ Stateless-сервис разбора XLS/XLSX/XLSB: ОСВ по счетам (
|
|||||||
- синтетика только для вариантов, которых нет в фикстурах (шапка вариант 2, Вал./Кол., xlsb, без outline level).
|
- синтетика только для вариантов, которых нет в фикстурах (шапка вариант 2, Вал./Кол., xlsb, без outline level).
|
||||||
|
|
||||||
## Соглашения шаблона
|
## Соглашения шаблона
|
||||||
<!-- заполняет агент: что оставлено от шаблона команды после удаления frontend/ -->
|
Тот же шаблон команды, что у `arm-core` («Шаблон FastAPI», `RSHB/DKB_ARMKA@ba172f8`); общие соглашения —
|
||||||
|
`../docs/context/03-architecture.md`, «Соглашения шаблона команды». Сейчас репозиторий — полная копия каркаса `arm-core`;
|
||||||
|
change `slice-0-skeleton` приводит его к сервису **без фронта и без БД**. Все команды — из `api/`.
|
||||||
|
|
||||||
|
**Оставлено от шаблона:** `api/run_server.py` (точка входа платформы, `SERVER__HOST/PORT`), `api/src/app.py` (lifespan,
|
||||||
|
`GET /healthcheck`, gzip/proxy middleware, обработчики ошибок), `core/config.py` (pydantic-settings, `OPENBAO__MINIO__*`,
|
||||||
|
`OPENBAO__NATS__*`, `DEBUG`), `core/clients.py` (S3), `core/nats_callback.py`, `core/logger.py`, `core/exception_handlers.py`,
|
||||||
|
`common/exceptions.py`, `pytest.ini`, `requirements*.txt`, `raisa_config.yml`, `setup/setup.sh` + `pip.conf` (без npm-шага).
|
||||||
|
|
||||||
|
**Вырезано (Срез 0):** `web/` целиком и `setup/.npmrc`; из `app.py` — mount SPA (`SPAStaticFiles`, `os.makedirs("web")`),
|
||||||
|
CORS, регистрация SMB-сессии, импорт `raisa_fastapi_protected_api`; `db/`, `models/`, `repositories/`, `alembic/`,
|
||||||
|
`alembic.ini`; из настроек — `OPENBAO.DATABASE`, `OPENBAO.SMB`; из `requirements.txt` — `asyncpg`, `SQLAlchemy`, `alembic`,
|
||||||
|
`smbprotocol`, `argon2-cffi`, `raisa_fastapi_protected_api`; шаблонный `README.md` заменён описанием сервиса.
|
||||||
|
|
||||||
|
**Добавлено:** `api/src/parser/` (ОСВ §1 и формы §12 — чистые функции над книгой Excel; Срез 2), `api/src/contract/`
|
||||||
|
(pydantic-модели `recognition-result` v1.0; идентичность с `../docs/contracts` проверяется в `make check`), `api/rules/*.yaml`
|
||||||
|
(словари синонимов — в документах это `rules/*.yaml` относительно `api/`), `api/src/core/worker.py` (подписка queue group
|
||||||
|
`recognition.tabular.request` → S3 `uploads/` → парсер → S3 `results/` → `recognition.result`), `Dockerfile`,
|
||||||
|
`api/pyproject.toml` (ruff, mypy). Проверки: `pytest`, `ruff check . && ruff format --check .`, `mypy src`.
|
||||||
|
|||||||
2
openspec/changes/slice-0-skeleton/.openspec.yaml
Normal file
2
openspec/changes/slice-0-skeleton/.openspec.yaml
Normal file
@ -0,0 +1,2 @@
|
|||||||
|
schema: spec-driven
|
||||||
|
created: 2026-10-03
|
||||||
89
openspec/changes/slice-0-skeleton/design.md
Normal file
89
openspec/changes/slice-0-skeleton/design.md
Normal file
@ -0,0 +1,89 @@
|
|||||||
|
# Design: Срез 0 — скелет tabular-parser
|
||||||
|
|
||||||
|
## Context
|
||||||
|
|
||||||
|
См. `proposal.md`. Исходное состояние — копия каркаса `arm-core` (`124f63b`): FastAPI с lifespan (SMB, MinIO, NATS),
|
||||||
|
SPA-mount, Alembic, пустые пакеты `models/repositories/services`. Контракт v1.0, ack `processing` и правила `Nats-Msg-Id` —
|
||||||
|
родительский change в docs. Платформа: Python 3.11, NATS без JetStream, Nexus недоступен до прода, CI в Gitea нет.
|
||||||
|
Сервис должен остаться запускаемым платформой так же, как шаблон (`api/run_server.py`, `SERVER__*`, `raisa_config.yml`).
|
||||||
|
|
||||||
|
## Goals / Non-Goals
|
||||||
|
|
||||||
|
**Goals:** сервис без БД/фронта; транспорт NATS ↔ S3 проверен интеграционным тестом, включая повторный запрос; парсер —
|
||||||
|
заменяемый интерфейс.
|
||||||
|
**Non-Goals:** см. proposal; масштабирование (несколько инстансов — queue group даёт это бесплатно, но не тестируется).
|
||||||
|
|
||||||
|
## Decisions
|
||||||
|
|
||||||
|
### D-1. Вырезаем, а не переписываем
|
||||||
|
Удаляются каталоги и зависимости, перечисленные в proposal; `app.py` упрощается до: настройки, lifespan (MinIO, NATS,
|
||||||
|
запуск воркера), `/healthcheck`, обработчики ошибок, логирование. Остающиеся файлы шаблона не переименовываются —
|
||||||
|
чтобы diff с `arm-core` и будущие обновления шаблона были читаемы.
|
||||||
|
|
||||||
|
### D-2. Воркер — подписка core NATS с queue group, ack сразу, обработка в очереди задач
|
||||||
|
`nc.subscribe("recognition.tabular.request", queue="tabular-parser", cb=on_request)`. В `on_request`: валидация →
|
||||||
|
если `job_id` уже в process-local множестве «в работе/обработано» — только ack; иначе добавить в множество, опубликовать
|
||||||
|
ack `processing`, положить задание во внутреннюю `asyncio.Queue`. Рабочая корутина (одна на инстанцию, `WORKER_CONCURRENCY=1`)
|
||||||
|
берёт задания из очереди и выполняет конвейер S3 → парсер → S3 → конверт результата. Множество обработанных `job_id`
|
||||||
|
ограничено по размеру (`DONE_CACHE_SIZE=1000`, LRU) — защита от повторов ядра после результата. *Почему ack сразу:* ядро
|
||||||
|
без JetStream публикует повторно через 30 с без ack; долгий разбор не должен вызывать повторы. *Альтернатива* — pull-семантика
|
||||||
|
JetStream: недоступна.
|
||||||
|
|
||||||
|
### D-3. Парсер — протокол `Parser.parse(data: bytes, file_type) -> ParseOutcome`
|
||||||
|
`ParseOutcome` = `status`, `documents` (модели контракта), `metrics`, `error`. `NullParser` всегда отдаёт
|
||||||
|
`error NOT_IMPLEMENTED` с сообщением «разбор XLS/XLSX/XLSB реализуется в Срезе 2». Воркер не знает о реализации;
|
||||||
|
Срез 2 подменяет фабрику. Так транспорт и парсер тестируются раздельно, парсер — без NATS/S3.
|
||||||
|
|
||||||
|
### D-4. Ключи S3 и имя сервиса
|
||||||
|
Исходник читается по `request.s3.key` (роль `uploads`), результат пишется в `results/{file_id}/{job_id}/result.json`
|
||||||
|
того же бакета; `service = {name: "tabular-parser", version: settings.VERSION}`. Клиент S3 — `S3Storage` шаблона,
|
||||||
|
дополненный `get_bytes`/`put_json`.
|
||||||
|
|
||||||
|
### D-5. Любая ошибка транспорта — результат, не молчание
|
||||||
|
Таблица: запрос не проходит pydantic → `SCHEMA_MISMATCH` (без ack — нечего подтверждать, но результат публикуется с
|
||||||
|
`job_id`, если он читаем); `MAJOR` версии запроса ≠ 1 → `SCHEMA_MISMATCH`; S3 `get` упал → `FILE_READ_ERROR`;
|
||||||
|
исключение парсера → `UNKNOWN_ERROR` с текстом исключения в `error.message` (без трассировки). Публикуется конверт без
|
||||||
|
`result_s3`; `metrics.duration_ms` заполняется всегда. Публикация результата повторяется до `PUBLISH_RETRIES=3` раз с
|
||||||
|
паузой 2 с; если не удалось — лог уровня error, задание дойдёт до `timeout` в ядре.
|
||||||
|
|
||||||
|
### D-6. Соединение с NATS — как у ядра, без JetStream
|
||||||
|
Пустые `NATS_SEED/NATS_JWT` → без учётных данных (dev); иначе nkeys/JWT шаблона. Автопереподключение `nats-py`
|
||||||
|
(`max_reconnect_attempts=-1`); при разрыве подписка восстанавливается клиентом. `/healthcheck` отдаёт `nats = ok | down`.
|
||||||
|
Флаг `NATS_ENABLED` (по умолчанию `true`) — чтобы unit-тесты поднимали приложение без NATS.
|
||||||
|
|
||||||
|
### D-7. Тесты в два уровня
|
||||||
|
Unit (`tests/unit`): модели контракта и примеры docs; обработчик запроса с фейками `S3Storage`/`Publisher` (протоколы) —
|
||||||
|
сценарии D-5, повторный запрос, ack до обработки. Интеграционные (`tests/integration`, маркер `integration`):
|
||||||
|
compose-NATS/MinIO — реальный запрос из примера `request-tabular.json` → ack и результат в `recognition.result`, файл в бакете.
|
||||||
|
|
||||||
|
### D-8. Dev без Nexus, Python 3.11
|
||||||
|
`Dockerfile` — `python:3.11-slim`; `make venv` ставит `requirements.txt` без строк `raisa_*` (в этом сервисе их уже нет
|
||||||
|
после D-1, но цель одинакова во всех репозиториях). Конфигураций CI нет: `make check` / `make check-full`.
|
||||||
|
|
||||||
|
## Risks / Trade-offs
|
||||||
|
|
||||||
|
- [Повторный запрос ядра после ack при долгой обработке] → ack публикуется до чтения S3; ядро повторяет только без ack.
|
||||||
|
- [Инстанция упала после ack, до результата] → ядро закроет задание по `reply_deadline` (`timeout`), replay — Срез 3+.
|
||||||
|
- [`NOT_IMPLEMENTED` в проде, если Срез 2 задержится] → код ошибки честный, ядро показывает его аналитику.
|
||||||
|
- [Удалённые зависимости понадобятся позже] → возвращаются по одной строке в `requirements.txt`.
|
||||||
|
|
||||||
|
## Migration Plan
|
||||||
|
|
||||||
|
Нет данных. Удаление каталогов — одним коммитом «chore: вырезан фронт и БД из шаблона» до функциональных изменений,
|
||||||
|
чтобы ревью было читаемым. Откат — revert коммита.
|
||||||
|
|
||||||
|
## Open Questions
|
||||||
|
|
||||||
|
Общие с родительским change (версия Node не нужна этому сервису; параметры NATS банка — к деплою). Специфичных нет.
|
||||||
|
|
||||||
|
## Decisions made without discussion
|
||||||
|
|
||||||
|
| № | Дата | Решение | Обоснование | Цена ошибки |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| 1 | 2026-10-03 | D-1: вырезать фронт/БД/SMB, не переименовывая оставшееся | читаемый diff с arm-core | нет |
|
||||||
|
| 2 | 2026-10-03 | D-2: queue group `tabular-parser`, ack до обработки, одна рабочая корутина, LRU обработанных `job_id` | NATS без JetStream (ответ 03.10); ядро повторяет без ack | смена параметров; при JetStream — pull-consumer |
|
||||||
|
| 3 | 2026-10-03 | D-3: парсер-заглушка отвечает `NOT_IMPLEMENTED` (код добавлен в контракт родительским change'ем) | честный статус вместо маскировки под `UNSUPPORTED_FORMAT` | нет |
|
||||||
|
| 4 | 2026-10-03 | D-4: результат в `results/{file_id}/{job_id}/result.json` того же бакета | схема ключей `03-architecture.md`, один бакет | смена шаблона ключа в одном месте |
|
||||||
|
| 5 | 2026-10-03 | D-5: транспортные ошибки превращаются в результат; публикация с 3 повторами | ядро не должно ждать таймаута, если сервис жив | нет |
|
||||||
|
| 6 | 2026-10-03 | D-8: `python:3.11-slim`, `make check`/`check-full` вместо CI | ответы пользователя | смена тега |
|
||||||
|
| 7 | 2026-10-03 | Каталог словарей — `api/rules/` (относительно рабочего каталога `api/`) | все команды шаблона идут из `api/` | перенос каталога |
|
||||||
64
openspec/changes/slice-0-skeleton/proposal.md
Normal file
64
openspec/changes/slice-0-skeleton/proposal.md
Normal file
@ -0,0 +1,64 @@
|
|||||||
|
# Proposal: Срез 0 — скелет tabular-parser
|
||||||
|
|
||||||
|
**Срез:** 0 «Скелет» (`../docs/context/09-delivery-plan.md`). **Репозиторий:** tabular-parser. **Issue:** RSHB/arm-tabular-parser#1.
|
||||||
|
**Родительский change:** `../docs/openspec/changes/slice-0-skeleton` (контракт v1.0, compose, проверки качества).
|
||||||
|
**Соседние:** `../arm-core/openspec/changes/slice-0-skeleton`, `../scan-gateway/openspec/changes/slice-0-skeleton`.
|
||||||
|
|
||||||
|
## Why
|
||||||
|
|
||||||
|
Репозиторий сейчас — полная копия каркаса `arm-core` с фронтом, Alembic и моделями, то есть противоречит DECISION-4
|
||||||
|
(сервис без БД, видит только NATS и S3). Прежде чем в Срезе 2 писать парсер ОСВ, нужен сервис, который уже умеет
|
||||||
|
принять запрос из NATS, подтвердить его, прочитать файл из S3, положить результат и ответить по контракту v1.0 — чтобы
|
||||||
|
парсер стал чистой функцией «байты → документы», а транспорт был проверен end-to-end вместе с ядром на той платформе,
|
||||||
|
что есть: NATS без JetStream, Python 3.11, без Nexus.
|
||||||
|
|
||||||
|
## What Changes
|
||||||
|
|
||||||
|
- **Вырезать из шаблона** (список — `CLAUDE.md`, «Соглашения шаблона»): `web/`, `setup/.npmrc` и npm-шаги
|
||||||
|
`setup/setup.sh`; из `app.py` — mount SPA, CORS, SMB-сессия, импорт `raisa_fastapi_protected_api`; `db/`, `models/`,
|
||||||
|
`repositories/`, `alembic/`, `alembic.ini`; настройки `OPENBAO.DATABASE`, `OPENBAO.SMB`; зависимости `asyncpg`,
|
||||||
|
`SQLAlchemy`, `alembic`, `smbprotocol`, `argon2-cffi`, `raisa_fastapi_protected_api`; шаблонный `README.md`.
|
||||||
|
- **Инструменты**: `api/pyproject.toml` (ruff, mypy), `requirements-dev.txt` = `-r requirements.txt` + инструменты,
|
||||||
|
`Dockerfile` (`python:3.11-slim`; строка убрана из `.gitignore`), `Makefile` с общими целями `up / test /
|
||||||
|
test-integration / lint / check / check-full` + `venv`, `.env.example`, `.env.test`; `Settings` читает `ENV_FILE`;
|
||||||
|
`SERVICE_NAME = "tabular-parser"`.
|
||||||
|
- **Контракт**: вендоренные схемы `api/contracts/` + pydantic-модели `src/contract/` (запрос, конверт со статусами
|
||||||
|
`processing | done | needs_check | error`, файл результата); тест идентичности с `../docs/contracts`.
|
||||||
|
- **Воркер** `src/core/worker.py` (NATS без JetStream): подписка на `recognition.tabular.request` в queue group
|
||||||
|
`tabular-parser`; по получении — сразу ack: конверт `status = processing` в `recognition.result`
|
||||||
|
(`Nats-Msg-Id = ack:<job_id>:<attempt>`); затем чтение исходника из S3 `uploads/…`, вызов парсера, запись
|
||||||
|
`results/{file_id}/{job_id}/result.json`, публикация конверта результата (`Nats-Msg-Id = result:<job_id>:<attempt>`).
|
||||||
|
Process-local множество `job_id` в работе: повторный запрос (ядро публикует повторно, не получив ack) получает ack и не
|
||||||
|
обрабатывается второй раз.
|
||||||
|
- **Парсер как интерфейс**: `src/parser/` — протокол `Parser` и `NullParser`, возвращающий `status = error`,
|
||||||
|
`error.code = NOT_IMPLEMENTED` для любого файла (Срез 2 заменяет реализацией §1/§12); `api/rules/README.md` —
|
||||||
|
место словарей синонимов.
|
||||||
|
- **Ошибки транспорта** всегда превращаются в результат: запрос не по схеме → `SCHEMA_MISMATCH`; файл не читается из
|
||||||
|
S3 → `FILE_READ_ERROR`; неожиданное исключение → `UNKNOWN_ERROR`. Ядро не ждёт таймаута, если сервис жив.
|
||||||
|
- **Healthcheck** `/healthcheck` шаблона дополняется полем `nats` (`ok`/`down`).
|
||||||
|
- **Проверки качества** вместо CI: `make check` (ruff, mypy, pytest без Docker, идентичность контракта) и
|
||||||
|
`make check-full` (+ интеграционный тест против compose, `docker build`) — по `../docs/dev/checks.md`.
|
||||||
|
|
||||||
|
## Capabilities
|
||||||
|
|
||||||
|
### New Capabilities
|
||||||
|
- `tabular-recognition-service`: stateless-сервис, который принимает задания из NATS без JetStream, подтверждает их,
|
||||||
|
обменивается файлами через S3 и отвечает по контракту v1.0; в Срезе 0 — с парсером-заглушкой.
|
||||||
|
|
||||||
|
### Modified Capabilities
|
||||||
|
<!-- openspec/specs пуст -->
|
||||||
|
|
||||||
|
## Impact
|
||||||
|
|
||||||
|
- **Таблицы DBML:** сервис не пишет в БД. Косвенно: `recognition_job` ядра получает `status = processing`
|
||||||
|
(`started_at`), затем `error`, `error_code = NOT_IMPLEMENTED`, `service_name = tabular-parser` из конвертов.
|
||||||
|
- **Правила:** §1.0/§12 — только как контракт будущего парсера (интерфейс `Parser`), §9.4 — статусы задания.
|
||||||
|
- **Зависимости:** удаляются БД/SMB/фронт; добавляются `ruff`, `mypy`, `pytest*`, `jsonschema` (валидация примеров).
|
||||||
|
- **Внешние системы:** NATS без JetStream (subjects `recognition.*`), MinIO/S3 (бакет `arm-ka`).
|
||||||
|
|
||||||
|
## Non-goals
|
||||||
|
|
||||||
|
- Разбор ОСВ и форм ББ/ОФР (§1, §12) — Срез 2; property-тесты на `../fixtures/osv/**` — Срез 2.
|
||||||
|
- Словари `rules/*.yaml` — Срез 2 (здесь только каталог и README).
|
||||||
|
- Периодический heartbeat `processing` — не реализуется (один ack при получении).
|
||||||
|
- Любая работа с БД, SMB, фронтом; конфигурации CI.
|
||||||
@ -0,0 +1,87 @@
|
|||||||
|
# Spec Delta: tabular-recognition-service
|
||||||
|
|
||||||
|
## Purpose
|
||||||
|
|
||||||
|
Stateless-сервис разбора табличных файлов (XLS/XLSX/XLSB): принимает задания из NATS без JetStream, подтверждает их,
|
||||||
|
читает исходник из S3, отдаёт результат в S3 и конверт в NATS по контракту v1.0, не имея доступа к БД и фронта.
|
||||||
|
В Срезе 0 разбор заменён заглушкой.
|
||||||
|
|
||||||
|
## ADDED Requirements
|
||||||
|
|
||||||
|
### Requirement: Сервис не зависит от БД и фронта
|
||||||
|
Репозиторий MUST NOT содержать каталоги `web/`, `alembic/`, `src/db/`, `src/models/`, `src/repositories/`; зависимости
|
||||||
|
`SQLAlchemy`, `asyncpg`, `alembic`, `smbprotocol`, `raisa_fastapi_protected_api` MUST NOT присутствовать в
|
||||||
|
`requirements.txt`; настройки `OPENBAO.DATABASE` и `OPENBAO.SMB` MUST NOT требоваться для старта.
|
||||||
|
|
||||||
|
#### Scenario: Старт с минимальным окружением
|
||||||
|
- **WHEN** сервис запускается с `.env`, содержащим только `OPENBAO__MINIO__*`, `OPENBAO__NATS__NATS_URL`, `DEBUG=true`
|
||||||
|
- **THEN** `GET /healthcheck` отвечает 200 с полями `uptime`, `version`, `nats`
|
||||||
|
|
||||||
|
### Requirement: Подтверждение запроса до обработки
|
||||||
|
Сервис SHALL быть подписан на `recognition.tabular.request` в queue group `tabular-parser`. Получив запрос, проходящий
|
||||||
|
`recognition-request.schema.json`, сервис SHALL до чтения файла из S3 опубликовать в `recognition.result` конверт
|
||||||
|
`status = processing` с `job_id`, `file_id`, `service {name: "tabular-parser", version}` и заголовком
|
||||||
|
`Nats-Msg-Id = ack:<job_id>:<attempt>`. Повторный запрос с `job_id`, который уже обрабатывается или обработан этим
|
||||||
|
процессом, SHALL получить повторный ack и MUST NOT обрабатываться второй раз.
|
||||||
|
|
||||||
|
#### Scenario: Ack раньше результата
|
||||||
|
- **WHEN** опубликован запрос из `docs/contracts/examples/request-tabular.json`
|
||||||
|
- **THEN** первым сообщением сервиса в `recognition.result` является конверт `processing`, и только затем — результат
|
||||||
|
|
||||||
|
#### Scenario: Повторный запрос во время обработки
|
||||||
|
- **WHEN** тот же запрос доставлен второй раз, пока первый обрабатывается
|
||||||
|
- **THEN** публикуется второй ack `processing`, файл из S3 повторно не читается, результат публикуется один раз
|
||||||
|
|
||||||
|
### Requirement: Результат по контракту
|
||||||
|
После подтверждения сервис SHALL прочитать объект `s3.key` из бакета `s3.bucket`, вызвать парсер, записать файл результата
|
||||||
|
(по `recognition-result.schema.json`) в `results/{file_id}/{job_id}/result.json` и опубликовать конверт результата (по
|
||||||
|
`recognition-result-message.schema.json`) с заголовком `Nats-Msg-Id = result:<job_id>:<attempt>`. При неудаче публикации
|
||||||
|
сервис SHALL повторить её до трёх раз с паузой, затем залогировать ошибку.
|
||||||
|
|
||||||
|
#### Scenario: Запрос с заглушкой парсера (Срез 0)
|
||||||
|
- **WHEN** запрос подтверждён и объект существует в `uploads/`
|
||||||
|
- **THEN** в `recognition.result` появляется конверт `status = error`, `error.code = NOT_IMPLEMENTED`, `job_id`/`file_id`
|
||||||
|
из запроса, `metrics.duration_ms ≥ 0`; файл результата может отсутствовать
|
||||||
|
|
||||||
|
#### Scenario: Повтор публикации
|
||||||
|
- **WHEN** первая публикация конверта результата завершается ошибкой соединения, вторая — успешно
|
||||||
|
- **THEN** конверт опубликован один раз с тем же `Nats-Msg-Id`, обработка не повторяется
|
||||||
|
|
||||||
|
### Requirement: Ошибки транспорта превращаются в результат
|
||||||
|
Сервис SHALL отвечать конвертом `status = error` в случаях: тело не проходит схему или `MAJOR` версии ≠ 1 →
|
||||||
|
`SCHEMA_MISMATCH` (если `job_id` читаем); объект S3 не читается → `FILE_READ_ERROR`; исключение парсера →
|
||||||
|
`UNKNOWN_ERROR` (сообщение без трассировки). Сервис MUST NOT падать и MUST NOT молчать по этим причинам.
|
||||||
|
|
||||||
|
#### Scenario: Нет объекта в S3
|
||||||
|
- **WHEN** `s3.key` запроса указывает на несуществующий объект
|
||||||
|
- **THEN** публикуется конверт `error.code = FILE_READ_ERROR`, процесс продолжает работу
|
||||||
|
|
||||||
|
#### Scenario: Несовместимая версия
|
||||||
|
- **WHEN** запрос содержит `schema_version = "2.0"`
|
||||||
|
- **THEN** публикуется конверт `error.code = SCHEMA_MISMATCH`, ack не публикуется
|
||||||
|
|
||||||
|
### Requirement: Парсер — заменяемый интерфейс
|
||||||
|
Разбор файла SHALL выполняться через единый интерфейс «байты + тип файла → документы/метрики/ошибка», не знающий о
|
||||||
|
NATS и S3; воркер MUST NOT зависеть от конкретной реализации. В Срезе 0 реализация SHALL возвращать `NOT_IMPLEMENTED`
|
||||||
|
для всех типов; каталог `api/rules/` SHALL существовать с README о назначении словарей.
|
||||||
|
|
||||||
|
#### Scenario: Подмена реализации в тесте
|
||||||
|
- **WHEN** в тесте воркеру передан парсер, возвращающий один `osvDocument`
|
||||||
|
- **THEN** файл результата с этим документом записан в S3, конверт имеет `status = done` и `result_s3` на этот файл
|
||||||
|
|
||||||
|
### Requirement: Копия контракта идентична источнику
|
||||||
|
`api/contracts/*.schema.json` SHALL быть байт в байт равны файлам `../docs/contracts/`; pydantic-модели SHALL валидировать
|
||||||
|
все `../docs/contracts/examples/*.json` и порождать JSON, проходящий схему. Проверка входит в `make check`.
|
||||||
|
|
||||||
|
#### Scenario: `make check`
|
||||||
|
- **WHEN** выполняются тесты контракта при доступном `../docs` (или `ARM_KA_DOCS`)
|
||||||
|
- **THEN** идентичность подтверждена, примеры валидны; при недоступном docs тест идентичности пропущен с предупреждением
|
||||||
|
|
||||||
|
### Requirement: Соединение с NATS по правилам шаблона, без JetStream
|
||||||
|
При пустых `NATS_SEED`/`NATS_JWT` сервис SHALL подключаться без учётных данных, иначе — с nkeys/JWT. Сервис MUST NOT
|
||||||
|
требовать stream'ов или consumer'ов JetStream; при разрыве соединения SHALL переподключаться автоматически и восстанавливать
|
||||||
|
подписку; `/healthcheck` SHALL отражать состояние (`nats = ok | down`).
|
||||||
|
|
||||||
|
#### Scenario: NATS перезапущен
|
||||||
|
- **WHEN** контейнер NATS перезапущен во время работы сервиса
|
||||||
|
- **THEN** в течение 20 с после старта NATS подписка восстановлена, `nats = ok`, новый запрос обрабатывается
|
||||||
55
openspec/changes/slice-0-skeleton/tasks.md
Normal file
55
openspec/changes/slice-0-skeleton/tasks.md
Normal file
@ -0,0 +1,55 @@
|
|||||||
|
# Tasks: Срез 0 — скелет tabular-parser
|
||||||
|
|
||||||
|
Репозиторий — tabular-parser; команды — из `api/`. Зависимости: 3.1 ждёт контракт v1.0 (`docs` 1.1–1.4);
|
||||||
|
интеграционные тесты 4.x — compose инфраструктуры (`docs` 2.1). Каждая задача ≤ половины дня. CI нет — проверки локальные.
|
||||||
|
|
||||||
|
## 1. Вырезать фронт и БД из шаблона
|
||||||
|
|
||||||
|
- [ ] 1.1 Удалить `web/`, `setup/.npmrc`, npm-шаги из `setup/setup.sh`, `api/alembic/`, `api/alembic.ini`, `api/src/db/`,
|
||||||
|
`api/src/models/`, `api/src/repositories/`; из `.gitignore` убрать `Dockerfile`; проверка: `git status` показывает
|
||||||
|
только удаления и `.gitignore`; `python -c "import src"` пока падает ожидаемо (чинится в 1.2)
|
||||||
|
- [ ] 1.2 `src/app.py`: убрать mount SPA/`os.makedirs("web")`, CORS, SMB-сессию, импорт `raisa_fastapi_protected_api`;
|
||||||
|
`src/core/config.py`: убрать `DBSettings`, `SMBSettings`, оставить `MINIO`, `NATS`; добавить `ENV_FILE`,
|
||||||
|
`SERVICE_NAME="tabular-parser"`, `NATS_ENABLED=true`, `WORKER_CONCURRENCY=1`, `PUBLISH_RETRIES=3`, `DONE_CACHE_SIZE=1000`;
|
||||||
|
`requirements.txt` без `asyncpg`, `SQLAlchemy`, `alembic`, `smbprotocol`, `argon2-cffi`, `raisa_fastapi_protected_api`;
|
||||||
|
проверка: `pip install -r requirements.txt` в чистом venv (python3.11), `python run_server.py` стартует c `.env.example`, `/healthcheck` 200
|
||||||
|
- [ ] 1.3 `README.md` — описание сервиса (назначение, команды `make`, env, запуск против compose), `CLAUDE.md` — актуализировать
|
||||||
|
раздел «Соглашения шаблона» по факту вырезанного; проверка: все упомянутые файлы существуют
|
||||||
|
|
||||||
|
## 2. Инструменты
|
||||||
|
|
||||||
|
- [ ] 2.1 `api/pyproject.toml` (ruff: line-length 120, E,F,I,UP,B,PL; mypy с плагином pydantic), `requirements-dev.txt`
|
||||||
|
= `-r requirements.txt` + ruff, mypy, pytest, pytest-asyncio, pytest-env, httpx, jsonschema; `Makefile`: `venv`
|
||||||
|
(python3.11), `lint`, `test`, `test-integration`, `check`, `check-full`, `up`; проверка: `make venv && make lint` зелёные
|
||||||
|
- [ ] 2.2 `Dockerfile` (`python:3.11-slim`), `.env.example`, `.env.test`; проверка: `docker build -t tabular-parser .` успешен
|
||||||
|
|
||||||
|
## 3. Контракт
|
||||||
|
|
||||||
|
- [ ] 3.1 `api/contracts/` — копии трёх схем + `examples/` из `../docs/contracts`; `src/contract/` — pydantic-модели
|
||||||
|
(`RecognitionRequest`, `RecognitionResultMessage` со статусами `processing | done | needs_check | error`,
|
||||||
|
`RecognitionResult`, `OsvDocument`, `StatementDocument`, деньги как `Decimal` ↔ строка); `tests/unit/test_contract.py`
|
||||||
|
— идентичность с docs (skip без docs), валидация примеров, round-trip модели → JSON → схема; проверка: тесты зелёные
|
||||||
|
|
||||||
|
## 4. Воркер и парсер-заглушка
|
||||||
|
|
||||||
|
- [ ] 4.1 `src/parser/__init__.py`: протокол `Parser`, `ParseOutcome`, `NullParser` (`NOT_IMPLEMENTED`); `api/rules/README.md`;
|
||||||
|
`tests/unit/test_null_parser.py`; проверка: заглушка возвращает код и сообщение, не трогая входные байты
|
||||||
|
- [ ] 4.2 `src/core/clients.py`: `S3Storage.get_bytes(bucket, key)`, `put_json(bucket, key, obj)`; `src/core/nats.py`:
|
||||||
|
подключение (с/без nkeys, автопереподключение), `subscribe_requests(queue="tabular-parser", cb)`,
|
||||||
|
`publish(subject, payload, msg_id)` с повторами; проверка: unit-тесты с фейковым соединением; интеграционный тест
|
||||||
|
подключения к compose-NATS без JetStream и получения сообщения с заголовком
|
||||||
|
- [ ] 4.3 `src/core/worker.py`: `on_request(msg)`: валидация → множество `job_id` в работе/обработано (LRU) → ack `processing`
|
||||||
|
→ очередь; рабочая корутина: S3 get → `Parser` → S3 put результата → конверт → publish; таблица ошибок D-5;
|
||||||
|
`metrics.duration_ms`; запуск/остановка в lifespan при `NATS_ENABLED`; `/healthcheck.nats`; проверка: unit-тесты с
|
||||||
|
фейками — сценарии spec (ack раньше результата, повторный запрос, NOT_IMPLEMENTED, FILE_READ_ERROR, SCHEMA_MISMATCH без
|
||||||
|
ack, подмена парсера → `done`, повтор публикации)
|
||||||
|
- [ ] 4.4 `tests/integration/test_roundtrip.py` (маркер `integration`): положить файл в MinIO `uploads/…`, опубликовать
|
||||||
|
`request-tabular.json`, собрать сообщения `recognition.result`: первое — `processing`, второе — `error NOT_IMPLEMENTED`
|
||||||
|
с правильными `Nats-Msg-Id`; повторная публикация запроса даёт только ещё один ack; проверка: зелёный против compose
|
||||||
|
|
||||||
|
## 5. Проверки и завершение
|
||||||
|
|
||||||
|
- [ ] 5.1 `make check-full`: `make check` + `pytest -m integration` + `docker build`; проверка: зелёный против compose docs
|
||||||
|
на ветке `feat/1-slice-0-skeleton`
|
||||||
|
- [ ] 5.2 Прогон DoD: `make up` → `make check-full` → ручная проверка из `docs/dev/README.md` («проверка окружения»);
|
||||||
|
`openspec validate slice-0-skeleton --strict`; вывод `make check-full` — в описание PR
|
||||||
@ -7,7 +7,7 @@ context: |
|
|||||||
../docs/context/05-domain-rules.md → страницы ТЗ в ../docs/source/tz (черновик, старые имена v4).
|
../docs/context/05-domain-rules.md → страницы ТЗ в ../docs/source/tz (черновик, старые имена v4).
|
||||||
Открытые вопросы — ../docs/context/07-open-questions.md; план срезов — ../docs/context/09-delivery-plan.md.
|
Открытые вопросы — ../docs/context/07-open-questions.md; план срезов — ../docs/context/09-delivery-plan.md.
|
||||||
Фикстуры — ../fixtures (реальные данные, не спецификация формата).
|
Фикстуры — ../fixtures (реальные данные, не спецификация формата).
|
||||||
Стек: Python 3.12, FastAPI, SQLAlchemy 2 async + Alembic, PostgreSQL, pydantic v2, NATS JetStream, S3 (MinIO),
|
Стек: Python 3.11, FastAPI, SQLAlchemy 2 async + Alembic, PostgreSQL 16, pydantic v2, NATS без JetStream (ack и повторы — на уровне приложения), S3 (MinIO, miniopy-async),
|
||||||
loguru; фронт — React + TypeScript, rsbuild, antd, Redux Toolkit, biome. Язык документов и коммитов — русский,
|
loguru; фронт — React + TypeScript, rsbuild, antd, Redux Toolkit, biome. Язык документов и коммитов — русский,
|
||||||
идентификаторы — английские, как в DBML.
|
идентификаторы — английские, как в DBML.
|
||||||
|
|
||||||
@ -20,7 +20,7 @@ rules:
|
|||||||
- Любое допущение по открытому вопросу помечать ASSUMPTION(OQ-nn)
|
- Любое допущение по открытому вопросу помечать ASSUMPTION(OQ-nn)
|
||||||
specs:
|
specs:
|
||||||
- Сценарии на реальных фикстурах из ../fixtures, синтетика — только для форматов, которых там нет
|
- Сценарии на реальных фикстурах из ../fixtures, синтетика — только для форматов, которых там нет
|
||||||
- Для парсеров: ни одного требования, завязанного на букву колонки, номер строки или имя листа
|
- "Для парсеров: ни одного требования, завязанного на букву колонки, номер строки или имя листа"
|
||||||
design:
|
design:
|
||||||
- Вычисляемые объекты консолидации (сводная ОСВ, пары ВГО, шахматка) — чистые функции в domain/, без ORM-таблиц
|
- Вычисляемые объекты консолидации (сводная ОСВ, пары ВГО, шахматка) — чистые функции в domain/, без ORM-таблиц
|
||||||
- Деньги — Decimal / numeric(18,2); единицы измерения (руб. / тыс. руб.) указывать явно
|
- Деньги — Decimal / numeric(18,2); единицы измерения (руб. / тыс. руб.) указывать явно
|
||||||
@ -37,4 +37,4 @@ operations:
|
|||||||
- После изменений прогонять линтеры и тесты репозитория; для web — tsc, biome, rsbuild build
|
- После изменений прогонять линтеры и тесты репозитория; для web — tsc, biome, rsbuild build
|
||||||
archive:
|
archive:
|
||||||
guidance:
|
guidance:
|
||||||
- Перед архивированием: DoD среза из ../CLAUDE.md выполнен, открытые вопросы занесены в 07-open-questions.md
|
- "Перед архивированием: DoD среза из ../CLAUDE.md выполнен, открытые вопросы занесены в 07-open-questions.md"
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user