Andrey Epifancev 68ffc5bc24 feat(normalizer): точка — разделитель тысяч в суммах OCR (AURORA-1405, #37)
«4.200» разбирался как 4.200 с тремя знаками и отсекался решением №30
(amount = null, текст в string_value). Теперь точки строго через три цифры
([+-]?[1-9]\d{0,2}(\.\d{3})+, скобки на всю строку) — разделители тысяч,
как для запятой (#35): 4.200 -> 4200, (4.200) -> -4200, 1.234.567 -> 1234567,
verified не страдает. Дроби и смешанные записи (1.234,56) — как раньше.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-16 13:29:09 +04:00

98 lines
5.8 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

"""Суммы из OCR-ячеек (§11.1 п. 7): перенос `_parse_amount`/`_is_blank` старого ядра."""
from decimal import Decimal
import pytest
from src.normalizer.ocr.amounts import ParsedAmount, is_blank, parse_amount
@pytest.mark.parametrize(
("raw", "amount", "verified"),
[
("13 070", Decimal("13070"), True),
("(6032409)", Decimal("-6032409"), True),
("(7744536}", Decimal("7744536"), False), # закрывающая скобка не распознана: минус не ставится (решение №12)
("1 234,56", Decimal("1234.56"), True),
("1.234.567", Decimal("1234567"), True), # точки строго через три цифры — разделители тысяч (AURORA-1405, #37)
("30127", Decimal("30127"), True),
("211(1 |", Decimal("2111"), False),
("не ****", None, False),
("", None, True),
("--", None, True), # прочерк: ничего не отброшено, суммы нет (NULL)
(":", None, False),
# несколько точек: удаляются ВСЕ точки, десятичная часть теряется (`1.234,56` — не 1234.56), всегда не verified
("1.234,56", Decimal("123456"), False),
("1,234.56", Decimal("123456"), False),
# запятая-разделитель тысяч (AURORA-1405, scan-gateway#35): удаляется до замены запятой на точку, verified=True
("1,234", Decimal("1234"), True),
("4,200", Decimal("4200"), True),
("(4,200)", Decimal("-4200"), True),
("1,234,567", Decimal("1234567"), True),
("-4,200", Decimal("-4200"), True),
("+4,200", Decimal("4200"), True),
("(-4,200)", Decimal("-4200"), True),
("4,2", Decimal("4.2"), True),
("12,34", Decimal("12.34"), True),
("1,23", Decimal("1.23"), True),
# не тысячи: больше двух знаков после запятой остаётся десятичным — `Money` отсекает `document._value` (№30)
("0,125", Decimal("0.125"), True),
("12,3456", Decimal("12.3456"), True),
("4,200,", Decimal("4200"), False), # хвостовая запятая: правило не применяется (две точки удалены, как раньше)
("(4,200}", Decimal("4.200"), False), # нет пары скобок: правило не применяется, минус не ставится
# скобки не на всю строку — правило тысяч не применяется, прежний разбор (запятая → точка)
("(4,200) руб", Decimal("-4.200"), False),
("abc(4,200)", Decimal("-4.200"), False),
("(4,200)x", Decimal("-4.200"), False),
("(4,200)(1,000)", Decimal("-4.200"), False),
("1,234(5,678)", Decimal("-5.678"), False),
("((4,200))", Decimal("-4.200"), True),
("01,234", Decimal("1.234"), True), # ведущий ноль — не тысячи
("4,2000", Decimal("4.2000"), True),
("1, 234", Decimal("1234"), True), # пробелы убираются первыми
# точка-разделитель тысяч (AURORA-1405, scan-gateway#37): то же правило, что для запятой, verified=True
("4.200", Decimal("4200"), True),
("837.994", Decimal("837994"), True),
("(4.200)", Decimal("-4200"), True),
("-4.200", Decimal("-4200"), True),
("+4.200", Decimal("4200"), True),
("(-4.200)", Decimal("-4200"), True),
("1.234", Decimal("1234"), True),
("100.000", Decimal("100000"), True),
("1. 234", Decimal("1234"), True), # пробелы убираются первыми
# не тысячи: не три цифры после точки — десятичная дробь, как раньше
("4.2", Decimal("4.2"), True),
("4.20", Decimal("4.20"), True),
("12.34", Decimal("12.34"), True),
("1.2345", Decimal("1.2345"), True),
("0.125", Decimal("0.125"), True), # ведущий ноль — не тысячи
("01.234", Decimal("1.234"), True),
("1234.567", Decimal("1234.567"), True), # четыре цифры до точки — не группа тысяч
# смешанные разделители и прочий мусор — правило не применяется (R-1): прежний разбор
("1.234,567", Decimal("1234567"), False),
("1,234.567", Decimal("1234567"), False),
("1.234.56", Decimal("123456"), False),
("4.200.", Decimal("4200"), False), # хвостовая точка
("(4.200}", Decimal("4.200"), False), # нет пары скобок: правило не применяется, минус не ставится
("(4.200) руб", Decimal("-4.200"), False),
("abc(4.200)", Decimal("-4.200"), False),
("(4.200)(1.000)", Decimal("-4.200"), False),
("1.234(5.678)", Decimal("-5.678"), False),
# №13: скобки без содержимого — не сумма, но и не «неразобранный текст»
("()", None, True),
("( )", None, True),
("(.)", None, True),
("(+5)", Decimal("-5"), True), # в скобках знак заменяется минусом
],
)
def test_parse_amount(raw: str, amount: Decimal | None, verified: bool) -> None:
assert parse_amount(raw) == ParsedAmount(amount, verified)
@pytest.mark.parametrize(
("raw", "expected"),
[("", True), ("-", True), ("—", True), (" – ", True), ("0", False), ("x", False)],
)
def test_is_blank(raw: str, expected: bool) -> None:
assert is_blank(raw) is expected