Ускорить формирование отчёта и снизить потребление памяти при батче 230 файлов #1

New Issue

aep · 2026-10-09T18:01:57+03:00

aep commented

2026-10-09 18:01:57 +03:00

Боевой прогон 230 XML-файлов занял 45 минут (100 файлов — 6 минут). Профиль на синтетике: ~84% времени строки отчёта уходит в build_fixed_row_by_index (перебор 2 374 кандидатов путей на строку, 7 млн вызовов _pick_value на 13 800 строк), остальное — xlsxwriter. Контейнер по raisa_config.yml — 0.25 CPU / 1 GB.

Цель:

Сократить стоимость строки отчёта в build_fixed_row_by_index без изменения содержимого отчёта (обратный индекс путь -> колонки или эквивалент; дифференциальный тест старое/новое).
Убрать лишние копии вложений в памяти (main._save_attachments) и проверить GC-настройки на длинном батче.
Прогресс в UI по файлам уже есть в ветке (d1daecd); убедиться, что колбэк не замедляет батч, добавить тест.
Бенчмарк-скрипт в репозитории для воспроизводимого замера (строк/с).

База: ветка migrate_to_opencloud.

Боевой прогон 230 XML-файлов занял 45 минут (100 файлов — 6 минут). Профиль на синтетике: ~84% времени строки отчёта уходит в build_fixed_row_by_index (перебор 2 374 кандидатов путей на строку, 7 млн вызовов _pick_value на 13 800 строк), остальное — xlsxwriter. Контейнер по raisa_config.yml — 0.25 CPU / 1 GB. Цель: - [ ] Сократить стоимость строки отчёта в build_fixed_row_by_index без изменения содержимого отчёта (обратный индекс путь -> колонки или эквивалент; дифференциальный тест старое/новое). - [ ] Убрать лишние копии вложений в памяти (main._save_attachments) и проверить GC-настройки на длинном батче. - [ ] Прогресс в UI по файлам уже есть в ветке (d1daecd); убедиться, что колбэк не замедляет батч, добавить тест. - [ ] Бенчмарк-скрипт в репозитории для воспроизводимого замера (строк/с). База: ветка migrate_to_opencloud.

aep referenced this issue from a commit

2026-10-09 18:15:20 +03:00

Pick report column values through a reverse path index

aep referenced this issue from a commit

2026-10-09 18:15:20 +03:00

Stream uploaded attachments to disk and cover the progress callback

aep referenced a pull request that will close this issue

2026-10-09 18:15:45 +03:00

Ускорить формирование отчёта: обратный индекс маппинга, потоковые вложения, тесты прогресса #2

Raykov-MS closed this issue

2026-10-12 17:55:21 +03:00

Sign in to join this conversation.