[IDEA]: Сбор дополнительных данных #335

Activity

1. xamzov

   added

   enhancementNew feature or requestNew feature or request

   on Sep 29, 2026
2. eminsk commented on Sep 30, 2026

   

   eminsk

   on Sep 30, 2026

   Contributor

   More actions

   Привет @xamzov!

   Реализовал этот функционал в PR #337:

   • Парсер теперь умеет забирать все характеристики и параметры объекта (включая раздел «О помещении»: вход, площадь, этаж, отделка и др.);
   • Данные экспортируются в Excel в отдельную колонку «Параметры» в структурированном виде (Вход: с улицы; Общая площадь: 120 м²; ...);
   • Управляется параметром parse_params = true в config.toml (или попутно при парсинге просмотров/описания без лишних сетевых запросов).

   Как только автор (@Duff89) посмотрит и сольёт пулл-реквест, функционал появится в основном проекте.
3. xamzov commented on Oct 1, 2026

   

   xamzov

   on Oct 1, 2026

   Author

   More actions

   Привет @eminsk ! Спасибо!

   Подскажи, пожалуйста:

   1. PR feat: сбор параметров и характеристик объявлений («О помещении» и др.) (fixes #335) #337 можно просто применить к текущей версии проекта без дополнительных изменений?
   2. Он собирает параметры из карточки объявления без отдельного запроса к странице каждого объявления?
   3. Правильно ли я понимаю, что params остаётся динамическим словарём и туда попадут любые доступные характеристики Avito, а не только заранее заданные поля?

   Если PR уже полностью готов и протестирован, буду благодарен, если подскажешь, как лучше его подключить к текущей версии проекта.
4. eminsk commented on Oct 1, 2026

   

   eminsk

   on Oct 1, 2026

   Last edited by eminsk

   Contributor

   More actions

   Привет @xamzov! Рад помочь!

   Отвечаю подробно по твоим пунктам:

   1. Да, полностью совместим без каких-либо доработок. PR сделан ровно поверх официального релиза v3.2.23. Никаких сторонних библиотек или изменений вручную ставить не нужно — всё уже заложено в кодовой базе.

   2. По поводу запросов к карточкам:

      • В общей поисковой выдаче (каталоге) Авито блок «О помещении» и полные характеристики физически не отдает — они есть только в данных самой карточки.
      • Но в актуальной версии парсера для карточек используется легковесный мобильный JSON API (fetch_item_data), а не тяжёлая загрузка всей страницы через браузер.
      • Главное: если у тебя уже включен сбор просмотров (parse_views = true) или описания (parse_description = true), то параметры забираются попутно из того же самого запроса. Никаких повторных или лишних сетевых вызовов не делается. Если же просмотры и описание выключены, парсер обращается к карточке один раз только за характеристиками.

   3. Да, абсолютно верно — словарь динамический. Я специально не стал жестко зашивать конкретные поля под одну категорию. Метод _extract_params на лету обходит все блоки характеристик (itemParams, aboutPremises, aboutRoom, parameters и др.) и вытаскивает любые доступные пары «ключ — значение»:

      • Для помещений: вход, площадь, этаж, отделка, отопление, высота потолков;
      • Для авто: пробег, коробка, двигатель;
      • Для техники: процессор, память и т.д.
        В Excel они автоматически выгружаются в новую колонку «Параметры» в читаемом виде через точку с запятой.

   ---

   Как запустить прямо сейчас (не дожидаясь мержа автора):

   Поскольку в тикете ты указал способ запуска EXE на Windows, я собрал готовый релиз:

   📦 Скачать AvitoParser v3.2.24 (сборка EXE)

   Инструкция:

   1. Скачай архив AvitoParser_3.2.24.zip со страницы релиза и распакуй в удобную папку.
   2. Запусти AvitoParser.exe и в блоке «⚙️ Поведение парсера» просто отметь галочкой:
      ☑️ Парсить характеристики
      (либо в config.toml установи parse_params = true).
   3. Нажми «Старт». В итоговой таблице Excel колонка «Параметры» заполнится всеми характеристиками помещений.

   (Если удобнее запускать из исходников через Git: gh pr checkout 337)