Парсер сайтов для компаний в Ростове-на-Дону

Открытые цены на сельхозпродукцию и технику

В аграрной торговле цена меняется быстро и публикуется разрозненно: часть у трейдеров на сайтах, часть в открытых сводках, часть в объявлениях. Собирать это вручную неудобно, и сравнения по неделям не остаётся. Парсер проходит по согласованному списку открытых источников, снимает цену, объём, базис и условия, сохраняет с датой. Дальше можно смотреть не отдельную цифру, а динамику и разброс между поставщиками. То же устройство работает для техники и запчастей: открытые предложения, характеристики, цена, наличие.

• 1открытые цены и условия у публичных продавцов
• 2характеристики техники и комплектующих
• 3публичные предложения по перевозкам и ставкам
• 4сохранение истории с датой каждого прогона
• 5сводная таблица с разбросом по источникам

Нормализация: главное после сбора

Сырые данные почти никогда не годятся для сравнения: единицы измерения разные, базис поставки указан по-разному, названия написаны произвольно. Я делаю отдельный слой приведения к общему виду, иначе таблица остаётся нечитаемой. Там же проверяются очевидные ошибки источника: нулевые цены, пустые поля, дубли одной позиции. Результат отдаётся уже пригодным для работы, с пометкой, какие записи выглядят сомнительно и требуют глаза человека.

Границы работы

В сбор попадает только то, что опубликовано открыто и доступно без входа в аккаунт. Закрытые разделы, личные кабинеты, чужие учётные записи и снятие технических ограничений в задачу не входят. Персональные данные частных лиц не собираю. Нагрузка на источники держится умеренной: паузы между запросами и ограничение параллельных обращений.

• 1только публичные страницы без авторизации
• 2никаких действий под чужими учётными записями
• 3без сбора персональных данных частных лиц
• 4умеренная частота запросов к источнику

Сезонность и частота прогонов

В аграрной теме частота сбора имеет смысл разная в разные месяцы: в период активной торговли цены двигаются ежедневно, в межсезонье неделями стоят на месте. Поэтому расписание я делаю настраиваемым, чтобы вы могли менять частоту без правки кода. Лишние прогоны это не только нагрузка на источник, но и мусор в истории: одинаковые записи за каждый день усложняют чтение динамики. Разумный вариант обычно такой: частый сбор по ключевым позициям и редкий по остальному списку.

• 1настраиваемая частота без правки кода
• 2частый сбор по ключевым позициям
• 3редкий обход по остальному списку
• 4свёртка одинаковых значений в истории

Цена, этапы, контакты

Парсер сайтов стоит от 33 000 ₽: нижняя граница для одного источника с понятной структурой. Несколько источников, нормализация и частые прогоны увеличивают сумму, точный расчёт я называю после разбора. Работа идёт этапами с оплатой по факту сдачи каждого, промежуточный результат я показываю по ходу. Исходный код и доступы передаю вместе с инструкцией по обновлению. Стек: Python, Node.js, PostgreSQL. Публичные работы: ParserPro, Parser2GIS, Bidzy. Написать можно в Telegram @inter1ark, на vitoscarasel@gmail.com или через форму на сайте, отвечаю в течение дня.