Разработка парсера сайтов в Москве

Что собирают московские заказчики

Запросы из Москвы обычно связаны с конкурентной средой: в одной нише десятки продавцов, и цены двигаются каждую неделю. Парсер снимает открытые прайсы с публичных карточек товаров, фиксирует наличие, акции, условия доставки и складывает историю, по которой видно динамику. Вторая частая задача это сбор каталогов: характеристики товаров, описания, фотографии для наполнения своего магазина по согласованным с поставщиком данным. Третья это открытые объявления и публичные справочники организаций, когда нужно собрать рынок по категории и посмотреть на него целиком, а не выборочно.

• 1открытые цены и наличие с публичных страниц товаров
• 2история изменений по дням и неделям
• 3характеристики и описания для наполнения каталога
• 4открытые объявления по категории и району
• 5публичные справочники организаций по видам деятельности

Границы: только открытые данные

Я работаю исключительно с тем, что сайт отдаёт любому посетителю без авторизации. Я не делаю инструменты для доступа к закрытым разделам, личным кабинетам и чужим аккаунтам, не подбираю пароли и не занимаюсь снятием технических ограничений. Если нужные данные доступны только после входа, корректный путь это официальный API или договорённость с владельцем источника, и я помогу его подключить. Нагрузку на источник держу умеренной: запросы идут с паузами, в тех объёмах, которые не мешают работе сайта.

Вежливый сбор и нагрузка на источник

Большой московский рынок означает большие списки страниц, и тут легко переусердствовать. Я ставлю паузы между запросами, ограничиваю число параллельных обращений и не запускаю сбор чаще, чем нужно для задачи. Если данные обновляются раз в сутки, нет смысла ходить за ними каждый час. Такой режим снижает риск того, что источник ограничит доступ, и держит нагрузку на уровне обычного посетителя.

• 1паузы между запросами и лимит параллельности
• 2частота сбора под реальную скорость обновления данных
• 3повтор только изменившихся страниц
• 4ограничение глубины обхода по категориям

Куда попадают данные

Парсер бесполезен, если результат некуда положить. Поэтому вывод я проектирую вместе с заказчиком: кому и в каком виде нужны данные. Чаще всего это таблица для закупщика и база для автоматических отчётов одновременно.

• 1Excel или CSV с нужным набором колонок
• 2PostgreSQL с историей и срезами по датам
• 3выгрузка в Google Таблицы для общего доступа
• 4уведомление в Telegram при изменении цены сверх порога
• 5передача данных в вашу CRM или учётную систему

Цена и порядок работы

Парсер сайтов стоит от 33 000 ₽, это нижняя граница для одного источника с понятной структурой. Итог зависит от числа источников, частоты запусков и сложности разбора страниц. Работа идёт этапами с оплатой по факту сдачи каждого, промежуточный результат я показываю на каждом шаге. Исходный код и доступы передаются вам с инструкцией по обновлению, это важно: сайты меняют вёрстку, и парсер периодически требует правок. Из публичных работ по теме открываются ParserPro и Parser2GIS. Связь: Telegram @inter1ark, почта vitoscarasel@gmail.com, форма на сайте.