Разработка парсера сайтов в Самаре

Три типа задач, которые закрывает парсер

Запросы удобно делить по цели. Первый тип это разовый сбор: нужно один раз получить срез рынка по категории, чтобы понять ассортимент и уровень открытых цен. Второй это регулярный мониторинг: прогоны по расписанию, история, уведомления об изменениях. Третий это наполнение: когда собственный каталог нужно заполнить характеристиками и описаниями, и данные берутся из согласованных с правообладателем источников. Для каждого типа устройство кода разное, поэтому цель я уточняю до начала работы: регулярный мониторинг требует логов и устойчивости к сбоям, разовый сбор обходится дешевле.

• 1разовый срез рынка по категории
• 2регулярный мониторинг с историей и уведомлениями
• 3наполнение каталога характеристиками по согласованным данным
• 4сопоставление позиций между источниками
• 5выгрузка в Excel, базу или Google Таблицы

Один час разницы и ритм выгрузок

Самара идёт на час впереди МСК. Для созвонов это не играет роли, рабочий день почти полностью совпадает, а вот расписание прогонов имеет смысл привязать к местному времени, чтобы утренняя выгрузка приходила ровно к началу дня, а не часом раньше. То же касается уведомлений: ночные сообщения о скачке цены никому не нужны, поэтому оповещения привязываются к рабочим часам. Переписка по проекту идёт в Telegram, ответ в течение дня.

Открытые данные и ничего кроме

Парсер берёт страницы так, как их видит обычный посетитель: без авторизации и без попыток попасть в закрытые разделы. Я не делаю инструменты для снятия технических ограничений и не работаю с чужими личными кабинетами. Персональные данные частных лиц в выгрузку не включаю. Если данные доступны только после входа, корректный путь это официальный API источника или договорённость с его владельцем, подключить такой канал я помогу. Частота запросов подбирается так, чтобы сбор не создавал заметной нагрузки.

Сколько времени занимает прогон

Длительность зависит от числа страниц и от паузы между запросами, которую я ставлю намеренно. Небольшой каталог обходится за минуты, крупный за часы, и это нормально: ускорять за счёт отказа от пауз я не буду, потому что это создаёт нагрузку на источник. Если результат нужен быстрее, правильный путь это собирать не весь каталог, а только изменившиеся разделы, или уменьшить набор полей. Такие варианты я предлагаю на этапе оценки.

• 1длительность определяется числом страниц и паузами
• 2сбор только изменившихся разделов для ускорения
• 3сокращение набора полей как альтернатива
• 4отказ от ускорения за счёт нагрузки на источник

Стоимость и что получает заказчик

Парсер стоит от 33 000 ₽ за один источник с предсказуемой структурой. На цену влияют число источников, сложность разбора страниц, глубина нормализации и нужные интеграции. Работа идёт этапами с оплатой по факту сдачи каждого, промежуточный результат виден на каждом шаге. По завершении вы получаете исходный код, доступы и инструкцию по обновлению, это существенно, поскольку источники меняют вёрстку и парсер требует периодических правок. Публично доступны ParserPro и Parser2GIS. Для оценки напишите в Telegram @inter1ark, на vitoscarasel@gmail.com или через форму на сайте.