Парсер сайтов на заказ в Санкт-Петербурге

Сбор без серых приёмов

Сразу про рамки, потому что это первый вопрос у большинства заказчиков. Парсер, который я делаю, берёт страницы так же, как их видит обычный посетитель: без авторизации, без подбора паролей, без попыток попасть в закрытые разделы. Я не делаю инструменты для снятия технических ограничений и не беру задачи, где нужно вытащить чужие персональные данные. Если информация доступна только зарегистрированным пользователям, нормальный путь это официальный API источника или прямая договорённость с его владельцем. Частоту запросов я держу умеренной, с паузами, чтобы сбор не превращался в нагрузку на сайт.

Типичные источники и данные

В Петербурге набор данных заметно отличается от промышленных регионов: много сервисного бизнеса и много информации, которая меняется по датам. Поэтому часть парсеров здесь работает не с ценами, а с расписаниями и доступностью.

• 1открытые цены и наличие товаров у публичных продавцов
• 2расписания, афиши и даты публичных мероприятий
• 3открытые каталоги поставщиков с характеристиками
• 4публичные объявления по аренде и услугам
• 5справочники организаций по районам города

Как выглядит результат

Данные без удобного вывода мало кому помогают, поэтому формат мы согласуем в начале. Закупщику нужна таблица с фильтрами, аналитику база с историей, руководителю короткое уведомление об отклонении. Я делаю ту комбинацию, которая реально будет использоваться, а не весь набор сразу. Запуск по расписанию ставится на нужную частоту, и каждый прогон пишет лог: сколько страниц обработано, сколько записей добавилось, где произошла ошибка. По логу видно, когда источник изменил структуру и парсер требует правки.

Как проверяется полнота сбора

Главный риск в парсинге не ошибка, которую видно, а тихая неполнота: собралось восемьдесят процентов страниц, и никто этого не заметил. Поэтому в каждый прогон я закладываю сверку: сколько позиций заявлено в списке категории и сколько фактически разобрано, сколько страниц вернули ошибку. Расхождение попадает в лог и при необходимости в уведомление. На первом прогоне мы вместе выборочно сверяем десяток записей с сайтом, чтобы убедиться, что поля разобраны правильно.

• 1сверка числа заявленных и разобранных позиций
• 2подсчёт страниц с ошибкой в каждом прогоне
• 3выборочная проверка записей на первом запуске
• 4уведомление при заметном расхождении

Условия и стоимость

Парсер сайтов начинается от 33 000 ₽ для одного источника с предсказуемой структурой. На цену влияют число источников, частота запусков, сложность разбора и необходимость интеграций. Работа по этапам, оплата по факту сдачи каждого, промежуточный результат виден по ходу. Исходники и доступы остаются у вас вместе с инструкцией по обновлению. Технологии: Python, Node.js, PostgreSQL. Публичные работы по теме: ParserPro, Parser2GIS. Для оценки напишите, какие источники нужны и в каком виде вы хотите получать данные: Telegram @inter1ark, vitoscarasel@gmail.com.

• 1разбор источников и проверка доступности данных
• 2прототип сбора на небольшой выборке
• 3полный сбор, расписание, логирование
• 4настройка выгрузок и передача кода