Парсер сайтов на заказ в Воронеже

Как я оцениваю задачу до старта

Оценка начинается с того, что я открываю источник и смотрю, как он устроен. Отдаёт ли сервер готовую разметку или страница собирается скриптами, есть ли нормальная постраничная навигация, нет ли официальной выгрузки или открытого API, что указано в правилах использования. Эти детали определяют и цену, и будущую стоимость поддержки, поэтому я разбираю их до разговора о деньгах. Если выясняется, что официальный канал существует, я предлагаю подключиться к нему: такой вариант стабильнее парсинга и дешевле в обслуживании. Разбор входит в бесплатную оценку.

• 1как отдаются страницы: разметкой или скриптами
• 2есть ли официальная выгрузка или открытый API
• 3насколько стабильна структура источника
• 4какой объём поддержки понадобится дальше

Типовые задачи воронежских заказчиков

Чаще всего нужно либо сравнить открытые цены по позиции между поставщиками, либо получить структурированный перечень по категории. Реже требуется наполнение собственного каталога, и здесь я отдельно уточняю вопрос прав на описания и фотографии.

• 1открытые цены и наличие по позиции у разных продавцов
• 2структурированные перечни по категории товаров или услуг
• 3публичные справочники организаций с открытыми контактами
• 4наполнение своего каталога по согласованным данным
• 5регулярные прогоны с историей и уведомлениями

Качество данных, а не только их объём

Большая выгрузка сама по себе ничего не даёт: если в ней дубли, пустые поля и разные написания одной позиции, работать с ней невозможно. Поэтому в парсер я закладываю проверки: обязательные поля, нормализация названий и единиц измерения, отсечение явных ошибок источника, пометка подозрительных записей. Это та часть, которую обычно недооценивают при планировании, хотя именно она превращает сырой сбор в пригодную таблицу.

• 1проверка обязательных полей и отсечение пустых записей
• 2нормализация названий и единиц измерения
• 3удаление дублей в пределах прогона
• 4пометка подозрительных значений для проверки человеком

Как передаётся проект

В конце вы получаете не только работающий сбор, но и возможность его обслуживать. Это исходный код с понятной структурой, описание схемы базы, настроенное расписание и инструкция: как запустить вручную, где смотреть логи, что делать при ошибке разбора. Отдельно я отмечаю места, которые придётся править при изменении источника, чтобы разработчику не приходилось искать их заново. Такой набор позволяет вести проект без меня, а обращаться по желанию, отдельными задачами.

• 1исходный код и описание схемы базы
• 2настроенное расписание и ручной запуск
• 3инструкция по логам и типовым ошибкам
• 4пометки в коде на местах, зависящих от источника

Рамки, цена и как начать

Собираю только открытые данные без авторизации, закрытые разделы и чужие аккаунты не затрагиваю, инструменты для снятия технических ограничений не делаю, персональные данные частных лиц не собираю. Парсер стоит от 33 000 ₽ за один источник с предсказуемой структурой. Работа идёт этапами с оплатой по факту сдачи, исходники и доступы передаются с инструкцией по обновлению. Публичные работы: ParserPro, Parser2GIS, Bidzy. Напишите в Telegram @inter1ark, на vitoscarasel@gmail.com или через форму, ответ в течение дня.