Парсер сайтов на заказ в Волгограде

С чего начать, если парсера ещё не было

Разумный первый шаг это взять один источник и один набор полей, а не пытаться сразу охватить весь рынок. Узкая версия делается быстрее, стоит дешевле и сразу показывает, нужны ли вообще эти данные в работе. Часто после первого месяца выясняется, что половина задуманных полей не используется, зато не хватает двух других, и расширять проект получается осмысленно. Я закладываю структуру кода так, чтобы добавление источников потом не требовало переписывания всего заново.

• 1один источник и минимальный набор полей на старте
• 2проверка, нужны ли эти данные в реальной работе
• 3расширение по факту, без переделки основы
• 4добавление источников отдельными задачами

Что можно собрать

Набор зависит от того, что источник публикует открыто. Обычно это цена, наличие, единица измерения, условия отгрузки и характеристики позиции, иногда срок поставки, если он указан на странице. Чего на странице нет, того не будет и в выгрузке: парсер не додумывает значения и не подставляет приблизительные цифры.

• 1открытые цены и наличие с публичных страниц
• 2характеристики и описания позиций
• 3перечни предложений по категории
• 4публичные справочники организаций с открытыми контактами
• 5история значений по датам прогонов

Честно о поддержке

Парсер это не разовая покупка, которая работает годами без вмешательства. Источники меняют вёрстку, добавляют новые поля, переносят разделы, и сбор ломается. Поэтому я передаю исходный код и инструкцию по обновлению, чтобы правку мог сделать любой разработчик, в том числе ваш. Если своих сил нет, я остаюсь доступен для доработок отдельными задачами по факту, без обязательного месячного платежа. Про это лучше знать заранее, чем обнаружить через полгода.

• 1исходный код и доступы у заказчика
• 2инструкция по обновлению и перезапуску
• 3логи, по которым видно момент поломки
• 4доработки отдельными задачами по факту

Время прогона и объём страниц

Сколько идёт сбор, зависит от числа страниц и от паузы между запросами. Для списка на пару сотен позиций это минуты, для крупного каталога часы. Я не ускоряю прогон за счёт отказа от пауз, потому что это нагрузка на источник. Если нужно быстрее, собираем только изменившиеся разделы или сокращаем набор полей, оба варианта обсуждаются на оценке.

• 1время зависит от числа страниц и паузы между запросами
• 2сбор только изменившихся разделов
• 3сокращение набора полей
• 4запуск по расписанию и вручную при необходимости

Рамки сбора, цена и связь

Беру только открытые данные, которые источник отдаёт любому посетителю без входа в аккаунт. Закрытые разделы, личные кабинеты, чужие учётные записи и снятие технических ограничений в работу не входят, персональные данные частных лиц не собираю. Запросы идут с паузами, чтобы не создавать лишнюю нагрузку. Парсер стоит от 33 000 ₽ за один источник с понятной структурой, точную сумму называю после разбора. Работа идёт этапами с оплатой по факту сдачи каждого. Публичные работы: ParserPro, Parser2GIS, Stremynki.ru. Напишите в Telegram @inter1ark, на vitoscarasel@gmail.com или через форму на сайте.