Заказать парсер сайтов в Казани

С чего начинается парсер

Перед кодом я всегда смотрю источник руками: как устроены страницы, есть ли у сайта открытый API, выдаёт ли он данные одним запросом или подгружает их частями, какие ограничения описаны в правилах использования. Иногда на этом шаге выясняется, что парсер вообще не нужен: у источника есть официальная выгрузка, и подключиться к ней дешевле и надёжнее. Такой разбор я делаю до начала работы, он входит в бесплатную оценку. Если источник подходит для сбора, я сразу говорю, насколько стабильна его структура и как часто парсер может требовать правок.

Что будет в выгрузке, а чего не будет

Полезно договориться об этом до начала. В выгрузке будет ровно то, что опубликовано на странице: заявленные значения, характеристики, ссылка на источник и дата сбора. Чего на странице нет, того не появится: парсер не достраивает пропуски и не подставляет приблизительные цифры. Если поле у части записей пустое, оно останется пустым и будет помечено, а не заполнено похожим значением из соседней позиции. Это скучно, но иначе данным нельзя доверять.

• 1заявленные значения и характеристики со страницы
• 2ссылка на источник и дата сбора у каждой записи
• 3пустые поля остаются пустыми и помечаются
• 4никаких достроенных или приблизительных значений

Какие данные обычно нужны

Задачи из Казани распределяются между двумя группами: собрать рынок по категории и следить за изменениями. В первом случае нужен однократный полный сбор, во втором регулярные прогоны с историей.

• 1открытые объявления по категории с характеристиками
• 2публичные справочники организаций по видам деятельности
• 3открытые цены и условия у публичных продавцов
• 4туристические предложения и доступность по датам
• 5наполнение своего каталога по согласованным данным

Рамки сбора

Я собираю только то, что сайт отдаёт любому посетителю без авторизации. Закрытые разделы, личные кабинеты и чужие аккаунты не затрагиваю, инструменты для снятия технических ограничений не пишу. Персональные данные частных лиц в сбор не включаю, это отдельная правовая тема, и такие задачи я не беру. Нагрузку на источник держу умеренной: паузы между запросами и ограничение параллельных обращений, чтобы сбор не мешал работе сайта.

Формат выгрузки, цена и начало

Результат отдаётся в том виде, в котором с ним будут работать: Excel или CSV, таблица в PostgreSQL с историей, Google Таблицы для общего доступа, уведомление в Telegram по условию. Парсер стоит от 33 000 ₽ за один источник с понятной структурой, итог зависит от числа источников и частоты запусков. Работа идёт этапами с оплатой по факту сдачи, промежуточный результат я показываю на каждом. Исходники и доступы передаю с инструкцией. Публично доступны ParserPro и Parser2GIS. Для оценки напишите в Telegram @inter1ark или на vitoscarasel@gmail.com.

• 1разбор источника и проверка наличия официального API
• 2прототип сбора на выборке страниц
• 3полный сбор, расписание, логи
• 4выгрузки и передача кода заказчику