Парсер сайтов на заказ в Уфе

Разбор источника до написания кода

Любой проект начинается не с кода, а с изучения источника. Я смотрю, как отдаются страницы, есть ли постраничная навигация, подгружаются ли данные скриптами, нет ли официальной выгрузки, и что написано в правилах использования сайта. От этого зависит и цена, и то, насколько часто парсер будет требовать правок. Бывает, что после такого разбора я предлагаю не делать парсер: у источника есть открытый API, и подключение к нему выходит проще и устойчивее. Разбор входит в бесплатную оценку, вы получаете честную картину до оплаты.

Что обычно собирают заказчики из Уфы

Основная часть задач связана со снабжением и подрядом. Нужны открытые цены по материалам, перечни публичных предложений и структурированные перечни организаций по профилю. Отдельно встречается сбор открытых вакансий по направлению, чтобы понимать уровень предложений на рынке труда по своим специальностям.

• 1открытые цены на материалы и оборудование
• 2публичные каталоги и перечни предложений
• 3справочники организаций по виду деятельности
• 4открытые вакансии по направлению для анализа рынка труда
• 5регулярные прогоны с историей и уведомлениями

Повторный сбор и только изменения

Когда сбор идёт регулярно, обходить каждый раз весь каталог целиком обычно не нужно. Я настраиваю работу с изменениями: парсер запоминает, что было в прошлый раз, и в выгрузку попадают новые, изменившиеся и исчезнувшие записи отдельными отметками. Это уменьшает нагрузку на источник, сокращает время прогона и заметно упрощает работу человеку: вместо полной таблицы он смотрит короткий список того, что сдвинулось. Полный обход при этом остаётся, но делается реже, для сверки.

• 1отметки новых, изменившихся и исчезнувших записей
• 2короткий список изменений вместо полной таблицы
• 3сокращение времени прогона и нагрузки
• 4полный обход по расписанию для сверки

Устойчивость к сбоям и логи

Парсер, который работает регулярно, обязательно когда-нибудь падает: источник недоступен, страница изменилась, сеть подвела. Поэтому я закладываю повторные попытки, сохранение частичного результата и подробный лог каждого прогона: сколько страниц обработано, сколько записей обновлено, на каких адресах возникли ошибки. По логу видно, когда структура источника поменялась и парсер пора править. Без этого сбор однажды тихо перестаёт работать, а данные в таблице выглядят так, будто всё в порядке.

• 1повторные попытки при временной недоступности
• 2сохранение частичного результата прогона
• 3лог с числом страниц, записей и ошибок
• 4уведомление, если прогон завершился с ошибками

Рамки, цена и связь

Собираю только открытые данные без авторизации, закрытые разделы и чужие аккаунты не затрагиваю, снятием технических ограничений не занимаюсь, персональные данные частных лиц не собираю. Парсер стоит от 33 000 ₽ за один источник с понятной структурой, итог зависит от объёма и частоты. Работа этапами с оплатой по факту сдачи, исходники и доступы передаются с инструкцией по обновлению. Публичные работы: ParserPro, Parser2GIS. Telegram @inter1ark, почта vitoscarasel@gmail.com, форма на сайте.