Парсер сайтов в Омске: сбор открытых данных

Три часа сдвига и когда запускать сбор

Омск опережает Москву на три часа, и для регулярного сбора это важнее, чем для созвонов. Прогон логично ставить в омскую ночь, чтобы к началу вашего рабочего дня таблица была собрана, а источники в это время были менее загружены. Уведомления привязываются к местным рабочим часам, иначе сообщение о скачке цены придёт глубокой ночью. Созвоны ставим на вашу первую половину дня, у меня это раннее утро. Текстовые вопросы в Telegram решаются в течение дня независимо от сдвига.

• 1прогон в местную ночь, готовая таблица к началу смены
• 2уведомления только в рабочие часы по Омску
• 3созвоны на вашу первую половину дня
• 4переписка в Telegram в течение рабочего дня

Что обычно нужно собрать

Запросы делятся примерно на две части: сравнение открытых цен и сбор структурированных перечней. В первом случае важна история и регулярность, во втором полнота и аккуратность разбора полей. Цель я уточняю до начала работы, потому что от неё зависит и устройство кода, и цена.

• 1открытые прайсы и наличие у публичных продавцов
• 2каталоги оборудования с характеристиками
• 3публичные справочники организаций по виду деятельности
• 4открытые объявления по категории и региону
• 5сведение одной позиции между источниками

Где заканчивается парсинг и начинается аналитика

Парсер отвечает за одно: получить открытые данные и положить их в понятном виде. Дальше с ними нужно что-то делать, и здесь часто ожидают от парсера лишнего. Я честно разделяю задачи: сбор это одна работа, отчёты, дашборды и правила принятия решений другая. Второе тоже можно сделать, но это отдельный объём и отдельная цена. Если нужен только сбор и выгрузка в таблицу, не стоит переплачивать за аналитический контур, которым никто не будет пользоваться.

• 1сбор и выгрузка: базовая часть работы
• 2нормализация и проверки качества данных
• 3отчёты и дашборды поверх собранного: отдельная задача
• 4правила уведомлений по условиям, которые вы задаёте

Где запускается парсер

Парсеру нужно место для работы: обычно это недорогой сервер, который включается по расписанию и пишет результат в базу. Доступы оформляются на вас, запуск настраивается так, чтобы его можно было вызвать и руками, если данные понадобились срочно. Я показываю, как это делается, и описываю в инструкции.

Рамки, стоимость, передача

В сбор попадают только открытые страницы без авторизации. Закрытые разделы, личные кабинеты и чужие учётные записи не затрагиваю, снятием технических ограничений не занимаюсь, персональные данные частных лиц не собираю. Парсер стоит от 33 000 ₽ за один источник с понятной структурой, итог зависит от объёма и частоты запусков. Работа этапами с оплатой по факту сдачи, исходники и доступы передаются с инструкцией по обновлению. Публичные работы: ParserPro, Parser2GIS. Telegram @inter1ark, почта vitoscarasel@gmail.com.

• 1разбор источников и проверка наличия официальной выгрузки
• 2прототип сбора на небольшой выборке
• 3полный прогон, расписание по местному времени, логи
• 4выгрузки и передача кода заказчику