Парсер сайтов на заказ в Нижнем Новгороде

Артикулы, кроссы и почему это сложнее, чем кажется

Автомобильная и машиностроительная номенклатура устроена неудобно для машинного сбора: у детали есть оригинальный номер, несколько аналогов, разные написания с пробелами и дефисами, плюс название, которое каждый магазин пишет по-своему. Просто снять цены со страниц недостаточно, потом с этими данными невозможно работать. Поэтому в таких проектах половина усилий уходит не на сбор, а на приведение артикулов к единому формату и сопоставление позиций между источниками. Я делаю это сразу, вместе с парсером, иначе выгрузка остаётся набором строк, который никто не использует.

• 1нормализация артикулов: пробелы, дефисы, регистр
• 2связывание оригинальных номеров и аналогов
• 3сведение одной позиции между открытыми каталогами
• 4сравнительная таблица по цене и наличию
• 5история изменений по неделям

Какие источники подходят

Перед работой я смотрю источник вручную и говорю прямо, стоит ли с ним связываться. Иногда данные отдаются одним запросом и парсер получается простым и устойчивым, иногда страница собирается в браузере по частям, и сбор становится заметно дороже. Бывает и третий вариант: у источника есть открытая выгрузка или API, и тогда парсер не нужен вовсе, подключение к официальному каналу дешевле и надёжнее. Этот разбор входит в бесплатную оценку, по его итогам я называю и сложность, и примерный объём поддержки.

Чего в этой работе не будет

Беру только открытые страницы, доступные любому посетителю без входа в аккаунт. Закрытые разделы, партнёрские кабинеты и чужие учётные записи не трогаю, инструменты для снятия технических ограничений не делаю. Персональные данные частных лиц в выгрузку не попадают. Запросы идут с паузами и ограничением параллельности, чтобы сбор не создавал лишнюю нагрузку на источник.

Проверка результата на первом прогоне

Первый полный прогон мы разбираем вместе: я показываю выгрузку, вы выборочно сверяете десяток позиций с сайтом. Так ловятся расхождения в разборе полей, которые на выборке из трёх страниц не видны: перепутанные единицы, цена со скидкой вместо базовой, попавшая в название часть описания. После правок прогон повторяется. Этот шаг я закладываю в работу всегда, потому что молча сданная выгрузка с ошибкой в одном поле обесценивает весь проект.

• 1выборочная сверка позиций с источником
• 2проверка единиц измерения и базовой цены
• 3повторный прогон после правок
• 4фиксация правил разбора в документации к коду

Цена, этапы и передача

Парсер сайтов стоит от 33 000 ₽: нижняя граница для одного источника с понятной структурой. Нормализация номенклатуры, несколько источников и частые запуски увеличивают итог, точную сумму я называю после разбора. Работа идёт этапами с оплатой по факту сдачи каждого, промежуточный результат виден по ходу. Исходный код и доступы передаются вам с инструкцией по обновлению. Стек: Python, Node.js, PostgreSQL. Публичные работы: ParserPro, Parser2GIS, каталог MQB Восток. Связь: Telegram @inter1ark, vitoscarasel@gmail.com, форма на сайте.

• 1ручной разбор источника и оценка сложности
• 2прототип сбора и нормализации на выборке
• 3полный прогон, расписание, логирование
• 4выгрузки, интеграции, передача кода