Парсер сайтов для бизнеса в Екатеринбурге

Задача снабжения: одна позиция у десяти поставщиков

Основная сложность в промышленном снабжении не в том, чтобы найти цену, а в том, чтобы понять, что две строки у разных поставщиков это один и тот же товар. Названия пишутся по-разному, артикулы не совпадают, единицы измерения расходятся. Я делаю парсер вместе со слоем сопоставления: он приводит названия к общему виду, вытаскивает ключевые параметры из описания и собирает сравнительную таблицу по позиции. Снабженец получает не сырой дамп страниц, а список предложений по одной позиции с ценой, наличием и ссылкой на источник.

• 1открытые прайсы и наличие с публичных страниц поставщиков
• 2приведение названий и единиц измерения к общему виду
• 3сравнительная таблица по одной позиции
• 4история цен для отслеживания динамики
• 5уведомление при изменении цены сверх заданного порога

Что я не делаю

Сбор идёт только по открытым страницам, которые источник показывает любому посетителю. Я не делаю доступ к закрытым разделам, личным кабинетам и партнёрским прайсам под чужими учётными записями, не подбираю пароли и не занимаюсь снятием технических ограничений. Если нужен закрытый прайс поставщика, правильный путь это запросить у него доступ или API, и подключить его я помогу. Персональные данные частных лиц в сбор не включаются.

Куда уходят данные и как это контролируется

Результат должен попадать туда, где с ним работают. Обычно это таблица для отдела снабжения и база для отчётов, иногда прямая выгрузка в 1С. Каждый прогон пишет лог, по которому видно, сколько страниц обработано и где сбор сломался: это важно, потому что источники регулярно меняют вёрстку.

• 1Excel или CSV с колонками под ваш шаблон
• 2PostgreSQL с историей и срезами по датам
• 3выгрузка в 1С или в учётную систему
• 4уведомления в Telegram по заданным условиям
• 5лог прогона с числом записей и ошибками

Почему ручной обход не масштабируется

Пока поставщиков пять, снабженец обходит их сайты сам и считает это нормальной работой. На двадцати поставщиках это уже половина дня, причём результат нигде не сохраняется: через месяц сравнить не с чем, а при смене сотрудника знание уходит вместе с ним. Парсер переводит эту рутину в воспроизводимую процедуру: один и тот же список, одни и те же поля, запись с датой. Человеческое время при этом уходит не на сбор, а на решение по цифрам.

• 1один согласованный список источников
• 2одинаковый набор полей в каждом прогоне
• 3запись истории с датой, а не разовый просмотр
• 4сохранение процедуры при смене сотрудника

Цена, этапы, контакты

Парсер сайтов стоит от 33 000 ₽ для одного источника с понятной структурой. Итог зависит от числа источников, глубины нормализации и интеграций. Работа этапами, оплата по факту сдачи каждого, результат виден по ходу. Исходный код и доступы передаются вам с инструкцией по обновлению, дальше поддержка отдельными задачами. Стек: Python, Node.js, PostgreSQL. Публичные работы: ParserPro, Parser2GIS, ИНКОМ-БЕТОН. Telegram @inter1ark, почта vitoscarasel@gmail.com.