Разработка парсера сайтов в Перми

Выгрузка в ту систему, где работают

Самый частый промах в таких проектах это сделать сбор и не додумать, куда данные попадут. Таблица, которую нужно открыть отдельно и сопоставить руками, через месяц перестаёт использоваться. Поэтому формат вывода мы согласуем в начале: если снабжение живёт в 1С, выгрузка идёт туда, если расчёты ведутся в Excel, таблица делается строго под существующий шаблон с теми же колонками и порядком. Параллельно данные пишутся в базу с историей, чтобы можно было посмотреть динамику, даже если рабочий файл перезаписывается каждый прогон.

• 1передача данных в 1С по согласованному формату
• 2Excel строго под ваш действующий шаблон
• 3база PostgreSQL с историей по датам
• 4уведомление в Telegram по заданному условию
• 5выгрузка в Google Таблицы для общего доступа

Сколько источников брать сразу

Соблазн велик: раз делаем, то давайте все двадцать поставщиков. На практике разумнее начать с трёх или четырёх, которые закрывают основную часть закупки, и посмотреть, как данные используются. Добавление источника в уже работающий парсер стоит заметно дешевле, чем первый запуск, так что ничего не теряется. Зато сразу видно, какие поля реально нужны, а какие собирались на всякий случай и никем не открывались.

• 1старт с трёх или четырёх ключевых источников
• 2добавление остальных отдельными задачами
• 3проверка, какие поля действительно используются
• 4экономия на том, что не понадобилось

Устойчивость регулярного сбора

Парсер, который запускается каждый день, сталкивается со сбоями постоянно: источник лёг, страница изменилась, сеть пропала. Я закладываю повторные попытки, сохранение частичного результата и лог каждого прогона с числом обработанных страниц и перечнем ошибок. Отдельно настраивается уведомление, если прогон завершился неудачно. Без этого сбор однажды тихо останавливается, а таблица продолжает выглядеть заполненной старыми данными, и об этом узнают случайно.

• 1повторные попытки при временной недоступности источника
• 2сохранение частичного результата прогона
• 3лог с числом страниц, обновлённых записей и ошибок
• 4уведомление о неудачном прогоне

Два часа разницы

Пермь опережает МСК на два часа. Прогоны я ставлю по местному времени, чтобы данные были готовы к началу вашей смены, а уведомления приходили в рабочие часы. Созвоны ставим на вашу первую половину дня, у меня это утро, и пересечение рабочего времени остаётся широким. По ходу работы вопросы решаются перепиской в Telegram в течение дня.

Что не входит, цена и контакты

Сбор идёт только по открытым страницам, доступным любому посетителю без авторизации. Закрытые разделы, партнёрские кабинеты, чужие учётные записи и снятие технических ограничений в работу не входят, персональные данные частных лиц я не собираю. Парсер стоит от 33 000 ₽ за один источник с понятной структурой, итог зависит от числа источников, частоты и интеграций. Работа этапами с оплатой по факту сдачи, код и доступы передаются с инструкцией. Публичные работы: ParserPro, Parser2GIS, ИНКОМ-БЕТОН. Telegram @inter1ark, vitoscarasel@gmail.com.

• 1разбор источника и оценка сложности до оплаты
• 2прототип сбора на выборке страниц
• 3полный прогон, расписание, логирование
• 4настройка обмена с 1С и передача кода