Парсер сайтов на заказ в Новосибирске

Расписание запусков и четыре часа разницы

Сбор данных почти всегда идёт по расписанию, и часовой пояс здесь имеет значение. Если парсер запускается в московскую ночь, в Новосибирске это уже утро, и свежие данные могут опоздать к началу рабочего дня. Поэтому запуски я ставлю так, чтобы к вашему утру выгрузка была готова: прогон идёт в местную ночь, а к началу смены таблица и уведомления уже на месте. Созвоны мы ставим на вашу первую половину дня, у меня это раннее утро. Переписка в Telegram идёт по ходу дня и не привязана к сдвигу.

Какие данные собирают в регионе

Новосибирск это крупный распределительный центр, поэтому запросы смещены в сторону опта и открытых закупок. Собираются публичные страницы закупочных площадок, прайсы оптовых продавцов, открытые объявления по перевозкам и технике. Отдельная группа задач это сведение одной и той же номенклатуры у разных поставщиков: названия у всех свои, артикулы не совпадают, и без нормализации сравнить цены невозможно. Эту часть я обычно делаю вместе с парсером, иначе данные остаются нечитаемыми.

• 1открытые публикации закупочных площадок по категориям
• 2оптовые прайсы с публичных страниц поставщиков
• 3открытые объявления по технике и перевозкам
• 4нормализация номенклатуры и сопоставление позиций
• 5история цен с разбивкой по неделям

Правила, которых я придерживаюсь

Собираю только открытые данные, доступные любому посетителю без входа в аккаунт. Закрытые разделы, личные кабинеты и чужие учётные записи я не затрагиваю, инструменты для снятия технических ограничений не делаю. Персональные данные частных лиц в сбор не беру. Нагрузку держу умеренной: паузы между запросами, ограничение числа параллельных обращений.

• 1только публично доступные страницы
• 2никакого доступа под чужими учётными записями
• 3паузы между запросами и лимит параллельности
• 4логи каждого прогона с числом обработанных страниц

Объём данных и где он хранится

Крупные оптовые каталоги дают десятки и сотни тысяч строк за прогон, и за год история становится серьёзной базой. Хранить всё в одной таблице Excel бессмысленно, поэтому основное место данных это PostgreSQL, а таблицы формируются как срезы под конкретный вопрос. Старые срезы можно сворачивать до недельных значений, чтобы база не росла бесконечно. Размещение обсуждаем заранее: сервер может быть вашим или арендованным, доступы в любом случае оформляются на вас.

• 1основное хранение в PostgreSQL
• 2таблицы как срезы под конкретный вопрос
• 3сворачивание старой истории до недельных значений
• 4размещение на вашем или арендованном сервере

Стоимость и передача проекта

Парсер стоит от 33 000 ₽, это нижняя граница для одного источника с понятной структурой. Чем больше источников и чем сложнее нормализация, тем выше итог, точную сумму я называю после разбора. Работа идёт этапами с оплатой по факту сдачи, промежуточный результат я показываю по ходу. Передаю исходный код и доступы с инструкцией по обновлению. Публично доступны ParserPro и Parser2GIS. Написать можно в Telegram @inter1ark, на vitoscarasel@gmail.com или через форму на сайте.