Парсер сайтов
Работа, которую человек делает вкладками и копипастом, выполняется по расписанию и без ошибок. Результат приходит готовой таблицей.
- Срок
- 1–4 недели
- Стоимость
- от 50 000 ₽
- Направление
- Боты, парсеры, интеграции
Кому подходит
Отделам продаж, аналитикам, закупщикам и всем, кто регулярно собирает одни и те же данные руками.
Технологии
- Python
- Playwright
- FastAPI
- Celery
- PostgreSQL
- Pandas
Что входит в работу
- 1разбор источника и выбор способа сбора
- 2сбор нужных полей с проверкой полноты
- 3обход ограничений: паузы, прокси, смена отпечатков
- 4дедупликация и приведение к единому виду
- 5выгрузка в Excel, CSV, базу или по API
- 6запуск по расписанию и уведомления о сбоях
- 7интерфейс запуска для человека без командной строки
Подробности
Данные ломаются, и это нормально
Сайты меняют вёрстку, и парсер, написанный один раз навсегда, не существует. Правильный подход это проверки на выходе: если полей стало меньше обычного или записи пустые, приходит уведомление, а не тихая тишина с пустым файлом.
Скорость против блокировок
Жадный парсер блокируют за час. Аккуратные паузы, разумная параллельность и ротация адресов дают меньше записей в минуту, но собирают весь объём без остановок. В сумме медленный подход оказывается быстрее.
Кто будет запускать
Если инструментом пользуется менеджер, а не разработчик, нужен простой интерфейс: окно с полями и кнопкой или запуск по расписанию с отправкой файла на почту. Скрипт в командной строке проработает ровно до первого отпуска автора.
Похожие работы
Частые вопросы
1Это законно?
Сбор общедоступных данных без обхода защиты и без создания нагрузки на чужой сервер обычно не нарушает закон. Проблемы начинаются при копировании охраняемого контента, обходе авторизации и сборе персональных данных. Разбираем это до начала работ.
2Что если сайт защищён капчей?
Решается в каждом случае по-своему: иногда достаточно правильных пауз и заголовков, иногда нужен официальный API источника. Оцениваю сложность после разбора конкретного сайта.
Нужен парсер сайтов?
Отвечу в течение дня, предложу решение, назову сроки и стоимость. Консультация и оценка бесплатны.
Смежные услуги
Запросы страницы: разработка парсера · парсер на заказ · парсинг сайтов услуги · собрать данные с сайта · парсер под ключ