Назад в портфолио
VAPAN // Автоматизации
Copart Parser
Парсер аукциона copart.com с обходом блокировок через прокси-пулы.
Стек: Node.js / Worker-threads
Что нужно было решить
Авто-дилер выбирал лоты на copart.com вручную: открывал сотни страниц каждое утро, копировал фото и характеристики в таблицу. Из-за антибот-защиты обычные скрипты ловили блок и теряли данные.
Что сделали
Написали Node.js-парсер с worker-потоками: раскладывает лоты по очередям, вращает прокси-пул, сохраняет лоты и медиа в локальную базу. Добавили инкрементальное обновление, чтобы не качать повторно уже собранные лоты.
Что получил клиент
- 01
Страница загружается меньше чем за 1 секунду на 4G
- 02
Ручные этапы убраны, обработка проходит автоматически
- 03
Заявки и действия игрока доходят без потерь через валидацию форм и логирование
