Назад в портфолио
VAPAN // Автоматизации
Copart Parser
Парсер аукциона copart.com с обходом блокировок через прокси-пулы.
Стек: Node.js / Worker-threads
Что нужно было решить
Авто-дилер выбирал лоты на copart.com вручную: открывал сотни страниц каждое утро, копировал фото и характеристики в таблицу. Из-за антибот-защиты обычные скрипты ловили блок и теряли данные.
Что сделали
Написали Node.js-парсер с worker-потоками: раскладывает лоты по очередям, вращает прокси-пул, сохраняет лоты и медиа в локальную базу. Добавили инкрементальное обновление, чтобы не качать повторно уже собранные лоты.
