Назад до портфоліо
VAPAN // Автоматизації
Copart Parser
Парсер аукціону copart.com з обходом блокувань через проксі-пули.
Стек: Node.js / Worker-threads
Що потрібно було вирішити
Авто-дилер вибирав лоти на copart.com вручну: відкривав сотні сторінок щоранку, копіював фото і характеристики у таблицю. Через антибот-захист звичайні скрипти ловили блок і втрачали дані.
Що зробили
Написали Node.js-парсер з worker-потоками: розкладає лоти по чергах, обертає проксі-пул, зберігає лоти і медіа у локальну базу. Додали інкрементальне оновлення, щоб не качати повторно вже зібрані лоти.
Що отримав клієнт
- 01
Сторінка вантажиться менш ніж за 1 секунду на 4G
- 02
Ручні етапи прибрано, обробка проходить автоматично
- 03
Заявки і дії гравця доходять без втрат через валідацію форм і логування
