Обновлено: 23 июля 2026 г.
Масштаб мониторинга SKU в e-commerce без блокировок (2026)
Коротко: растите каталог по этапам. Держите rotating residential в стране магазина, темпируйте как покупатель и поднимайте concurrency только когда captcha и пустые страницы редки. Больше SKU — нормально; обстрел каждой страницы каждую минуту — вот что сжигает пулы.
Кластер: Хаб e-commerce intelligence · Основы мониторинга цен · Use case: E-commerce
Для кого? Команды, у которых уже работает монитор на 50–500 SKU и нужно выйти на тысячи без «тёмного» фида. Если ещё выбираете тип прокси — начните с гида по мониторингу цен .
Термины простыми словами
| Термин | Простыми словами |
|---|---|
| SKU | Один листинг товара, который трекаете (один ASIN, один item ID, один URL PDP) |
| Concurrency | Сколько страниц качаете одновременно |
| QPS / pace | Как быстро бьёте сайт во времени |
| Sticky session | Один IP 10–30 минут на связанный батч |
| Success rate | Доля проверок с реальной страницей товара (не captcha / blank) |
| Country pool | IP прокси, запертые на один рынок (US, DE, TH, …) |
| Two-stack split | Credentials скрапинга отдельно от ISP seller-логина |
Почему масштаб ломается (даже когда «прокси работают»)
Чистая задача на 100 SKU может рухнуть на 5 000 по скучным причинам:
| Что вы изменили | Что видит сайт | Что получаете |
|---|---|---|
| В 50 раз больше URL, та же пауза | Один country pool залит | Волна captcha |
| С часа → каждые 5 минут | Bot-подобный refresh | Soft blocks, пустой HTML |
| Один глобальный список прокси | Смесь валют / регионов | «Валидные», но неверные цены |
| Ретраи без backoff | Тот же плохой IP колотит | Ускорение бана |
| IP seller-логина для scrape | Связанная идентичность + автоматика | Риск аккаунта |
Масштаб — задача формирования трафика, а не «купить больше GB».
Rotating residential KindProxy — 198+ стран, prepaid-трафик: пилот, потом рост без огромного плана в день один.
Лестница роста (в этом порядке)
Не прыгайте с пилота на «весь каталог, все рынки, каждый час».
Этап 1 — Доказать парсер (50–100 SKU)
- Один маркетплейс, одна страна
- 2–4 полных прохода в день
- 20–40 страниц в час на старте
- Ручная сверка 10 товаров после каждого прогона
Критерий выхода: success rate ≥ 95%, captcha ниже 5%, цены совпадают с браузером.
Этап 2 — Растить каталог (500–2 000 SKU)
- Та же страна и сайт
- Частота обновлений та же; добавляете только SKU
- Медленно поднимайте pages/hour (например +20% в неделю)
- Делите список на батчи со sticky-сессиями
Критерий выхода: error rate плоский 7 дней.
Этап 3 — Мультирынок или мультисайт
- Новый country pool на витрину (Amazon.de ≠ Amazon.com)
- Отдельные credentials / эндпоинты на рынок
- Сдвиньте расписания, чтобы пики не совпадали
Этап 4 — Выше частота (только для приоритетных SKU)
- Long tail оставьте на 2–4×/день
- Топ 5–10% SKU — почасово или в окна flash-sale
- Следите за captcha; при всплеске режьте частоту раньше, чем покупаете concurrency
Архитектура, которая переживает рост
SKU list (by market)
→ Scheduler (pace + priority tiers)
→ Country residential pool (sticky per batch)
→ Fetcher → Validator → Warehouse
Правила, важные на 10k SKU:
- Один пул на страну × семейство маркетплейса — не делите US Amazon-пул с Shopee TH.
- Sticky на батч, rotate между батчами — 50–200 связанных URL на сессию, затем новый IP.
- Валидируйте до записи — отвергайте captcha HTML, login walls и парсы «$0».
- Backoff по сигналам — % captcha, 403, пустое тело → замедлить рынок на 30–60 минут.
- Никогда не скрапьте с seller ISP — держите two-stack split .
Concurrency и темп (практические цифры)
Это стартовые точки, не гарантии — каждый сайт свой.
| Размер каталога | Полных проходов / день | Параллельных fetch (на рынок) | Заметки |
|---|---|---|---|
| 100 | 2–4 | 1–3 | Базовая линия |
| 1 000 | 2–4 | 3–8 | Батч + sticky |
| 5 000 | 2–3 | 5–15 | Приоритет hot SKU |
| 10 000+ | 1–2 полных + hourly топ-tier | 8–25 | Кап bursts; добавляйте пулы |
Лучше max concurrency: ровный throughput с jitter (случайные паузы 1–3 с), чтобы не выглядеть метрономом.
Если captcha на рынке выше ~5% — режьте concurrency вдвое, прежде чем менять что-то ещё.
Sticky vs rotating на масштабе
| Паттерн | Когда | Избегать когда |
|---|---|---|
| Sticky 10–30 мин | Обход одной категории, одна локаль | Дневной pin одного IP на тысячи страниц |
| Rotate каждый запрос | Очень враждебные цели, короткие проверки | Многошаговые флоу с cookies |
| Country-locked rotating | По умолчанию для мониторинга каталога | Смешение geo в одной задаче |
Большинство retail-мониторов выигрывают так: country lock + sticky-батчи + rotate между батчами.
Математика трафика (чтобы не перекупить)
Грубый ориентир (вес сайта разный):
- ~0,5–2 МБ на страницу товара
- 1 000 проверок ≈ 0,5–2 ГБ
Пример: 5 000 SKU × 3 прохода/день × 1 МБ ≈ 15 ГБ/день.
Сделайте однодневный пилот на 100 SKU, возьмите реальные GB из дашборда, затем масштабируйте формулу. Добавьте 20–30% запаса на ретраи и тяжёлые PDP.
Health мониторинга (что смотреть ежедневно)
| Метрика | Здорово | Действовать если |
|---|---|---|
| Success rate | ≥ 95% | Падает ниже 90% на день |
| Captcha / challenge rate | ниже 5% | Держится выше 5–8% |
| Null / $0 цены | Почти ноль | Внезапно часто |
| Geo mismatch | Редко | Валюта/язык неверны для рынка |
| Доля ретраев | Низкая | Ретраи становятся основной частью трафика |
Алертите по рынку + сайту, не одной глобальной цифре — US Amazon может быть в порядке, пока DE горит.
Типичные ошибки масштаба
| Ошибка | Результат | Исправление |
|---|---|---|
| Тот же темп после 10× каталога | Волна captcha | Сначала SKU; скорость позже |
| Один список прокси на все страны | Неверные цены + блокировки | Country pools |
| Почасовое обновление всего каталога | Стоимость + баны | Тиры: hot vs long-tail |
| Сохранение block-страниц как цен | Сломанные дашборды | Жёсткие validation gates |
| Scraper на IP seller-логина | Флаги аккаунта | Отдельный ISP-стек |
| Мгновенный max concurrency | Бан за часы | Лестница этапов выше |
Как это стыкуется с кластером e-commerce intelligence
| Гид | Задача |
|---|---|
| E-commerce intelligence | Что собирать по маркетплейсам |
| Основы мониторинга цен | Как стартовать и выбрать тип прокси |
| Этот гид | Как вырасти до больших каталогов без блоков |
Продуктовая страница: KindProxy E-commerce Price Monitoring & Market Intelligence .
Итог
Крупный мониторинг каталога работает, когда рост — как capacity planning: доказать качество → добавить SKU → добавить рынки → поднять частоту только для приоритетов. Берите rotating residential с country pools, sticky-батчами и жёсткой валидацией. Скорость опциональна; чистые данные каждый день — нет.
Начать с rotating residential KindProxy — пилот маленький, метрики, потом рост. Смотрите кейсы e-commerce .