Сколько на самом деле стоит парсинг: считаем цену полезной записи
23 октября 2026
Стоимость парсинга считают не в гигабайтах и не в IP-адресах, а в цене одной полезной записи: сколько вы потратили всего (прокси, серверы, повторы, время разработчиков, ручная проверка) и сколько корректных данных получили в итоге. Дешёвый трафик легко оборачивается дорогими данными.
Коротко
- Главная метрика сбора данных — стоимость принятой записи, а не цена гигабайта или запроса.
- В неё входят не только прокси, но и серверы, повторные запросы, поддержка парсеров и ручная проверка.
- Более дорогой способ сбора может дать более дешёвую запись, если у него выше доля успешных ответов.
- Считать стоимость нужно отдельно по каждому сайту и проверять полноту данных по независимому источнику.
Почему цена гигабайта ничего не говорит о стоимости данных
Когда команда выбирает прокси для парсинга, она обычно сравнивает цену за гигабайт трафика или за IP-адрес. Это понятная цифра, но она описывает только сырьё, а не результат.
Бизнесу нужны не страницы, а данные: цены, остатки, карточки товаров, объявления. Часть ответов приходит пустыми, часть — со страницей ограничения доступа вместо контента, часть ломается на этапе разбора. За весь этот трафик вы уже заплатили, а полезных записей он не дал.
На эту проблему обратил внимание Джанкарло Морилло (Giancarlo Morillo) из LexisNexis в докладе на конференции Extract Summit. Его команда оценивает каждый способ сбора по одной метрике — стоимости принятой записи (cost per accepted record).
Что входит в стоимость полезной записи
Стоимость записи = все затраты на сбор / число записей, прошедших проверку
В числитель попадает больше, чем кажется на первый взгляд.
Из чего складываются затраты
Прокси — трафик или аренда IP-адресов, включая трафик неудачных и повторных запросов.
Инфраструктура — серверы, браузеры без интерфейса (headless) для страниц с JavaScript, очереди, хранилище.
Повторы — каждый повторный запрос стоит трафика и времени сервера.
Поддержка парсеров — часы разработчиков на починку после изменения вёрстки сайта и разбор сбоев.
Очистка и проверка — удаление дублей, нормализация, ручная проверка спорных записей.
В знаменатель идут только записи, которые прошли проверку: поля заполнены, значения правдоподобны, запись не дублирует уже собранную. Число отправленных запросов или скачанных страниц здесь не учитывается.
Пример расчёта
Возьмём условную задачу: собрать карточки товаров с одного маркетплейса за месяц. Сравним два подхода. Цифры условные и нужны только для иллюстрации метода, это не цены Proxy.Market.
| Параметр | Подход А: дешёвые прокси | Подход Б: дороже, но стабильнее |
|---|---|---|
| Отправлено запросов | 100 000 | 100 000 |
| Доля успешных ответов | 60% | 95% |
| Записей прошло проверку | 54 000 | 92 000 |
| Прокси | 10 000 ₽ | 30 000 ₽ |
| Серверы | 5 000 ₽ | 4 000 ₽ |
| Время разработчиков | 40 000 ₽ | 16 000 ₽ |
| Ручная проверка | 10 000 ₽ | 3 000 ₽ |
| Итого затрат | 65 000 ₽ | 53 000 ₽ |
| Стоимость записи | ≈ 1,20 ₽ | ≈ 0,58 ₽ |
Прокси в подходе Б стоят втрое дороже, но запись получается вдвое дешевле. Основная экономия — не на трафике, а на времени людей: меньше сбоев, меньше починок, меньше ручной проверки.
Работает и обратный эффект. В докладе Морилло приводит случай, когда более «прицельный» сбор скачивал на 91% меньше страниц, но обошёлся примерно втрое дороже, а полезных данных почти не прибавилось. Меньше трафика не значит дешевле.
Где теряются деньги
- Ответ с кодом 200, но без данных
Сайт может вернуть страницу ограничения, пустую выдачу или заглушку с успешным кодом ответа. Если не проверять содержимое, такие ответы попадают в базу как данные. - Повторы без учёта
Повторные запросы часто не считают отдельно, хотя при низкой доле успешных ответов они могут удваивать трафик. - Невидимые пропуски
Мониторинг успешных запросов не показывает то, чего вы не собрали: пропущенные страницы каталога, товары, которые не попали в выдачу. - Время разработчиков вне бюджета
Часы на починку парсеров редко относят к стоимости сбора, хотя часто это самая крупная статья.
Как снизить стоимость записи
- Проверяйте ответ до записи в базу
Убедитесь, что на странице есть ожидаемые элементы и поля. Так страницы-заглушки не превращаются в «данные», а повтор отправляется сразу. - Считайте по каждому сайту отдельно
Средняя стоимость по всем источникам скрывает сайты, которые обходятся в разы дороже остальных. - Сравнивайте способы сбора на одних и тех же сайтах в одно время
Сравнение «прошлый месяц против этого» искажается изменениями на сайтах. Параллельный запуск даёт честную картину. - Сверяйте полноту по независимому источнику
Выборочно сравнивайте собранное с другим источником: открытым архивом веб-страниц (например, Common Crawl), картой сайта или ручной выборкой. Так видны пропуски, которые не заметны в логах. - Подбирайте тип прокси под сайт
Где хватает серверных прокси, нет смысла платить за резидентские. Где серверные дают много сбоев, более дорогой тип может снизить итоговую стоимость записи.
Подробнее о расчёте трафика — в статье «Сколько трафика нужно для парсинга через прокси», о настройке повторов — в статье «Таймауты и повторные запросы при работе через прокси».
Важно. Снижение стоимости записи не должно достигаться за счёт роста нагрузки на сайт-источник. Собирайте только нужные данные, соблюдайте правила ресурса и разумную частоту запросов. О правовой стороне — в статье «Легальность парсинга: что нужно знать».
Как это устроено у нас
В Proxy.Market можно подобрать тип прокси под конкретный источник и сравнить варианты на своих задачах:
- Серверные прокси IPv4 — для сайтов, где их достаточно, и для больших объёмов с оплатой за IP.
- Резидентные прокси — для сайтов, где серверные адреса чаще получают ограничения; оплата за трафик.
- Мобильные прокси — для сценариев, которые обычно чувствительны к типу сети.
Если не уверены, какой тип выгоднее для вашего источника, начните с небольшого теста на двух типах прокси и посчитайте стоимость записи по формуле выше.
Частые вопросы
Что такое стоимость принятой записи?
Это все затраты на сбор данных, делённые на число записей, которые прошли проверку. В затраты входят прокси, серверы, повторы, время разработчиков и ручная проверка.
Почему нельзя просто сравнить цену за гигабайт?
Цена гигабайта не учитывает долю неудачных ответов и затраты людей. Дешёвый трафик с большим числом сбоев может дать более дорогие данные.
Как часто пересчитывать стоимость записи?
Хотя бы раз в месяц и после заметных изменений: смены вёрстки сайта, нового типа прокси, роста объёма. Сайты меняются, и вместе с ними меняется стоимость.
Как понять, что данные собраны не полностью?
Сравните выборку с независимым источником: картой сайта, открытым архивом страниц или ручной проверкой. Логи успешных запросов пропуски не показывают.
Подберём прокси под ваш источник
Расскажите, какие сайты и в каком объёме вы собираете, — менеджер подскажет, какой тип прокси подойдёт и во сколько обойдётся.
