Прокси для hh.ru: мониторинг вакансий и зарплат

Прокси для hh.ru: мониторинг вакансий и зарплат

Для мониторинга вакансий и зарплат на hh.ru сначала проверьте официальный API: он отдаёт вакансии в структурированном виде, и прокси для него обычно не нужны. Прокси пригодятся, когда нужных данных в API нет и вы регулярно собираете страницы сайта в большом объёме — чтобы распределить запросы и сделать сбор стабильнее.

Коротко

  • Официальный API hh.ru — первый выбор: данные структурированы, правила доступа понятны, трафика нужно меньше.
  • Город в поиске hh.ru задаётся параметром запроса, а не IP-адресом, поэтому для смены региона прокси не нужны.
  • Для регулярного сбора со страниц сайта обычно хватает российских серверных или ISP-прокси; резидентные — для разовых больших выгрузок.
  • Резюме и контакты соискателей — персональные данные: для аналитики достаточно обезличенных полей вакансий.

Зачем собирают данные с hh.ru

hh.ru — крупнейшая в России площадка вакансий, поэтому её данные используют для аналитики рынка труда. Чаще всего задачи такие:

Зарплатная аналитика

Вилки по должностям, грейдам и городам — чтобы назначать конкурентные зарплаты.

Спрос на навыки

Какие технологии и навыки чаще встречаются в вакансиях и как это меняется со временем.

Наём конкурентов

Сколько и кого нанимают компании рынка — косвенный сигнал о росте и новых направлениях.

Сначала проверьте официальный API

У hh.ru есть открытый интерфейс для разработчиков — API. Через него можно искать вакансии и получать их описание в формате JSON: должность, зарплату, город, требования, работодателя.

Чтобы работать с API, нужно зарегистрировать приложение на портале dev.hh.ru, дождаться модерации и получить токен приложения. Условия доступа время от времени меняются, поэтому актуальные правила и ограничения проверяйте в документации.

Плюсы API

  • Готовые структурированные данные, не нужно разбирать HTML.
  • Ответы весят килобайты, а не сотни килобайт.
  • Понятные правила доступа от самой площадки.

Ограничения API

  • Нужны регистрация приложения и модерация.
  • Поиск отдаёт ограниченное число результатов на один запрос — выборку приходится дробить по регионам, датам и ролям.
  • Не все данные со страниц сайта доступны через API.

Если задача решается через API, прокси, скорее всего, не понадобятся: достаточно соблюдать ограничения, указанные в документации.

Когда без прокси не обойтись

  • Нужных данных нет в API
    Тогда остаётся собирать страницы сайта, а это больше запросов и больше трафика.
  • Сбор регулярный и большой
    Ежедневный мониторинг сотен поисковых запросов с одного адреса быстро упирается в ограничения частоты. Прокси позволяют распределить запросы и держать частоту на каждый адрес умеренной.
  • Сборщик работает на сервере за пределами России
    Для российского сервиса российский IP-адрес обычно даёт более предсказуемый результат. Подробнее — в статье «Российские прокси для работы с локальными сервисами».

Имейте в виду. Регион поиска на hh.ru задаётся в самом запросе — параметром города или фильтром на странице. Прокси из нужного города для этого не требуется.

Какие прокси подойдут

Тип проксиОплатаКогда подходит
Серверные IPv4, РоссияЗа IP на срокРегулярный мониторинг умеренного объёма, когда важны цена и стабильная скорость
ISP, РоссияЗа IP на срокНужен постоянный адрес провайдера, к которому сайты, как правило, относятся как к домашнему
Резидентные, РоссияЗа трафикРазовые большие выгрузки, когда нужно много разных адресов
Какие прокси выбрать для сбора вакансий

Сколько адресов понадобится, считается просто: нужная скорость сбора делится на частоту запросов, которую сайт выдерживает с одного адреса без роста ошибок. Общие принципы выбора — в статье «Как выбрать прокси под конкретную задачу».

Как собирать бережно

  1. Держите частоту низкой.
    Один запрос в несколько секунд на адрес — разумная стартовая точка. Если сервер присылает ответ 429 с заголовком Retry-After, выдерживайте указанную паузу.
  2. Не перескачивайте известное.
    Храните идентификатор вакансии и дату её обновления и загружайте заново только изменившиеся.
  3. Собирайте только нужные поля.
    Для аналитики достаточно должности, зарплаты, города, навыков и работодателя.
  4. Планируйте сбор на часы низкой нагрузки.
    Ночью и ранним утром запросы меньше мешают работе сервиса.
  5. Проверьте правила площадки.
    Изучите условия использования сайта и файл robots.txt перед запуском.

Персональные данные соискателей

Не собирайте резюме и контакты соискателей без правового основания. ФИО, телефоны, адреса почты и фотографии — персональные данные, их обработку регулирует закон 152-ФЗ.

Это касается и вакансий: имя и телефон контактного лица работодателя — тоже персональные данные. Для зарплатной и рыночной аналитики они не нужны, поэтому такие поля лучше не сохранять вовсе. О правовой стороне сбора данных — в статье «Легальность парсинга: что нужно знать».

Как это устроено у нас

Авторизация во всех случаях — по логину и паролю или по белому списку IP-адресов, если сборщик работает с постоянного сервера.


Частые вопросы

Нужен ли прокси для API hh.ru?
Как правило, нет. API рассчитан на работу приложений, и достаточно соблюдать ограничения из документации. Прокси нужны в основном при сборе со страниц сайта.

Можно ли через прокси получить вакансии другого города?
Для этого прокси не нужен: регион на hh.ru выбирается параметром поиска. IP-адрес на список вакансий по городу не влияет.

Какие прокси лучше для регулярного мониторинга вакансий?
Обычно хватает российских серверных или ISP-прокси с оплатой за адрес. Резидентные удобнее для разовых больших выгрузок.

Можно ли собирать резюме с hh.ru?
Резюме содержат персональные данные, и их обработка требует правового основания по 152-ФЗ. Для рыночной аналитики достаточно обезличенных данных вакансий.

Подберём прокси для мониторинга вакансий

Расскажите, сколько запросов и как часто нужно собирать, — менеджер предложит тип прокси и объём.

Получить предложение