Таймауты и повторные запросы при работе через прокси: как настроить

При работе через прокси задавайте два таймаута — на подключение (5–10 секунд) и на ответ (20–30 секунд), а повторяйте только временные ошибки: таймауты, обрывы соединения, ответы 429 и 502–504. Между попытками пауза должна расти, а общее число попыток — ограничиваться 3–5.

Почему через прокси таймауты нужны особенно#

Прямой запрос проходит путь «ваш сервер → сайт». Через прокси путь длиннее: ваш сервер → прокси → иногда устройство пользователя в другом городе → сайт. На каждом участке может быть задержка или обрыв, и без таймаута скрипт будет ждать ответа, который не придёт.

У резидентных и мобильных прокси время ответа к тому же сильнее колеблется: адрес принадлежит реальному устройству с домашним или сотовым каналом. Почему скорость скачет, разобрали в статье «Почему скорость через прокси скачет».

Какие бывают таймауты#

Таймаут чтения — это не время на всю загрузку. Если сервер отдаёт данные медленно, но без долгих пауз, запрос может длиться дольше таймаута чтения. Чтобы ограничить запрос целиком, нужен общий таймаут. В aiohttp он встроен, а в requests и httpx его придётся задать своей обёрткой.

Какие значения ставить#

Точнее значения подбираются по логам: посмотрите, за сколько отвечают 95% успешных запросов, и поставьте таймаут чтения в полтора-два раза больше. Слишком короткий таймаут превращает медленные, но рабочие ответы в ошибки и лишние повторы.

Какие ошибки повторять, а какие нет#

Если прокси не подключается совсем, повторы не помогут — пройдите по чек-листу из статьи «Почему прокси не подключается». Про ответы 403 и CAPTCHA — в материале «Почему сайт ограничивает доступ».

Как выбирать паузу между попытками#

Повторять сразу после ошибки — худший вариант: если сбой вызван перегрузкой, мгновенный повтор только добавит нагрузки. Стандартный подход — экспоненциальная пауза со случайной добавкой.

Пауза = min(предел, база × 2 в степени номера попытки) + случайная добавка

При базе 1 секунда паузы будут примерно 1, 2, 4, 8 секунд. Случайная добавка нужна, чтобы сотни потоков, получивших ошибку одновременно, не повторили запросы в одну и ту же секунду. Предел не даёт паузе вырасти до минут.

Если сервер прислал заголовок Retry-After, он важнее формулы: ждите столько, сколько указано.

Настройка в requests#

В requests повторы настраиваются через класс Retry из библиотеки urllib3, на которой requests построен. Он сам выдерживает растущую паузу и учитывает Retry-After.

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry = Retry(
    total=4,
    connect=3,
    read=3,
    backoff_factor=1,
    status_forcelist=[429, 502, 503, 504],
    allowed_methods=["GET", "HEAD", "OPTIONS"],
    respect_retry_after_header=True,
)

session = requests.Session()
session.mount("http://", HTTPAdapter(max_retries=retry))
session.mount("https://", HTTPAdapter(max_retries=retry))
session.proxies.update({
    "http": "http://login:password@host:port",
    "https": "http://login:password@host:port",
})

r = session.get("https://example.com/", timeout=(10, 30))

Кортеж timeout=(10, 30) задаёт таймаут подключения 10 секунд и чтения 30 секунд. В urllib3 версии 2 и новее можно добавить параметр backoff_jitter — он добавляет к паузе случайную часть.

Настройка в aiohttp#

В aiohttp встроенных повторов нет, поэтому их удобно написать небольшой функцией.

import asyncio
import random
import aiohttp

RETRY_STATUSES = {429, 502, 503, 504}

async def fetch(session, url, proxy, attempts=4, base=1.0, cap=30.0):
    for attempt in range(attempts):
        try:
            async with session.get(url, proxy=proxy) as r:
                if r.status not in RETRY_STATUSES:
                    return r.status, await r.text()
                retry_after = r.headers.get("Retry-After")
        except (aiohttp.ClientConnectionError, asyncio.TimeoutError):
            retry_after = None
        if attempt == attempts - 1:
            break
        if retry_after and retry_after.isdigit():
            delay = int(retry_after)
        else:
            delay = min(cap, base * 2 ** attempt) + random.uniform(0, base)
        await asyncio.sleep(delay)
    return None, None

timeout = aiohttp.ClientTimeout(total=40, sock_connect=10, sock_read=30)

Сессию создавайте с этим таймаутом: aiohttp.ClientSession(timeout=timeout). Параметр total ограничивает весь запрос, sock_connect и sock_read — подключение и ожидание данных.

Когда остановить сбор, а не повторять#

Повторы помогают при единичных сбоях. Если ошибок стало много одновременно — сайт недоступен, сменил защиту или вы превысили допустимую частоту, — повторы только умножат нагрузку и расход трафика.

Как это устроено у нас#

В резидентных прокси Proxy.Market при ротации на каждый запрос новое соединение, как правило, получает другой адрес из пула. Поэтому повтор после таймаута обычно уходит уже через другое устройство, и случайный сбой одного узла не тормозит весь сбор.

Если нужна предсказуемая скорость ответа и короткие таймауты, посмотрите на ISP-прокси и серверные прокси IPv4: они работают через каналы дата-центров, и задержка у них стабильнее. Как выбрать тип прокси по задержке и скорости, разобрали в статье «Задержка и пропускная способность».

Частые вопросы#