Как подключить прокси в Python: requests, httpx, aiohttp и Playwright

Прокси в Python подключается одной строкой адреса вида http://логин:пароль@хост:порт, но у каждой библиотеки свой параметр: proxies в requests, proxy в httpx и aiohttp, словарь proxy в Playwright. Ниже — рабочие примеры для всех четырёх и разбор ошибок, на которых спотыкаются чаще всего.

Как выглядит адрес прокси для Python#

Все библиотеки ниже принимают адрес прокси в виде строки адреса (URL). Она состоит из схемы, данных для входа, хоста и порта:

http://login:password@host:port
socks5://login:password@host:port
socks5h://login:password@host:port

Схема говорит библиотеке, каким протоколом общаться с прокси, а не с целевым сайтом. Через HTTP-прокси спокойно открываются и HTTPS-страницы: клиент просит прокси открыть туннель (метод CONNECT), и шифрование идёт напрямую между вами и сайтом. Подробнее о разнице протоколов — в статье «HTTP, HTTPS и SOCKS5: сравнение прокси-протоколов».

Прокси в requests#

В requests прокси передаётся словарём: ключ — схема целевого сайта, значение — адрес прокси. Чтобы трафик шёл через прокси и для HTTP-, и для HTTPS-сайтов, нужны оба ключа.

import requests

proxy = "http://login:password@host:port"
proxies = {"http": proxy, "https": proxy}

response = requests.get(
    "https://api.ipify.org?format=json",
    proxies=proxies,
    timeout=(10, 30),
)
print(response.json())

Если запросов много, удобнее один раз настроить сессию (requests.Session): она переиспользует соединения и держит прокси для всех запросов.

session = requests.Session()
session.proxies.update(proxies)

for url in urls:
    r = session.get(url, timeout=(10, 30))

Для SOCKS5 поставьте дополнительный пакет и замените схему в адресе на socks5h://:

pip install "requests[socks]"

Прокси в httpx#

В httpx начиная с версии 0.26 прокси задаётся параметром proxy. Старый параметр proxies в версии 0.28 убрали, поэтому примеры из старых статей могут падать с ошибкой.

import httpx

proxy = "http://login:password@host:port"

with httpx.Client(proxy=proxy, timeout=30) as client:
    r = client.get("https://api.ipify.org?format=json")
    print(r.json())

Асинхронный клиент настраивается так же: httpx.AsyncClient(proxy=proxy). Для SOCKS5 нужен пакет httpx[socks].

Прокси в aiohttp#

В aiohttp прокси передаётся в каждый запрос параметром proxy. Встроенно поддерживаются только HTTP-прокси — HTTPS-сайты через них тоже открываются.

import asyncio
import aiohttp

PROXY = "http://login:password@host:port"

async def main():
    timeout = aiohttp.ClientTimeout(total=30)
    async with aiohttp.ClientSession(timeout=timeout) as session:
        async with session.get("https://api.ipify.org?format=json", proxy=PROXY) as r:
            print(await r.json())

asyncio.run(main())

Для SOCKS5 используется библиотека aiohttp-socks: прокси задаётся не в запросе, а в соединителе (connector) сессии.

from aiohttp_socks import ProxyConnector

connector = ProxyConnector.from_url("socks5://login:password@host:port")
async with aiohttp.ClientSession(connector=connector) as session:
    ...

Прокси в Playwright#

Playwright управляет настоящим браузером, поэтому прокси задаётся при его запуске словарём с отдельными полями для сервера, логина и пароля.

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://host:port",
        "username": "login",
        "password": "password",
    })
    page = browser.new_page()
    page.goto("https://api.ipify.org?format=json")
    print(page.inner_text("body"))
    browser.close()

Если нужно несколько прокси в одном браузере, передайте такой же словарь в browser.new_context(proxy=...): у каждого контекста будет свой выход в сеть.

Как проверить, что запросы идут через прокси#

Самый быстрый способ — запросить сервис, который возвращает ваш внешний IP, сначала без прокси, потом с ним. Адреса должны отличаться. Удобно сделать это первым шагом скрипта, до основного сбора.

Как оценить качество прокси глубже — скорость, долю успешных ответов, геолокацию, — разобрали в статье «Как проверить качество прокси перед покупкой».

Частые ошибки при подключении#

Как закодировать пароль со спецсимволами:

from urllib.parse import quote

login = "user"
password = quote("p@ss:w0rd#", safe="")
proxy = f"http://{login}:{password}@host:port"

Если прокси не подключается вовсе, пройдитесь по чек-листу из статьи «Почему прокси не подключается».

Как это устроено у нас#

В личном кабинете Proxy.Market данные для подключения показаны в формате IP:PORT@LOGIN:PASSWORD. Для Python порядок нужно поменять: сначала логин и пароль, потом хост и порт — http://LOGIN:PASSWORD@IP:PORT.

Авторизоваться можно двумя способами: логином и паролем или по белому списку IP-адресов. Второй вариант удобен для Playwright и серверов с постоянным адресом — в строке прокси остаются только хост и порт.

• Серверные прокси IPv4 — постоянные адреса для автоматизации с оплатой за IP.
• Резидентные прокси — пул адресов домашних пользователей с ротацией и оплатой за трафик, протоколы HTTP и SOCKS5.
• Мобильные прокси — адреса мобильных операторов со сменой IP по таймеру или липкой сессией.

Частые вопросы#