用于 SERP 与排名追踪的移动代理

export PROXY_URL="http://USERNAME-mbl-gb-sid-serp01-rot-auto10:[email protected]:7000"

# 国家参数 = 您要汇报排名的市场。
# 不同 worker 使用不同的 -sid-，让查询分散到多台设备上。

import os, time, random, urllib.parse
import requests

PROXY = os.environ["PROXY_URL"]

MOBILE_UA = (
    "Mozilla/5.0 (Linux; Android 14; Pixel 8) AppleWebKit/537.36 "
    "(KHTML, like Gecko) Chrome/125.0 Mobile Safari/537.36"
)

def serp(query: str, gl: str = "gb", hl: str = "en") -> str:
    params = urllib.parse.urlencode({"q": query, "gl": gl, "hl": hl, "num": 20})
    r = requests.get(
        f"https://www.google.com/search?{params}",
        headers={"User-Agent": MOBILE_UA, "Accept-Language": f"{hl},en;q=0.8"},
        proxies={"http": PROXY, "https": PROXY},
        timeout=45,
    )
    # 拦截页不是排名结果。直接报错，不要去解析它。
    if r.status_code == 429 or "/sorry/" in r.url:
        raise RuntimeError("rate limited — slow down and let the IP rotate")
    r.raise_for_status()
    return r.text

for kw in ["mobile proxy", "4g proxy uk", "rotating proxy api"]:
    html = serp(kw)
    print(f"{len(html):>7} bytes  {kw}")
    time.sleep(random.uniform(8, 20))   # 接近真人的查询节奏

请求间隔不是摆设。查询速度比人打字还快的排名追踪工具，就是被限流的那个。

import os, re

def proxy_for_worker(worker_id: int) -> str:
    """Give each worker its own device by rewriting the -sid- token."""
    base = os.environ["PROXY_URL"]
    return re.sub(r"-sid-[a-z0-9_]+", f"-sid-serp{worker_id:02d}", base)

# 4 个 worker，4 台设备，各自独立控制节奏。
for w in range(4):
    print(proxy_for_worker(w))

不同的 sid 对应不同的设备，所以四个慢速 worker 胜过一个快速 worker。