跳转到主要内容

什么是 Scraping API?

Scraping API55 Tech 提供,可将您的 HTTP、浏览器渲染、WebSocket 和 AMQP 请求通过由 80 多个地理分布式代理节点组成的网络进行路由。API 会在数秒内自动识别每个目标最可靠的代理节点,让您的请求立即变得更加成功,无需自行管理代理。 您可以做什么:
  • HTTP 抓取 — GET/POST/PUT/PATCH/DELETE,完全控制请求头、请求体和 Cookie
  • 浏览器渲染 — 支持 JavaScript 渲染的抓取,包含 Cookie、截图和自定义 JS 执行
  • WebSocket 中继 — 双向帧中继(Socket.IO、SignalR、Centrifugo、GraphQL-WS、原生 WebSocket)
  • AMQP 消费者 — 通过 Server-Sent Events (SSE) 流式传输 RabbitMQ 消息
  • 地理定向 — 将请求固定到特定国家或单个代理节点
  • 代理链接 — 通过您自己的代理路由请求,获得额外的 IP 灵活性
  • 响应验证 — 验证渲染页面中是否存在预期内容,缺失时自动在不同节点重试
  • 封锁检测 — 当检测到访问限制时,响应中包含 meta.blocked 标志

基础 URL

https://scraping-api.55-tech.com

身份验证

通过 X-API-Key 请求头或(对于 WebSocket/AMQP)apiKey 请求体字段传递您的 API 密钥。详见 Authentication

端点

EndpointMethodAuthDescription
/fetchGET, POST, PUT, PATCH, DELETERequired通过代理网络代理 HTTP 请求
/browserGETHeader支持 JavaScript 渲染的抓取(Cookie、截图、JS 执行)
/browser/streamGETHeader实时浏览器会话 — 流式传输网络、WebSocket、DOM 事件(SSE)
/wsWebSocketIn connect message双向 WebSocket 中继
/amqpPOSTIn body or headerAMQP/RabbitMQ 消费者中继(SSE 流)
/usageGETRequired按密钥的使用指标(请求数、字节数、热门域名)
/network/agentsGETRequired列出所有代理节点及其标识、名称、国家
/network/statusGETRequired网络概况(节点总数、每个国家的节点数)
/network/geoGETRequired按国家分组的代理节点
/network/health/{domain}GETRequired按代理节点查看域名的健康状态
/debug/pickGETRequired预览将选择哪个代理节点
/healthzGETNo存活探针

控制请求头

这些请求头用于控制路由,在转发到目标之前会被剥离:
HeaderAliasesDescriptionExample
X-Target-URL目标 URL(无需编码,推荐方式)https://example.com/?foo=bar
X-GeoX-Geo-CC, X-Geo-Strict, X-CC, X-Country限制到特定国家(逗号分隔的 ISO 代码)US,DE,AT
X-Expect-JSON提示目标响应为 JSON1
X-Agent通过标识路由到特定代理节点,或逗号分隔列表de1, de1,at5,us3
X-Timeout覆盖请求超时时间(秒)60

速率限制

速率限制按 API 密钥执行:
  • 默认:每秒 10 个请求
  • WebSocket 连接在建立时消耗 1 个令牌(非按帧计费)
当触发速率限制时,API 返回 429 及以下响应头:
Retry-After: 1
X-RateLimit-Limit: 10
X-RateLimit-Remaining: 0
使用 GET /usage 查看当前使用情况。

抓取响应格式

所有 HTTP 抓取响应遵循以下结构:
{
  "meta": {
    "status": 200,
    "final_url": "https://example.com/",
    "http_version": "HTTP/2",
    "elapsed_ms": 245,
    "blocked": false,
    "headers": { "content-type": "text/html" },
    "agent": { "id": "scraping-de1" },
    "bytes": 4521
  },
  "raw": "<!DOCTYPE html>...",
  "raw_json": null
}
FieldDescription
meta.status目标返回的 HTTP 状态码
meta.final_url重定向后的最终 URL
meta.http_version使用的 HTTP 版本(例如 HTTP/2)
meta.elapsed_ms往返时间(毫秒)
meta.blocked如果在响应中检测到访问限制则为 true
meta.agent.id处理请求的节点(例如 scraping-de1
meta.bytes响应体大小(字节)
raw响应体文本(非 JSON 时)
raw_json解析后的 JSON 对象(响应为有效 JSON 时,否则为 null

后续步骤

Authentication

设置您的 API 密钥。

Quickstart

发送您的第一个代理请求。

Browser

使用真实浏览器渲染 JavaScript 页面。