限流 - OmniRelay Documentation

请求频率与并发

每次真实调用（POST /v1/chat/completions、/v1/responses、/v1/embeddings 以及控制台的模型体验）都受两个上限约束：

限制项	默认值	范围
每分钟调用次数	120	整个工作空间：所有成员、所有 Key 共用
并发调用数	5	整个工作空间：已开始、尚未结束的调用

窗口为固定的自然分钟。平台运营方可以为你的工作空间设置不同的上限。在此范围内，管理员可以为某个人设置更低的上限，你也可以在 API Keys → 设置 中为某个 Key 设置更低的上限。个人或 Key 的上限不会超过工作空间的上限。适用于你的上限显示在 API Keys 页面。两种拒绝都发生在预扣和发往模型服务方之前，因此不产生费用，可以直接重试：

{ "error": { "code": "rate_limited" }, "request_id": "2f6c1d0e9a" }

状态	错误码	重试
`429`	`rate_limited`	`Retry-After` 给出距当前分钟结束的秒数。
`429`	`concurrency_limited`	`Retry-After: 1`。等你的某个调用结束后再重试。
`429`	`upstream_rate_limited`	模型服务方在处理前因你账户的速率上限拒绝了此调用，预扣已全额释放，未产生费用。`Retry-After: 1`。

对话补全不具备幂等性。只有上面三种 429 是确认的拒绝。5xx、超时或断流不能证明没有收费，请先按错误码判断，并关闭 SDK 自动重试。详见错误处理。

Key 的 IP 白名单

可以限制一个 Key 只能从指定来源地址调用：在 API Keys → 设置 中填写最多 20 个 IPv4 或 IPv6 地址或 CIDR 网段，每行一个。来自其他地址的调用返回 403 ip_not_allowed，不产生费用。留空表示不限来源。白名单只作用于 API 调用（/v1），不影响控制台的模型体验。每次调用的来源 IP 随调用记录，保留 90 天；为账户开启请求列表后，会显示在列表及其 CSV 导出中。

载荷大小

限制项	当前规则
请求体（`/v1/chat/completions`、`/v1/responses`、`/v1/embeddings`）	最多 4 MiB（4,194,304 字节 UTF-8）；超出返回 `413 payload_too_large`。
消息或 Responses 输入项数量	1–2,000 条；不合法返回 `400 invalid_parameter`。
单个文本值（消息内容、文本片段、工具结果、历史中的工具调用参数）	最多 1,048,576 字符；超出返回 `400 invalid_parameter`。
向量	最多 128 个输入，每个最多 65,536 字符，合计不超过 262,144 字节，并受模型自身输入上限约束。
输出 Token	读取所选模型的 `limits.output_tokens` 与 `limits.default_output_tokens`。

这些上限按包含大量工具轮次的 Agent 历史设计。模型的上下文窗口仍是真正的上限：输入放不下时返回 400 context_length_exceeded。请求越大，发送前预留的最高费用也越大（按实际用量结算），钱包需要覆盖这笔预留。生成较长内容时请使用 stream: true。