DOCS

开发者文档

最近更新 2026-09-02

快速开始

Plenum Cloud 提供 OpenAI 兼容接口。已有 OpenAI SDK 的项目只需改 base_url 和 API Key 两行即可迁移。

1. 注册账户并在控制台「API Keys」创建密钥(明文仅显示一次)。2. 把 base_url 指向 Plenum。3. 照常调用。

迁移只改一行 ↓
from openai import OpenAI

client = OpenAI(
    base_url="https://api.plenumcloud.com/v1",
    api_key="pln-...",
)

stream = client.chat.completions.create(
    model="deepseek-v3.2",
    messages=[{"role": "user", "content": "你好,Plenum"}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")
流式响应:最后一个 SSE 块携带 usage(计量依据)

接口

端点说明
POST /v1/chat/completions对话补全,支持 stream。请求与响应结构与 OpenAI 一致;流式响应为 SSE,最后一个数据块携带 usage。
GET /v1/models当前可路由的模型列表。
GET /healthz公开健康检查,返回 ok。状态页据此探测。

鉴权

所有 /v1 请求使用 Authorization: Bearer <API Key>。密钥以 pln- 开头,吊销即时生效。

流式响应

设置 stream: true 即可。网关会自动注入 stream_options.include_usage,确保最后一个 SSE 块带有 usage——这是计量的依据,无需你手动设置。

计量与 usage 字段

每次请求按四类 token 分别计量、分别计价。它们出现在响应的 usage 对象里:

字段含义
usage.prompt_tokens输入 token 总数(含缓存命中部分)
usage.prompt_tokens_details.cached_tokens其中命中前缀缓存的输入 token,按显著更低的单价计费
usage.completion_tokens输出 token
usage.completion_tokens_details.reasoning_tokens推理模型的思维链 token(若模型返回)

控制台「用量」与「账单」按同一口径展示,并可按模型、按密钥下钻;账单以平台计量为准。

前缀缓存

命中前缀缓存的输入 token 边际成本远低于未命中,我们把这部分让利体现在单价里。Agent 场景(长系统提示词、工具定义、多轮历史)天然高命中,前提是前缀字节级稳定:

做法原因
系统提示词与工具定义放在 messages 最前面,且内容固定缓存按前缀匹配,任何前置变动都会让后续全部失效
动态内容(时间戳、用户名、检索结果)放到对话末尾保住公共前缀
多轮对话追加消息而不是重写历史前几轮的 KV 可直接复用

命中率可在控制台按密钥观测。

限流与配额

每把 API Key 有独立的每分钟请求上限(令牌桶,允许短突发)和可选的月度 token 配额。超限返回 429,body 中 error.code 区分原因;建议客户端按指数退避重试。专属端点的限额以合同为准。

错误码

错误响应为 OpenAI 风格:{ "error": { "code", "message" } }。

HTTPcode说明
400bad_request请求体不是合法 JSON 或缺少必要字段
401invalid_api_key密钥无效或已吊销
429rate_limit_exceeded超过每分钟请求上限,稍后重试
429insufficient_quota本月 token 配额已用完
502upstream_error所有候选上游均不可用(已自动重试与故障转移后)
502dedicated_unavailable专属端点绑定的节点不可用;专属流量不会回退到公共池

4xx 错误不会重试;连接失败、5xx 与上游 429 会在候选上游间自动转移。

专属端点

专属端点是独占的推理容量:你的请求只路由到为你绑定的节点,不与其他客户共享,也不受公共池限流影响;按「容量 × 时间」计费,与实际 token 用量无关。

步骤说明
1控制台「专属实例」提交申请:模型、GPU 类型、数量
2运营团队评估并绑定节点、确认机时报价;申请状态从 pending 变为 running,计费开始
3之后你用同一把 API Key 调用该模型,请求自动固定到专属节点
4在控制台释放实例即停止计费;账单按月切片显示专属容量费用

算力接入

有闲置 GPU 的团队可以把集群挂到平台出租。要求:节点提供 OpenAI 兼容的流式 chat completions 端点(vLLM / SGLang 等均可),可从公网或专线访问。

步骤说明
1控制台「算力接入」登记节点:名称、端点地址、访问凭据、可跑模型、机时报价
2平台以真实推理请求周期性探测节点(不是 /healthz),记录首字延迟、吞吐与失败率
3人工审核通过后节点进入调度;流量按实测表现分配,连续失败会被暂时摘除
4每次经你节点处理的请求逐条计量,控制台可见请求数与 token 数;按月结算

控制台 API

控制台使用的管理接口位于 /admin/v1,以登录会话 token 鉴权(Authorization: Bearer <session>),与 API Key 分离。可用于自动化查询用量与账单:

端点说明
POST /admin/v1/auth/login邮箱 + 密码换取会话 token(有效 7 天;修改密码会吊销其他设备的会话)
GET /admin/v1/keys · POST · DELETE /{id}密钥列表 / 创建 / 吊销
GET /admin/v1/usage · /usage/series用量汇总与时间序列(按模型、按密钥)
GET /admin/v1/billing账单:按量项目 + 专属容量月切片
GET /admin/v1/logs请求日志(仅本账户密钥)
GET /admin/v1/nodes · /instances算力节点与专属实例
服务可用性见 状态页;企业级部署、VPC 与私有化方案见 企业方案