跳至主要内容

流式响应

按 OpenAI 或 Anthropic 协议消费 SSE,区分正常完成、错误和断连。

开启流式

先确认所选 profile 声明 stream,在该配置请求里设置 "stream":true。cURL 加 --no-buffer 可及时显示事件。鉴权、模型 UUID、预算和价格版本与非流式请求相同。

响应类型是 text/event-stream。以空行划分事件,合并同一事件的 data: 行;网络读取块可能拆开 UTF-8 字符或一条事件,不能把每次 socket read 当完整 JSON。

OpenAI 格式

以下为简化事件示意:

text
data: {"choices":[{"index":0,"delta":{"content":"Hello"}}]}

data: {"choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

累积 choices[].delta.content。工具调用增量按 index/ID 合并。正常结束需要原协议终止信号,不能把单纯断开连接当成功。usage 是否返回以及位置取决于具体模型;缺失时不编造 0。

Anthropic 格式

text
event: message_start
data: {"type":"message_start","message":{"role":"assistant","content":[]}}

event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Hello"}}

event: message_stop
data: {"type":"message_stop"}

这是节选,不是完整消息事件序列。真实客户端还需处理 content_block_start/stop、message_delta、工具参数增量等所选模型实际事件;以 message_stop 判断正常消息终止,不套用 OpenAI 的 [DONE]。

错误、取消和费用

情况应用如何处理
首字节前的非 2xx读取协议错误对象,保留请求 ID
: keep-alive 等注释帧只维持连接,不当模型输出
流开始后出现 error标记失败/待核对,不能因 HTTP 200 宣布成功
用户取消、网络断连、缺正常终止保留已交付输出,查询原请求,避免自动重发
正常协议终止可标记输出完成;费用仍按原消费记录确认

已交付部分输出后取消不代表全额退费。到本人请求与账单核对。Agent Run 有自己的事件合同,本页不是全产品统一 WebSocket/SSE 承诺。

OpenAI 参考 · Anthropic 参考 · 错误处理