开启流式
先确认所选 profile 声明 stream,在该配置请求里设置 "stream":true。cURL 加 --no-buffer 可及时显示事件。鉴权、模型 UUID、预算和价格版本与非流式请求相同。
响应类型是 text/event-stream。以空行划分事件,合并同一事件的 data: 行;网络读取块可能拆开 UTF-8 字符或一条事件,不能把每次 socket read 当完整 JSON。
OpenAI 格式
以下为简化事件示意:
data: {"choices":[{"index":0,"delta":{"content":"Hello"}}]}
data: {"choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}
data: [DONE]
累积 choices[].delta.content。工具调用增量按 index/ID 合并。正常结束需要原协议终止信号,不能把单纯断开连接当成功。usage 是否返回以及位置取决于具体模型;缺失时不编造 0。
Anthropic 格式
event: message_start
data: {"type":"message_start","message":{"role":"assistant","content":[]}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Hello"}}
event: message_stop
data: {"type":"message_stop"}
这是节选,不是完整消息事件序列。真实客户端还需处理 content_block_start/stop、message_delta、工具参数增量等所选模型实际事件;以 message_stop 判断正常消息终止,不套用 OpenAI 的 [DONE]。
错误、取消和费用
| 情况 | 应用如何处理 |
|---|---|
| 首字节前的非 2xx | 读取协议错误对象,保留请求 ID |
: keep-alive 等注释帧 | 只维持连接,不当模型输出 |
| 流开始后出现 error | 标记失败/待核对,不能因 HTTP 200 宣布成功 |
| 用户取消、网络断连、缺正常终止 | 保留已交付输出,查询原请求,避免自动重发 |
| 正常协议终止 | 可标记输出完成;费用仍按原消费记录确认 |
已交付部分输出后取消不代表全额退费。到本人请求与账单核对。Agent Run 有自己的事件合同,本页不是全产品统一 WebSocket/SSE 承诺。