LLM
Streaming de respuestas de LLM por SSE con la API
Con stream: true en POST /llm/chat/completions, Connect responde en text/event-stream, una línea data: por fragmento y data: [DONE] al final, como en OpenAI. El stream del SDK de OpenAI funciona sin adaptación, con modelos de OpenAI, Anthropic y Meta.
La llamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"stream": true,
"stream_options": {
"include_usage": true
},
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}Qué puedes hacer
- Mostrar la respuesta al usuario mientras se genera.
- Pedir el consumo en el stream con stream_options: {"include_usage": true}.
- Usar el mismo código de stream para los tres proveedores.
- Combinar stream con fallback (models) y tools en los modelos que lo soportan.
Reglas y límites
- Con stream: true la respuesta es text/event-stream: una línea data: {chunk} por fragmento y data: [DONE] al final.
- El chunk con usage solo viene si envías stream_options: {"include_usage": true}.
- Sin stream, la respuesta puede empezar con espacios en blanco mientras el modelo genera; el espacio antes del JSON sigue siendo JSON válido y el SDK de OpenAI lo lee con normalidad.
- Un error después de que la respuesta empezó no cambia el status 200: en el stream llega como un evento data: {"error": {...}} y el stream termina sin data: [DONE]. Revisa error antes de leer choices.
- Timeouts: 30s hasta el primer token, 60s sin token nuevo y 300s en total (llm_timeout, 504).
Campos principales
| Campo | Tipo | Obligatorio | Descripción |
|---|---|---|---|
| model | string | Sí | Id del modelo, de GET /llm/models, con formato proveedor/modelo. |
| messages | array | Sí | La conversación, como en OpenAI. role: system, developer, user, assistant o tool. |
| max_tokens | integer | Sí | Obligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada. |
| stream | boolean | No | Con true, la respuesta es text/event-stream. |
| stream_options.include_usage | boolean | No | Con true, el chunk final trae usage (tokens). |
Para quién
Chat dentro de tu SaaS
El asistente de tu producto escribe la respuesta en tiempo real, sin que el usuario espere la respuesta completa.
Interfaces de agente
Muestra el texto parcial de un agente mientras trabaja.
Generación larga de informes
Muestra el resumen de un informe a medida que se genera el texto, en lugar de una pantalla de carga.
Preguntas frecuentes
¿Cómo activo el streaming?
Envía stream: true en el cuerpo de POST /llm/chat/completions. La respuesta pasa a ser text/event-stream, con data: [DONE] al final.
¿Cómo obtengo el consumo de tokens en el stream?
Envía stream_options: {"include_usage": true}. El chunk con usage solo viene si lo pides.
¿Qué pasa si hay un error a mitad del stream?
El status 200 ya salió, así que el error llega como un evento data: {"error": {...}} y el stream termina sin data: [DONE]. El SDK de OpenAI lanza el error.
Mira Connect aplicado a tu producto.
Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.
