LLM

Streaming de respuestas de LLM por SSE con la API

Con stream: true en POST /llm/chat/completions, Connect responde en text/event-stream, una línea data: por fragmento y data: [DONE] al final, como en OpenAI. El stream del SDK de OpenAI funciona sin adaptación, con modelos de OpenAI, Anthropic y Meta.

La llamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 1024,
  "stream": true,
  "stream_options": {
    "include_usage": true
  },
  "messages": [
    {
      "role": "system",
      "content": "You summarize marketing data in English."
    },
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Qué puedes hacer

  • Mostrar la respuesta al usuario mientras se genera.
  • Pedir el consumo en el stream con stream_options: {"include_usage": true}.
  • Usar el mismo código de stream para los tres proveedores.
  • Combinar stream con fallback (models) y tools en los modelos que lo soportan.

Reglas y límites

  • Con stream: true la respuesta es text/event-stream: una línea data: {chunk} por fragmento y data: [DONE] al final.
  • El chunk con usage solo viene si envías stream_options: {"include_usage": true}.
  • Sin stream, la respuesta puede empezar con espacios en blanco mientras el modelo genera; el espacio antes del JSON sigue siendo JSON válido y el SDK de OpenAI lo lee con normalidad.
  • Un error después de que la respuesta empezó no cambia el status 200: en el stream llega como un evento data: {"error": {...}} y el stream termina sin data: [DONE]. Revisa error antes de leer choices.
  • Timeouts: 30s hasta el primer token, 60s sin token nuevo y 300s en total (llm_timeout, 504).

Campos principales

CampoTipoObligatorioDescripción
modelstringSíId del modelo, de GET /llm/models, con formato proveedor/modelo.
messagesarraySíLa conversación, como en OpenAI. role: system, developer, user, assistant o tool.
max_tokensintegerSíObligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada.
streambooleanNoCon true, la respuesta es text/event-stream.
stream_options.include_usagebooleanNoCon true, el chunk final trae usage (tokens).

Para quién

  • Chat dentro de tu SaaS

    El asistente de tu producto escribe la respuesta en tiempo real, sin que el usuario espere la respuesta completa.

  • Interfaces de agente

    Muestra el texto parcial de un agente mientras trabaja.

  • Generación larga de informes

    Muestra el resumen de un informe a medida que se genera el texto, en lugar de una pantalla de carga.

Preguntas frecuentes

¿Cómo activo el streaming?

Envía stream: true en el cuerpo de POST /llm/chat/completions. La respuesta pasa a ser text/event-stream, con data: [DONE] al final.

¿Cómo obtengo el consumo de tokens en el stream?

Envía stream_options: {"include_usage": true}. El chunk con usage solo viene si lo pides.

¿Qué pasa si hay un error a mitad del stream?

El status 200 ya salió, así que el error llega como un evento data: {"error": {...}} y el stream termina sin data: [DONE]. El SDK de OpenAI lanza el error.

Relacionadas

Ver todo lo que puedes hacer con LLM

Mira Connect aplicado a tu producto.

Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.