LLM

Streaming des réponses LLM en SSE via l'API

Avec stream: true dans POST /llm/chat/completions, Connect répond en text/event-stream, une ligne data: par morceau et data: [DONE] à la fin, comme chez OpenAI. Le stream du SDK OpenAI fonctionne sans adaptation, avec des modèles OpenAI, Anthropic et Meta.

L'appel

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 1024,
  "stream": true,
  "stream_options": {
    "include_usage": true
  },
  "messages": [
    {
      "role": "system",
      "content": "You summarize marketing data in English."
    },
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Ce que vous pouvez faire

  • Afficher la réponse à l'utilisateur pendant sa génération.
  • Demander la consommation dans le stream avec stream_options: {"include_usage": true}.
  • Utiliser le même code de stream pour les trois fournisseurs.
  • Combiner stream avec le repli (models) et tools sur les modèles qui les gèrent.

Règles et limites

  • Avec stream: true, la réponse est en text/event-stream : une ligne data: {chunk} par morceau et data: [DONE] à la fin.
  • Le chunk avec usage n'arrive que si vous envoyez stream_options: {"include_usage": true}.
  • Sans stream, la réponse peut commencer par des espaces pendant que le modèle génère ; des espaces avant le JSON restent du JSON valide et le SDK OpenAI les lit normalement.
  • Une erreur après le début de la réponse ne change pas le statut 200 : dans le stream, elle arrive comme un évènement data: {"error": {...}} et le stream se termine sans data: [DONE]. Vérifiez error avant de lire choices.
  • Timeouts : 30 s jusqu'au premier token, 60 s sans nouveau token et 300 s au total (llm_timeout, 504).

Champs principaux

ChampTypeObligatoireDescription
modelstringOuiId du modèle, issu de GET /llm/models, au format fournisseur/modèle.
messagesarrayOuiLa conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool.
max_tokensintegerOuiObligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel.
streambooleanNonAvec true, la réponse est en text/event-stream.
stream_options.include_usagebooleanNonAvec true, le dernier chunk porte usage (tokens).

Pour qui

  • Chat dans votre SaaS

    L'assistant de votre produit écrit la réponse en temps réel, sans que l'utilisateur attende la réponse entière.

  • Interfaces d'agent

    Affichez le texte partiel d'un agent pendant qu'il travaille.

  • Génération longue de rapports

    Affichez le résumé d'un rapport au fil de la génération du texte, au lieu d'un écran de chargement.

Questions fréquentes

Comment activer le streaming ?

Envoyez stream: true dans le corps de POST /llm/chat/completions. La réponse devient text/event-stream, avec data: [DONE] à la fin.

Comment obtenir la consommation de tokens dans le stream ?

Envoyez stream_options: {"include_usage": true}. Le chunk avec usage n'arrive que si vous le demandez.

Que se passe-t-il en cas d'erreur en plein stream ?

Le statut 200 est déjà parti, l'erreur arrive donc comme un évènement data: {"error": {...}} et le stream se termine sans data: [DONE]. Le SDK OpenAI lève l'erreur.

Voir aussi

Voir tout ce que vous pouvez faire avec LLM

Voyez Connect appliqué à votre produit.

Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.