LLM
Streaming des réponses LLM en SSE via l'API
Avec stream: true dans POST /llm/chat/completions, Connect répond en text/event-stream, une ligne data: par morceau et data: [DONE] à la fin, comme chez OpenAI. Le stream du SDK OpenAI fonctionne sans adaptation, avec des modèles OpenAI, Anthropic et Meta.
L'appel
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"stream": true,
"stream_options": {
"include_usage": true
},
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}Ce que vous pouvez faire
- Afficher la réponse à l'utilisateur pendant sa génération.
- Demander la consommation dans le stream avec stream_options: {"include_usage": true}.
- Utiliser le même code de stream pour les trois fournisseurs.
- Combiner stream avec le repli (models) et tools sur les modèles qui les gèrent.
Règles et limites
- Avec stream: true, la réponse est en text/event-stream : une ligne data: {chunk} par morceau et data: [DONE] à la fin.
- Le chunk avec usage n'arrive que si vous envoyez stream_options: {"include_usage": true}.
- Sans stream, la réponse peut commencer par des espaces pendant que le modèle génère ; des espaces avant le JSON restent du JSON valide et le SDK OpenAI les lit normalement.
- Une erreur après le début de la réponse ne change pas le statut 200 : dans le stream, elle arrive comme un évènement data: {"error": {...}} et le stream se termine sans data: [DONE]. Vérifiez error avant de lire choices.
- Timeouts : 30 s jusqu'au premier token, 60 s sans nouveau token et 300 s au total (llm_timeout, 504).
Champs principaux
| Champ | Type | Obligatoire | Description |
|---|---|---|---|
| model | string | Oui | Id du modèle, issu de GET /llm/models, au format fournisseur/modèle. |
| messages | array | Oui | La conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool. |
| max_tokens | integer | Oui | Obligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel. |
| stream | boolean | Non | Avec true, la réponse est en text/event-stream. |
| stream_options.include_usage | boolean | Non | Avec true, le dernier chunk porte usage (tokens). |
Pour qui
Chat dans votre SaaS
L'assistant de votre produit écrit la réponse en temps réel, sans que l'utilisateur attende la réponse entière.
Interfaces d'agent
Affichez le texte partiel d'un agent pendant qu'il travaille.
Génération longue de rapports
Affichez le résumé d'un rapport au fil de la génération du texte, au lieu d'un écran de chargement.
Questions fréquentes
Comment activer le streaming ?
Envoyez stream: true dans le corps de POST /llm/chat/completions. La réponse devient text/event-stream, avec data: [DONE] à la fin.
Comment obtenir la consommation de tokens dans le stream ?
Envoyez stream_options: {"include_usage": true}. Le chunk avec usage n'arrive que si vous le demandez.
Que se passe-t-il en cas d'erreur en plein stream ?
Le statut 200 est déjà parti, l'erreur arrive donc comme un évènement data: {"error": {...}} et le stream se termine sans data: [DONE]. Le SDK OpenAI lève l'erreur.
Voyez Connect appliqué à votre produit.
Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.
