LLM
Repli automatique entre modèles LLM via l'API
Dans POST /llm/chat/completions, le champ optionnel models liste jusqu'à 3 modèles à essayer, dans l'ordre, quand model échoue avant le premier token. La réponse indique quel modèle a répondu. Vous avez un plan B chez un autre fournisseur sans écrire de logique de retry.
L'appel
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "openai/gpt-5.4-mini",
"models": [
"anthropic/claude-haiku-5-5"
],
"max_tokens": 512,
"messages": [
{
"role": "user",
"content": "What was yesterday's reach?"
}
]
}Ce que vous pouvez faire
- Définir jusqu'à 3 modèles de secours, y compris d'un autre fournisseur, comme openai/gpt-5.4-mini avec anthropic/claude-haiku-5-5 en repli.
- Savoir quel modèle a répondu grâce au champ model de la réponse.
- Combiner le repli avec stream et tools, tant que tous les modèles de l'appel gèrent ce que vous demandez.
- Éviter l'indisponibilité quand un fournisseur échoue ou est lent.
Règles et limites
- Le repli s'active quand model échoue avant d'envoyer le premier token : erreur du fournisseur, limite ou timeout. Après le premier token, l'erreur vous parvient.
- Il n'y a jamais de nouvelle tentative sur le même modèle.
- models accepte 3 éléments au maximum, tous de GET /llm/models ; un id hors liste renvoie 400 llm_model_not_allowed.
- Il vous faut la clé de chaque fournisseur de la chaîne, model et models, sinon 400 llm_credential_missing.
- tools et images ne valent que si tous les modèles de l'appel ont supports_tools et supports_vision ; le repli reçoit le même max_tokens, qui doit convenir à tous.
Champs principaux
| Champ | Type | Obligatoire | Description |
|---|---|---|---|
| model | string | Oui | Id du modèle, issu de GET /llm/models, au format fournisseur/modèle. |
| models | array | Non | Repli : jusqu'à 3 modèles de GET /llm/models, essayés dans l'ordre si model échoue avant le premier token. |
| messages | array | Oui | La conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool. |
| max_tokens | integer | Oui | Obligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel. |
| model | string | Non | Dans la réponse : le modèle qui a répondu, model ou l'un des models. |
Pour qui
Un assistant IA toujours disponible
Votre produit continue de répondre quand un fournisseur tombe, car le modèle suivant de la liste prend le relais.
Le coût d'abord, la qualité en secours
Essayez un modèle économique et gardez un plus grand en secours pour quand il échoue.
Agents résilients
Un agent de longue durée ne s'arrête pas pour une panne ponctuelle d'un fournisseur.
Questions fréquentes
Quand le repli se déclenche-t-il ?
Quand model échoue avant d'envoyer le premier token : erreur du fournisseur, limite ou timeout. Après le premier token, l'erreur vous est transmise et le modèle n'est pas changé.
Comment savoir quel modèle a répondu ?
Par le champ model de la réponse : il porte model ou l'un des models, s'il y a eu repli.
Puis-je utiliser le repli avec tools ?
Oui, si tous les modèles de l'appel (model et chaque élément de models) ont supports_tools. Si l'un ne l'a pas, l'appel est refusé avec 400 llm_unsupported_field.
Voyez Connect appliqué à votre produit.
Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.
