LLM

Repli automatique entre modèles LLM via l'API

Dans POST /llm/chat/completions, le champ optionnel models liste jusqu'à 3 modèles à essayer, dans l'ordre, quand model échoue avant le premier token. La réponse indique quel modèle a répondu. Vous avez un plan B chez un autre fournisseur sans écrire de logique de retry.

L'appel

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "models": [
    "anthropic/claude-haiku-5-5"
  ],
  "max_tokens": 512,
  "messages": [
    {
      "role": "user",
      "content": "What was yesterday's reach?"
    }
  ]
}

Ce que vous pouvez faire

  • Définir jusqu'à 3 modèles de secours, y compris d'un autre fournisseur, comme openai/gpt-5.4-mini avec anthropic/claude-haiku-5-5 en repli.
  • Savoir quel modèle a répondu grâce au champ model de la réponse.
  • Combiner le repli avec stream et tools, tant que tous les modèles de l'appel gèrent ce que vous demandez.
  • Éviter l'indisponibilité quand un fournisseur échoue ou est lent.

Règles et limites

  • Le repli s'active quand model échoue avant d'envoyer le premier token : erreur du fournisseur, limite ou timeout. Après le premier token, l'erreur vous parvient.
  • Il n'y a jamais de nouvelle tentative sur le même modèle.
  • models accepte 3 éléments au maximum, tous de GET /llm/models ; un id hors liste renvoie 400 llm_model_not_allowed.
  • Il vous faut la clé de chaque fournisseur de la chaîne, model et models, sinon 400 llm_credential_missing.
  • tools et images ne valent que si tous les modèles de l'appel ont supports_tools et supports_vision ; le repli reçoit le même max_tokens, qui doit convenir à tous.

Champs principaux

ChampTypeObligatoireDescription
modelstringOuiId du modèle, issu de GET /llm/models, au format fournisseur/modèle.
modelsarrayNonRepli : jusqu'à 3 modèles de GET /llm/models, essayés dans l'ordre si model échoue avant le premier token.
messagesarrayOuiLa conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool.
max_tokensintegerOuiObligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel.
modelstringNonDans la réponse : le modèle qui a répondu, model ou l'un des models.

Pour qui

  • Un assistant IA toujours disponible

    Votre produit continue de répondre quand un fournisseur tombe, car le modèle suivant de la liste prend le relais.

  • Le coût d'abord, la qualité en secours

    Essayez un modèle économique et gardez un plus grand en secours pour quand il échoue.

  • Agents résilients

    Un agent de longue durée ne s'arrête pas pour une panne ponctuelle d'un fournisseur.

Questions fréquentes

Quand le repli se déclenche-t-il ?

Quand model échoue avant d'envoyer le premier token : erreur du fournisseur, limite ou timeout. Après le premier token, l'erreur vous est transmise et le modèle n'est pas changé.

Comment savoir quel modèle a répondu ?

Par le champ model de la réponse : il porte model ou l'un des models, s'il y a eu repli.

Puis-je utiliser le repli avec tools ?

Oui, si tous les modèles de l'appel (model et chaque élément de models) ont supports_tools. Si l'un ne l'a pas, l'appel est refusé avec 400 llm_unsupported_field.

Voir aussi

Voir tout ce que vous pouvez faire avec LLM

Voyez Connect appliqué à votre produit.

Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.