LLM

Changer de fournisseur LLM sans changer le code via l'API

Le corps de POST /llm/chat/completions est celui d'OpenAI pour les trois fournisseurs. Pour passer d'OpenAI à Anthropic ou Meta, vous changez la valeur de model et rien d'autre : la passerelle traduit l'appel pour le fournisseur et renvoie la réponse au format OpenAI.

L'appel

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Ce que vous pouvez faire

  • Alterner entre openai/gpt-5.4-mini, anthropic/claude-sonnet-5-5, meta/muse-spark-1.3 et les autres modèles de GET /llm/models.
  • Garder le même code de messages, system prompt, tools et stream chez tous les fournisseurs.
  • Stocker model dans une config à vous et changer sans déploiement.
  • Consulter le prix et les limites de chaque modèle avant de changer, dans GET /llm/models.

Règles et limites

  • model est l'id de GET /llm/models, au format fournisseur/modèle. Un id hors liste renvoie 400 llm_model_not_allowed.
  • Vous devez avoir enregistré la clé du fournisseur cible dans /merchants/credentials/{openai|anthropic|meta}, sinon la réponse est 400 llm_credential_missing.
  • Chez Anthropic, temperature, top_p et top_k sont ignorés ; chez Meta, frequency_penalty et presence_penalty sont ignorés.
  • Chez Anthropic, response_format JSON, parties audio ou fichier et tools autres que function renvoient 400 llm_unsupported_field.
  • max_tokens ne peut dépasser ni le max_output_tokens du modèle choisi ni le plafond du compte.

Champs principaux

ChampTypeObligatoireDescription
modelstringOuiId du modèle, issu de GET /llm/models, au format fournisseur/modèle.
messagesarrayOuiLa conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool.
max_tokensintegerOuiObligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel.
temperaturenumberNonTempérature d'échantillonnage. Ignorée chez Anthropic.
stopstringNonSéquences d'arrêt, chaîne ou liste.

Pour qui

  • Éviter la dépendance à un fournisseur

    Votre SaaS change de fournisseur quand le prix ou la qualité changent, sans réécrire l'intégration.

  • Tests A/B de modèles

    Envoyez le même prompt à des modèles différents et comparez coût et réponse, en ne changeant que model.

  • Un modèle par offre

    Utilisez un modèle économique sur l'offre de base et un plus grand sur la premium, choisi via le champ model.

Questions fréquentes

Dois-je adapter le corps en changeant de fournisseur ?

Non. Le corps est celui d'OpenAI pour tous. La passerelle traduit pour Anthropic : system et developer, texte, image_url, tools et tool_calls, tool_choice auto et none, stop, max_tokens, stream et usage.

Certains paramètres se comportent-ils différemment ?

Oui. Chez Anthropic, temperature, top_p et top_k sont ignorés. Chez Meta, frequency_penalty et presence_penalty sont ignorés. Vérifiez aussi supports_tools et supports_vision du modèle dans GET /llm/models.

Quelle erreur si j'oublie la clé du nouveau fournisseur ?

400 avec error.code llm_credential_missing, au format d'erreur d'OpenAI. Enregistrez la clé dans /merchants/credentials/{openai|anthropic|meta}.

Voir aussi

Voir tout ce que vous pouvez faire avec LLM

Voyez Connect appliqué à votre produit.

Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.