LLM

Une API LLM pour OpenAI, Anthropic et Meta via l'API

POST /llm/chat/completions a le même corps, la même réponse et le même stream que POST /v1/chat/completions d'OpenAI, et sert des modèles de trois fournisseurs. Vous enregistrez la clé de chaque fournisseur une fois et le SDK OpenAI fonctionne sans adaptation : seuls la base URL et le model changent.

L'appel

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "system",
      "content": "You summarize marketing data in English."
    },
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Ce que vous pouvez faire

  • Appeler des modèles OpenAI, Anthropic et Meta (Muse) avec un seul corps au format OpenAI.
  • Lister les modèles disponibles, avec prix et limites, dans GET /llm/models.
  • Changer de fournisseur en modifiant seulement la valeur de model, par exemple anthropic/claude-sonnet-5-5 ou openai/gpt-5.4-mini.
  • Utiliser stream, tools et images sur les modèles qui les gèrent.
  • S'authentifier avec le seul Bearer du merchant, sans x-customer-token.

Règles et limites

  • La passerelle n'appelle un fournisseur qu'avec la clé du merchant lui-même, enregistrée une fois dans /merchants/credentials/{openai|anthropic|meta}. Le fournisseur vous facture directement.
  • Sans la clé du fournisseur d'un modèle de l'appel, la réponse est 400 llm_credential_missing.
  • max_tokens (ou max_completion_tokens) est obligatoire à chaque appel.
  • n doit valoir 1 ou être absent ; audio, modalities, prediction, logprobs, top_logprobs et logit_bias ne sont pas acceptés (llm_unsupported_field).
  • Les erreurs arrivent au format d'erreur d'OpenAI : {"error": {"message", "type", "code"}}. Branchez sur error.code.

Champs principaux

ChampTypeObligatoireDescription
modelstringOuiId du modèle, issu de GET /llm/models, au format fournisseur/modèle.
messagesarrayOuiLa conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool.
max_tokensintegerOuiObligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel.
owned_bystringNonDans GET /llm/models : le fournisseur du modèle (openai, anthropic ou meta).
modelsarrayNonRepli : jusqu'à 3 modèles de GET /llm/models, essayés dans l'ordre si model échoue avant le premier token.
streambooleanNonAvec true, la réponse est en text/event-stream.

Pour qui

  • Fonctions d'IA dans votre SaaS

    Résumez des rapports, rédigez des légendes ou répondez aux questions des clients avec le modèle de votre choix, sans écrire un client par fournisseur.

  • Agents IA

    Votre agent utilise le SDK OpenAI pointé vers Connect et alterne entre les modèles selon la tâche.

  • Comparer des modèles

    Exécutez le même prompt sur des modèles de fournisseurs différents en ne changeant que model, pour choisir le meilleur coût et la meilleure qualité.

Questions fréquentes

Puis-je utiliser le SDK OpenAI ?

Oui. Le corps, la réponse et le stream sont ceux d'OpenAI, le SDK fonctionne donc sans adaptation : pointez la base URL vers Connect, utilisez le Bearer du merchant et choisissez le model dans GET /llm/models.

Qui paie l'usage des modèles ?

Le fournisseur, sur votre compte. La passerelle n'appelle un fournisseur qu'avec la clé que vous avez enregistrée dans /merchants/credentials/{openai|anthropic|meta}. Connect enregistre les tokens et le coût de chaque appel.

Ai-je besoin du x-customer-token ?

Non. Les routes LLM n'utilisent que le Bearer du merchant : l'usage et le coût sont ceux du merchant, pas d'un client.

Voir aussi

Voir tout ce que vous pouvez faire avec LLM

Voyez Connect appliqué à votre produit.

Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.