LLM
Une API LLM pour OpenAI, Anthropic et Meta via l'API
POST /llm/chat/completions a le même corps, la même réponse et le même stream que POST /v1/chat/completions d'OpenAI, et sert des modèles de trois fournisseurs. Vous enregistrez la clé de chaque fournisseur une fois et le SDK OpenAI fonctionne sans adaptation : seuls la base URL et le model changent.
L'appel
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}Ce que vous pouvez faire
- Appeler des modèles OpenAI, Anthropic et Meta (Muse) avec un seul corps au format OpenAI.
- Lister les modèles disponibles, avec prix et limites, dans GET /llm/models.
- Changer de fournisseur en modifiant seulement la valeur de model, par exemple anthropic/claude-sonnet-5-5 ou openai/gpt-5.4-mini.
- Utiliser stream, tools et images sur les modèles qui les gèrent.
- S'authentifier avec le seul Bearer du merchant, sans x-customer-token.
Règles et limites
- La passerelle n'appelle un fournisseur qu'avec la clé du merchant lui-même, enregistrée une fois dans /merchants/credentials/{openai|anthropic|meta}. Le fournisseur vous facture directement.
- Sans la clé du fournisseur d'un modèle de l'appel, la réponse est 400 llm_credential_missing.
- max_tokens (ou max_completion_tokens) est obligatoire à chaque appel.
- n doit valoir 1 ou être absent ; audio, modalities, prediction, logprobs, top_logprobs et logit_bias ne sont pas acceptés (llm_unsupported_field).
- Les erreurs arrivent au format d'erreur d'OpenAI : {"error": {"message", "type", "code"}}. Branchez sur error.code.
Champs principaux
| Champ | Type | Obligatoire | Description |
|---|---|---|---|
| model | string | Oui | Id du modèle, issu de GET /llm/models, au format fournisseur/modèle. |
| messages | array | Oui | La conversation, comme chez OpenAI. role : system, developer, user, assistant ou tool. |
| max_tokens | integer | Oui | Obligatoire (ou max_completion_tokens). Jusqu'au plafond du compte et au max_output_tokens de chaque modèle de l'appel. |
| owned_by | string | Non | Dans GET /llm/models : le fournisseur du modèle (openai, anthropic ou meta). |
| models | array | Non | Repli : jusqu'à 3 modèles de GET /llm/models, essayés dans l'ordre si model échoue avant le premier token. |
| stream | boolean | Non | Avec true, la réponse est en text/event-stream. |
Pour qui
Fonctions d'IA dans votre SaaS
Résumez des rapports, rédigez des légendes ou répondez aux questions des clients avec le modèle de votre choix, sans écrire un client par fournisseur.
Agents IA
Votre agent utilise le SDK OpenAI pointé vers Connect et alterne entre les modèles selon la tâche.
Comparer des modèles
Exécutez le même prompt sur des modèles de fournisseurs différents en ne changeant que model, pour choisir le meilleur coût et la meilleure qualité.
Questions fréquentes
Puis-je utiliser le SDK OpenAI ?
Oui. Le corps, la réponse et le stream sont ceux d'OpenAI, le SDK fonctionne donc sans adaptation : pointez la base URL vers Connect, utilisez le Bearer du merchant et choisissez le model dans GET /llm/models.
Qui paie l'usage des modèles ?
Le fournisseur, sur votre compte. La passerelle n'appelle un fournisseur qu'avec la clé que vous avez enregistrée dans /merchants/credentials/{openai|anthropic|meta}. Connect enregistre les tokens et le coût de chaque appel.
Ai-je besoin du x-customer-token ?
Non. Les routes LLM n'utilisent que le Bearer du merchant : l'usage et le coût sont ceux du merchant, pas d'un client.
Voyez Connect appliqué à votre produit.
Essayez-le pendant 15 jours sans carte, ou présentez votre cas à notre équipe.
