LLM
Trocar de provedor de LLM sem mudar o código pela API
O corpo de POST /llm/chat/completions é o da OpenAI para os três provedores. Para trocar de OpenAI para Anthropic ou Meta, você muda o valor de model e mais nada: o gateway traduz a chamada para o provedor e devolve a resposta no formato da OpenAI.
A chamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "openai/gpt-5.4-mini",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Summarize the account's week."
}
]
}O que dá para fazer
- Alternar entre openai/gpt-5.4-mini, anthropic/claude-sonnet-5-5, meta/muse-spark-1.3 e os demais modelos de GET /llm/models.
- Manter o mesmo código de mensagens, system prompt, tools e stream em todos os provedores.
- Guardar o model numa configuração sua e trocar sem deploy.
- Consultar preço e limites de cada modelo antes de trocar, em GET /llm/models.
Regras e limites
- O model é o id de GET /llm/models, no formato provedor/modelo. Um id fora da lista retorna 400 llm_model_not_allowed.
- Você precisa ter cadastrado a chave do provedor de destino em /merchants/credentials/{openai|anthropic|meta}, senão a resposta é 400 llm_credential_missing.
- Na Anthropic, temperature, top_p e top_k são ignorados; na Meta, frequency_penalty e presence_penalty são ignorados.
- Na Anthropic, response_format JSON, partes de áudio ou arquivo e tools que não sejam function retornam 400 llm_unsupported_field.
- O max_tokens não pode passar do max_output_tokens do modelo escolhido nem do teto da conta.
Campos principais
| Campo | Tipo | Obrigatório | Descrição |
|---|---|---|---|
| model | string | Sim | Id do modelo, de GET /llm/models, no formato provedor/modelo. |
| messages | array | Sim | A conversa, como na OpenAI. role: system, developer, user, assistant ou tool. |
| max_tokens | integer | Sim | Obrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada. |
| temperature | number | Não | Temperatura de amostragem. Ignorada na Anthropic. |
| stop | string | Não | Sequências de parada, string ou lista. |
Para quem
Evitar dependência de um provedor
Seu SaaS muda de provedor quando preço ou qualidade mudam, sem reescrever a integração.
Testes A/B de modelos
Envie o mesmo prompt a modelos diferentes e compare custo e resposta, mudando só o model.
Modelo por plano
Use um modelo barato no plano básico e um maior no plano premium, escolhido pelo campo model.
Perguntas frequentes
Preciso adaptar o corpo ao trocar de provedor?
Não. O corpo é o da OpenAI para todos. O gateway traduz para a Anthropic: system e developer, texto, image_url, tools e tool_calls, tool_choice auto e none, stop, max_tokens, stream e usage.
Alguns parâmetros se comportam diferente?
Sim. Na Anthropic, temperature, top_p e top_k são ignorados. Na Meta, frequency_penalty e presence_penalty são ignorados. Confira também supports_tools e supports_vision do modelo em GET /llm/models.
Qual erro recebo se esquecer a chave do novo provedor?
400 com error.code llm_credential_missing, no formato de erro da OpenAI. Cadastre a chave em /merchants/credentials/{openai|anthropic|meta}.
Veja o Connect aplicado ao seu produto.
Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.
