LLM

Trocar de provedor de LLM sem mudar o código pela API

O corpo de POST /llm/chat/completions é o da OpenAI para os três provedores. Para trocar de OpenAI para Anthropic ou Meta, você muda o valor de model e mais nada: o gateway traduz a chamada para o provedor e devolve a resposta no formato da OpenAI.

A chamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

O que dá para fazer

  • Alternar entre openai/gpt-5.4-mini, anthropic/claude-sonnet-5-5, meta/muse-spark-1.3 e os demais modelos de GET /llm/models.
  • Manter o mesmo código de mensagens, system prompt, tools e stream em todos os provedores.
  • Guardar o model numa configuração sua e trocar sem deploy.
  • Consultar preço e limites de cada modelo antes de trocar, em GET /llm/models.

Regras e limites

  • O model é o id de GET /llm/models, no formato provedor/modelo. Um id fora da lista retorna 400 llm_model_not_allowed.
  • Você precisa ter cadastrado a chave do provedor de destino em /merchants/credentials/{openai|anthropic|meta}, senão a resposta é 400 llm_credential_missing.
  • Na Anthropic, temperature, top_p e top_k são ignorados; na Meta, frequency_penalty e presence_penalty são ignorados.
  • Na Anthropic, response_format JSON, partes de áudio ou arquivo e tools que não sejam function retornam 400 llm_unsupported_field.
  • O max_tokens não pode passar do max_output_tokens do modelo escolhido nem do teto da conta.

Campos principais

CampoTipoObrigatórioDescrição
modelstringSimId do modelo, de GET /llm/models, no formato provedor/modelo.
messagesarraySimA conversa, como na OpenAI. role: system, developer, user, assistant ou tool.
max_tokensintegerSimObrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada.
temperaturenumberNãoTemperatura de amostragem. Ignorada na Anthropic.
stopstringNãoSequências de parada, string ou lista.

Para quem

  • Evitar dependência de um provedor

    Seu SaaS muda de provedor quando preço ou qualidade mudam, sem reescrever a integração.

  • Testes A/B de modelos

    Envie o mesmo prompt a modelos diferentes e compare custo e resposta, mudando só o model.

  • Modelo por plano

    Use um modelo barato no plano básico e um maior no plano premium, escolhido pelo campo model.

Perguntas frequentes

Preciso adaptar o corpo ao trocar de provedor?

Não. O corpo é o da OpenAI para todos. O gateway traduz para a Anthropic: system e developer, texto, image_url, tools e tool_calls, tool_choice auto e none, stop, max_tokens, stream e usage.

Alguns parâmetros se comportam diferente?

Sim. Na Anthropic, temperature, top_p e top_k são ignorados. Na Meta, frequency_penalty e presence_penalty são ignorados. Confira também supports_tools e supports_vision do modelo em GET /llm/models.

Qual erro recebo se esquecer a chave do novo provedor?

400 com error.code llm_credential_missing, no formato de erro da OpenAI. Cadastre a chave em /merchants/credentials/{openai|anthropic|meta}.

Relacionadas

Ver tudo que dá para fazer em LLM

Veja o Connect aplicado ao seu produto.

Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.