LLM

Uma API de LLM para OpenAI, Anthropic e Meta pela API

POST /llm/chat/completions tem o mesmo corpo, a mesma resposta e o mesmo stream do POST /v1/chat/completions da OpenAI, e atende modelos de três provedores. Você cadastra a chave de cada provedor uma vez e o SDK da OpenAI funciona sem adaptação: só mudam a base URL e o model.

A chamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "system",
      "content": "You summarize marketing data in English."
    },
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

O que dá para fazer

  • Chamar modelos da OpenAI, da Anthropic e da Meta (Muse) com um corpo único no formato OpenAI.
  • Listar os modelos disponíveis, com preço e limites, em GET /llm/models.
  • Trocar de provedor mudando apenas o valor de model, por exemplo anthropic/claude-sonnet-5-5 ou openai/gpt-5.4-mini.
  • Usar stream, tools e imagens nos modelos que suportam.
  • Autenticar só com o Bearer do merchant, sem x-customer-token.

Regras e limites

  • O gateway só chama um provedor com a chave do próprio merchant, cadastrada uma vez em /merchants/credentials/{openai|anthropic|meta}. O provedor cobra direto de você.
  • Sem a chave do provedor de um modelo da chamada, a resposta é 400 llm_credential_missing.
  • max_tokens (ou max_completion_tokens) é obrigatório em toda chamada.
  • n precisa ser 1 ou ausente; audio, modalities, prediction, logprobs, top_logprobs e logit_bias não são aceitos (llm_unsupported_field).
  • Os erros vêm no formato de erro da OpenAI: {"error": {"message", "type", "code"}}. Ramifique por error.code.

Campos principais

CampoTipoObrigatórioDescrição
modelstringSimId do modelo, de GET /llm/models, no formato provedor/modelo.
messagesarraySimA conversa, como na OpenAI. role: system, developer, user, assistant ou tool.
max_tokensintegerSimObrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada.
owned_bystringNãoEm GET /llm/models: o provedor do modelo (openai, anthropic ou meta).
modelsarrayNãoFallback: até 3 modelos de GET /llm/models, tentados em ordem se model falhar antes do primeiro token.
streambooleanNãoCom true, a resposta é text/event-stream.

Para quem

  • Recursos de IA no seu SaaS

    Resuma relatórios, gere legendas ou responda perguntas dos clientes com um modelo à escolha, sem escrever um cliente por provedor.

  • Agentes de IA

    Seu agente usa o SDK da OpenAI apontado para o Connect e alterna entre modelos conforme a tarefa.

  • Comparar modelos

    Rode o mesmo prompt em modelos de provedores diferentes mudando só o model, para escolher o melhor custo e qualidade.

Perguntas frequentes

Posso usar o SDK da OpenAI?

Sim. O corpo, a resposta e o stream são os da OpenAI, então o SDK funciona sem adaptação: aponte a base URL para o Connect, use o Bearer do merchant e escolha o model de GET /llm/models.

Quem paga pelo uso dos modelos?

O provedor, na sua conta. O gateway só chama um provedor com a chave que você cadastrou em /merchants/credentials/{openai|anthropic|meta}. O Connect registra os tokens e o custo de cada chamada.

Preciso do x-customer-token?

Não. As rotas de LLM usam só o Bearer do merchant: o uso e o custo são do merchant, não de um cliente.

Relacionadas

Ver tudo que dá para fazer em LLM

Veja o Connect aplicado ao seu produto.

Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.