LLM
Uma API de LLM para OpenAI, Anthropic e Meta pela API
POST /llm/chat/completions tem o mesmo corpo, a mesma resposta e o mesmo stream do POST /v1/chat/completions da OpenAI, e atende modelos de três provedores. Você cadastra a chave de cada provedor uma vez e o SDK da OpenAI funciona sem adaptação: só mudam a base URL e o model.
A chamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}O que dá para fazer
- Chamar modelos da OpenAI, da Anthropic e da Meta (Muse) com um corpo único no formato OpenAI.
- Listar os modelos disponíveis, com preço e limites, em GET /llm/models.
- Trocar de provedor mudando apenas o valor de model, por exemplo anthropic/claude-sonnet-5-5 ou openai/gpt-5.4-mini.
- Usar stream, tools e imagens nos modelos que suportam.
- Autenticar só com o Bearer do merchant, sem x-customer-token.
Regras e limites
- O gateway só chama um provedor com a chave do próprio merchant, cadastrada uma vez em /merchants/credentials/{openai|anthropic|meta}. O provedor cobra direto de você.
- Sem a chave do provedor de um modelo da chamada, a resposta é 400 llm_credential_missing.
- max_tokens (ou max_completion_tokens) é obrigatório em toda chamada.
- n precisa ser 1 ou ausente; audio, modalities, prediction, logprobs, top_logprobs e logit_bias não são aceitos (llm_unsupported_field).
- Os erros vêm no formato de erro da OpenAI: {"error": {"message", "type", "code"}}. Ramifique por error.code.
Campos principais
| Campo | Tipo | Obrigatório | Descrição |
|---|---|---|---|
| model | string | Sim | Id do modelo, de GET /llm/models, no formato provedor/modelo. |
| messages | array | Sim | A conversa, como na OpenAI. role: system, developer, user, assistant ou tool. |
| max_tokens | integer | Sim | Obrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada. |
| owned_by | string | Não | Em GET /llm/models: o provedor do modelo (openai, anthropic ou meta). |
| models | array | Não | Fallback: até 3 modelos de GET /llm/models, tentados em ordem se model falhar antes do primeiro token. |
| stream | boolean | Não | Com true, a resposta é text/event-stream. |
Para quem
Recursos de IA no seu SaaS
Resuma relatórios, gere legendas ou responda perguntas dos clientes com um modelo à escolha, sem escrever um cliente por provedor.
Agentes de IA
Seu agente usa o SDK da OpenAI apontado para o Connect e alterna entre modelos conforme a tarefa.
Comparar modelos
Rode o mesmo prompt em modelos de provedores diferentes mudando só o model, para escolher o melhor custo e qualidade.
Perguntas frequentes
Posso usar o SDK da OpenAI?
Sim. O corpo, a resposta e o stream são os da OpenAI, então o SDK funciona sem adaptação: aponte a base URL para o Connect, use o Bearer do merchant e escolha o model de GET /llm/models.
Quem paga pelo uso dos modelos?
O provedor, na sua conta. O gateway só chama um provedor com a chave que você cadastrou em /merchants/credentials/{openai|anthropic|meta}. O Connect registra os tokens e o custo de cada chamada.
Preciso do x-customer-token?
Não. As rotas de LLM usam só o Bearer do merchant: o uso e o custo são do merchant, não de um cliente.
Veja o Connect aplicado ao seu produto.
Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.
