LLM
Listar modelos de LLM e preços pela API
GET /llm/models devolve, no formato do GET /v1/models da OpenAI, os modelos ativos e liberados para a sua conta, de OpenAI, Anthropic e Meta (Muse), com preço, janela de contexto, limite de saída e suporte a tools e visão. O id de cada um é o que vai em model nas chamadas.
A chamada
GET /api/llm/models Authorization: Bearer <merchant token>
O que dá para fazer
- Descobrir quais modelos a sua conta pode chamar, de OpenAI, Anthropic e Meta.
- Ver o preço de entrada e de saída por 1 milhão de tokens de cada modelo.
- Ver context_window e max_output_tokens para dimensionar a chamada.
- Saber quais modelos têm supports_tools e supports_vision antes de enviar tools ou imagens.
- Montar um seletor de modelos no seu produto a partir da lista.
Regras e limites
- A lista traz só os modelos ativos e liberados para a conta, e só dos provedores em que você cadastrou a sua chave em /merchants/credentials/{provider}.
- O id é sempre provedor/modelo e é o valor de model e de models em POST /llm/chat/completions.
- O preço é em dólares por 1 milhão de tokens. Alguns modelos têm pricing.long_context: acima de above_input_tokens tokens de entrada, a chamada inteira, entrada e saída, é cobrada nesses preços.
- max_tokens de uma chamada não pode passar do max_output_tokens do modelo nem do teto da conta.
- Só o Bearer do merchant é necessário, sem x-customer-token.
Campos principais
| Campo | Tipo | Obrigatório | Descrição |
|---|---|---|---|
| id | string | Sim | O valor de model nas chamadas, sempre provedor/modelo, como anthropic/claude-sonnet-5-5. |
| owned_by | string | Sim | O provedor: openai, anthropic ou meta. |
| context_window | integer | Sim | Tokens de entrada e saída que cabem numa chamada. |
| max_output_tokens | integer | Sim | O maior max_tokens que o modelo aceita. |
| supports_tools | boolean | Sim | Se o modelo atende tools e devolve tool_calls. |
| supports_vision | boolean | Sim | Se o modelo aceita image_url nas mensagens. |
| pricing.input_per_mtok | number | Sim | Preço de entrada em dólares por 1 milhão de tokens. |
| pricing.long_context | object | Sim | Faixa de prompt longo, quando o provedor cobra mais acima de um tamanho de entrada. null quando há um preço só. |
Para quem
Seletor de modelo no seu SaaS
Mostre ao usuário os modelos disponíveis com o custo de cada um, lendo direto de GET /llm/models.
Estimativa de custo
Calcule o custo previsto de uma tarefa a partir dos preços de entrada e saída.
Agentes que escolhem o modelo
Um agente consulta a lista e escolhe o modelo mais barato que tenha supports_tools para a tarefa.
Perguntas frequentes
Por que um modelo não aparece na lista?
A lista só traz modelos ativos, liberados para a sua conta e de provedores em que você cadastrou a sua chave em /merchants/credentials/{provider}.
Quem cobra pelo uso?
O provedor, na sua chave. O Connect registra os tokens e o custo de cada chamada, com o preço de GET /llm/models na hora.
O que é pricing.long_context?
Uma faixa de prompt longo: quando a entrada passa de above_input_tokens, a chamada inteira é cobrada com os preços dessa faixa. É null nos modelos com preço único.
Veja o Connect aplicado ao seu produto.
Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.
