LLM

Listar modelos de LLM e preços pela API

GET /llm/models devolve, no formato do GET /v1/models da OpenAI, os modelos ativos e liberados para a sua conta, de OpenAI, Anthropic e Meta (Muse), com preço, janela de contexto, limite de saída e suporte a tools e visão. O id de cada um é o que vai em model nas chamadas.

A chamada

GET /api/llm/models
Authorization: Bearer <merchant token>

O que dá para fazer

  • Descobrir quais modelos a sua conta pode chamar, de OpenAI, Anthropic e Meta.
  • Ver o preço de entrada e de saída por 1 milhão de tokens de cada modelo.
  • Ver context_window e max_output_tokens para dimensionar a chamada.
  • Saber quais modelos têm supports_tools e supports_vision antes de enviar tools ou imagens.
  • Montar um seletor de modelos no seu produto a partir da lista.

Regras e limites

  • A lista traz só os modelos ativos e liberados para a conta, e só dos provedores em que você cadastrou a sua chave em /merchants/credentials/{provider}.
  • O id é sempre provedor/modelo e é o valor de model e de models em POST /llm/chat/completions.
  • O preço é em dólares por 1 milhão de tokens. Alguns modelos têm pricing.long_context: acima de above_input_tokens tokens de entrada, a chamada inteira, entrada e saída, é cobrada nesses preços.
  • max_tokens de uma chamada não pode passar do max_output_tokens do modelo nem do teto da conta.
  • Só o Bearer do merchant é necessário, sem x-customer-token.

Campos principais

CampoTipoObrigatórioDescrição
idstringSimO valor de model nas chamadas, sempre provedor/modelo, como anthropic/claude-sonnet-5-5.
owned_bystringSimO provedor: openai, anthropic ou meta.
context_windowintegerSimTokens de entrada e saída que cabem numa chamada.
max_output_tokensintegerSimO maior max_tokens que o modelo aceita.
supports_toolsbooleanSimSe o modelo atende tools e devolve tool_calls.
supports_visionbooleanSimSe o modelo aceita image_url nas mensagens.
pricing.input_per_mtoknumberSimPreço de entrada em dólares por 1 milhão de tokens.
pricing.long_contextobjectSimFaixa de prompt longo, quando o provedor cobra mais acima de um tamanho de entrada. null quando há um preço só.

Para quem

  • Seletor de modelo no seu SaaS

    Mostre ao usuário os modelos disponíveis com o custo de cada um, lendo direto de GET /llm/models.

  • Estimativa de custo

    Calcule o custo previsto de uma tarefa a partir dos preços de entrada e saída.

  • Agentes que escolhem o modelo

    Um agente consulta a lista e escolhe o modelo mais barato que tenha supports_tools para a tarefa.

Perguntas frequentes

Por que um modelo não aparece na lista?

A lista só traz modelos ativos, liberados para a sua conta e de provedores em que você cadastrou a sua chave em /merchants/credentials/{provider}.

Quem cobra pelo uso?

O provedor, na sua chave. O Connect registra os tokens e o custo de cada chamada, com o preço de GET /llm/models na hora.

O que é pricing.long_context?

Uma faixa de prompt longo: quando a entrada passa de above_input_tokens, a chamada inteira é cobrada com os preços dessa faixa. É null nos modelos com preço único.

Relacionadas

Ver tudo que dá para fazer em LLM

Veja o Connect aplicado ao seu produto.

Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.