LLM

Enviar imagens para LLMs (visão) pela API

Em POST /llm/chat/completions, o content de uma mensagem pode misturar partes text e image_url, como na OpenAI. Os modelos com supports_vision em GET /llm/models aceitam imagens, e o Connect traduz image_url para a Anthropic, então o código é o mesmo.

A chamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 512,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Describe this ad creative."
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "https://example.com/creative.jpg"
          }
        }
      ]
    }
  ]
}

O que dá para fazer

  • Pedir ao modelo para descrever ou analisar uma imagem.
  • Misturar texto e várias imagens na mesma mensagem.
  • Conferir em GET /llm/models quais modelos têm supports_vision.
  • Combinar imagens com stream e fallback.

Regras e limites

  • Partes image_url só são aceitas se todo modelo da chamada (model e cada item de models) tiver supports_vision. Caso contrário: 400 llm_unsupported_field.
  • Na Anthropic, partes de áudio ou arquivo retornam 400 llm_unsupported_field; imagens via image_url são traduzidas.
  • O corpo da requisição tem no máximo 1 MB (413 llm_request_too_large).
  • max_tokens continua obrigatório e não pode passar do teto da conta nem do max_output_tokens dos modelos.
  • Imagens contam como tokens de entrada, cobrados pelo provedor na sua chave.

Campos principais

CampoTipoObrigatórioDescrição
modelstringSimId do modelo, de GET /llm/models, no formato provedor/modelo.
messagesarraySimA conversa. content pode ser texto ou partes text e image_url.
max_tokensintegerSimObrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada.
modelsarrayNãoFallback: até 3 modelos de GET /llm/models, tentados em ordem se model falhar antes do primeiro token.

Para quem

  • Análise de criativos de anúncios

    O seu produto envia o criativo de uma campanha e recebe uma avaliação do visual e do texto.

  • Texto alternativo e legendas

    Gere descrições de imagens para posts de clientes direto do seu SaaS.

  • Agentes que leem prints e gráficos

    Um agente recebe o print de um dashboard e explica os números em texto.

Perguntas frequentes

Quais modelos aceitam imagens?

Os que têm supports_vision verdadeiro em GET /llm/models. Enviar image_url para um modelo sem isso retorna 400 llm_unsupported_field.

Como envio a imagem?

Como na OpenAI: uma parte do content com type image_url e o objeto image_url. O Connect traduz para a Anthropic.

Há limite de tamanho?

O corpo inteiro da requisição pode ter até 1 MB. Acima disso a resposta é 413 llm_request_too_large.

Relacionadas

Ver tudo que dá para fazer em LLM

Veja o Connect aplicado ao seu produto.

Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.