LLM

Enviar imágenes a LLMs (visión) con la API

En POST /llm/chat/completions, el content de un mensaje puede mezclar partes text e image_url, como en OpenAI. Los modelos con supports_vision en GET /llm/models aceptan imágenes, y Connect traduce image_url para Anthropic, así que el código es el mismo.

La llamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 512,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "Describe this ad creative."
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "https://example.com/creative.jpg"
          }
        }
      ]
    }
  ]
}

Qué puedes hacer

  • Pedir al modelo que describa o analice una imagen.
  • Mezclar texto y varias imágenes en el mismo mensaje.
  • Consultar en GET /llm/models qué modelos tienen supports_vision.
  • Combinar imágenes con stream y fallback.

Reglas y límites

  • Las partes image_url solo se aceptan si todo modelo de la llamada (model y cada ítem de models) tiene supports_vision. Si no: 400 llm_unsupported_field.
  • En Anthropic, las partes de audio o archivo devuelven 400 llm_unsupported_field; las imágenes por image_url se traducen.
  • El cuerpo de la solicitud es de máximo 1 MB (413 llm_request_too_large).
  • max_tokens sigue siendo obligatorio y no puede superar el tope de la cuenta ni el max_output_tokens de los modelos.
  • Las imágenes cuentan como tokens de entrada, cobrados por el proveedor en tu clave.

Campos principales

CampoTipoObligatorioDescripción
modelstringSíId del modelo, de GET /llm/models, con formato proveedor/modelo.
messagesarraySíLa conversación. content puede ser texto o partes text e image_url.
max_tokensintegerSíObligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada.
modelsarrayNoFallback: hasta 3 modelos de GET /llm/models, probados en orden si model falla antes del primer token.

Para quién

  • Análisis de creativos de anuncios

    Tu producto envía el creativo de una campaña y recibe una evaluación del visual y del texto.

  • Texto alternativo y descripciones

    Genera descripciones de imágenes para publicaciones de clientes directo desde tu SaaS.

  • Agentes que leen capturas y gráficos

    Un agente recibe la captura de un dashboard y explica los números en texto.

Preguntas frecuentes

¿Qué modelos aceptan imágenes?

Los que tienen supports_vision verdadero en GET /llm/models. Enviar image_url a un modelo sin él devuelve 400 llm_unsupported_field.

¿Cómo envío la imagen?

Como en OpenAI: una parte del content con type image_url y el objeto image_url. Connect la traduce para Anthropic.

¿Hay límite de tamaño?

Todo el cuerpo de la solicitud puede tener hasta 1 MB. Por encima, la respuesta es 413 llm_request_too_large.

Relacionadas

Ver todo lo que puedes hacer con LLM

Mira Connect aplicado a tu producto.

Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.