LLM

Una API de LLM para OpenAI, Anthropic y Meta con la API

POST /llm/chat/completions tiene el mismo cuerpo, la misma respuesta y el mismo stream que POST /v1/chat/completions de OpenAI, y atiende modelos de tres proveedores. Registras la clave de cada proveedor una vez y el SDK de OpenAI funciona sin adaptación: solo cambian la base URL y el model.

La llamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "anthropic/claude-sonnet-5-5",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "system",
      "content": "You summarize marketing data in English."
    },
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Qué puedes hacer

  • Llamar a modelos de OpenAI, Anthropic y Meta (Muse) con un único cuerpo en formato OpenAI.
  • Listar los modelos disponibles, con precio y límites, en GET /llm/models.
  • Cambiar de proveedor modificando solo el valor de model, por ejemplo anthropic/claude-sonnet-5-5 u openai/gpt-5.4-mini.
  • Usar stream, tools e imágenes en los modelos que lo soportan.
  • Autenticar solo con el Bearer del merchant, sin x-customer-token.

Reglas y límites

  • El gateway solo llama a un proveedor con la clave del propio merchant, registrada una vez en /merchants/credentials/{openai|anthropic|meta}. El proveedor te cobra directamente.
  • Sin la clave del proveedor de un modelo de la llamada, la respuesta es 400 llm_credential_missing.
  • max_tokens (o max_completion_tokens) es obligatorio en toda llamada.
  • n debe ser 1 o estar ausente; audio, modalities, prediction, logprobs, top_logprobs y logit_bias no se aceptan (llm_unsupported_field).
  • Los errores vienen en el formato de error de OpenAI: {"error": {"message", "type", "code"}}. Ramifica por error.code.

Campos principales

CampoTipoObligatorioDescripción
modelstringSíId del modelo, de GET /llm/models, con formato proveedor/modelo.
messagesarraySíLa conversación, como en OpenAI. role: system, developer, user, assistant o tool.
max_tokensintegerSíObligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada.
owned_bystringNoEn GET /llm/models: el proveedor del modelo (openai, anthropic o meta).
modelsarrayNoFallback: hasta 3 modelos de GET /llm/models, probados en orden si model falla antes del primer token.
streambooleanNoCon true, la respuesta es text/event-stream.

Para quién

  • Funciones de IA en tu SaaS

    Resume informes, genera descripciones o responde preguntas de los clientes con el modelo que elijas, sin escribir un cliente por proveedor.

  • Agentes de IA

    Tu agente usa el SDK de OpenAI apuntado a Connect y alterna entre modelos según la tarea.

  • Comparar modelos

    Ejecuta el mismo prompt en modelos de distintos proveedores cambiando solo model, para elegir el mejor costo y calidad.

Preguntas frecuentes

¿Puedo usar el SDK de OpenAI?

Sí. El cuerpo, la respuesta y el stream son los de OpenAI, así que el SDK funciona sin adaptación: apunta la base URL a Connect, usa el Bearer del merchant y elige el model de GET /llm/models.

¿Quién paga el uso de los modelos?

El proveedor, en tu cuenta. El gateway solo llama a un proveedor con la clave que registraste en /merchants/credentials/{openai|anthropic|meta}. Connect registra los tokens y el costo de cada llamada.

¿Necesito el x-customer-token?

No. Las rutas de LLM usan solo el Bearer del merchant: el uso y el costo son del merchant, no de un cliente.

Relacionadas

Ver todo lo que puedes hacer con LLM

Mira Connect aplicado a tu producto.

Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.