LLM
Una API de LLM para OpenAI, Anthropic y Meta con la API
POST /llm/chat/completions tiene el mismo cuerpo, la misma respuesta y el mismo stream que POST /v1/chat/completions de OpenAI, y atiende modelos de tres proveedores. Registras la clave de cada proveedor una vez y el SDK de OpenAI funciona sin adaptación: solo cambian la base URL y el model.
La llamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}Qué puedes hacer
- Llamar a modelos de OpenAI, Anthropic y Meta (Muse) con un único cuerpo en formato OpenAI.
- Listar los modelos disponibles, con precio y límites, en GET /llm/models.
- Cambiar de proveedor modificando solo el valor de model, por ejemplo anthropic/claude-sonnet-5-5 u openai/gpt-5.4-mini.
- Usar stream, tools e imágenes en los modelos que lo soportan.
- Autenticar solo con el Bearer del merchant, sin x-customer-token.
Reglas y límites
- El gateway solo llama a un proveedor con la clave del propio merchant, registrada una vez en /merchants/credentials/{openai|anthropic|meta}. El proveedor te cobra directamente.
- Sin la clave del proveedor de un modelo de la llamada, la respuesta es 400 llm_credential_missing.
- max_tokens (o max_completion_tokens) es obligatorio en toda llamada.
- n debe ser 1 o estar ausente; audio, modalities, prediction, logprobs, top_logprobs y logit_bias no se aceptan (llm_unsupported_field).
- Los errores vienen en el formato de error de OpenAI: {"error": {"message", "type", "code"}}. Ramifica por error.code.
Campos principales
| Campo | Tipo | Obligatorio | Descripción |
|---|---|---|---|
| model | string | Sí | Id del modelo, de GET /llm/models, con formato proveedor/modelo. |
| messages | array | Sí | La conversación, como en OpenAI. role: system, developer, user, assistant o tool. |
| max_tokens | integer | Sí | Obligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada. |
| owned_by | string | No | En GET /llm/models: el proveedor del modelo (openai, anthropic o meta). |
| models | array | No | Fallback: hasta 3 modelos de GET /llm/models, probados en orden si model falla antes del primer token. |
| stream | boolean | No | Con true, la respuesta es text/event-stream. |
Para quién
Funciones de IA en tu SaaS
Resume informes, genera descripciones o responde preguntas de los clientes con el modelo que elijas, sin escribir un cliente por proveedor.
Agentes de IA
Tu agente usa el SDK de OpenAI apuntado a Connect y alterna entre modelos según la tarea.
Comparar modelos
Ejecuta el mismo prompt en modelos de distintos proveedores cambiando solo model, para elegir el mejor costo y calidad.
Preguntas frecuentes
¿Puedo usar el SDK de OpenAI?
Sí. El cuerpo, la respuesta y el stream son los de OpenAI, así que el SDK funciona sin adaptación: apunta la base URL a Connect, usa el Bearer del merchant y elige el model de GET /llm/models.
¿Quién paga el uso de los modelos?
El proveedor, en tu cuenta. El gateway solo llama a un proveedor con la clave que registraste en /merchants/credentials/{openai|anthropic|meta}. Connect registra los tokens y el costo de cada llamada.
¿Necesito el x-customer-token?
No. Las rutas de LLM usan solo el Bearer del merchant: el uso y el costo son del merchant, no de un cliente.
Mira Connect aplicado a tu producto.
Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.
