LLM
Cambiar de proveedor de LLM sin cambiar el código con la API
El cuerpo de POST /llm/chat/completions es el de OpenAI para los tres proveedores. Para pasar de OpenAI a Anthropic o Meta, cambias el valor de model y nada más: el gateway traduce la llamada al proveedor y devuelve la respuesta en formato OpenAI.
La llamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "openai/gpt-5.4-mini",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": "Summarize the account's week."
}
]
}Qué puedes hacer
- Alternar entre openai/gpt-5.4-mini, anthropic/claude-sonnet-5-5, meta/muse-spark-1.3 y los demás modelos de GET /llm/models.
- Mantener el mismo código de mensajes, system prompt, tools y stream en todos los proveedores.
- Guardar model en una configuración tuya y cambiar sin deploy.
- Consultar precio y límites de cada modelo antes de cambiar, en GET /llm/models.
Reglas y límites
- model es el id de GET /llm/models, con formato proveedor/modelo. Un id fuera de la lista devuelve 400 llm_model_not_allowed.
- Debes haber registrado la clave del proveedor de destino en /merchants/credentials/{openai|anthropic|meta}; si no, la respuesta es 400 llm_credential_missing.
- En Anthropic, temperature, top_p y top_k se ignoran; en Meta, se ignoran frequency_penalty y presence_penalty.
- En Anthropic, response_format JSON, partes de audio o archivo y tools que no sean function devuelven 400 llm_unsupported_field.
- max_tokens no puede superar el max_output_tokens del modelo elegido ni el tope de la cuenta.
Campos principales
| Campo | Tipo | Obligatorio | Descripción |
|---|---|---|---|
| model | string | Sí | Id del modelo, de GET /llm/models, con formato proveedor/modelo. |
| messages | array | Sí | La conversación, como en OpenAI. role: system, developer, user, assistant o tool. |
| max_tokens | integer | Sí | Obligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada. |
| temperature | number | No | Temperatura de muestreo. Ignorada en Anthropic. |
| stop | string | No | Secuencias de parada, string o lista. |
Para quién
Evitar la dependencia de un proveedor
Tu SaaS cambia de proveedor cuando cambian el precio o la calidad, sin reescribir la integración.
Pruebas A/B de modelos
Envía el mismo prompt a modelos distintos y compara costo y respuesta, cambiando solo model.
Modelo por plan
Usa un modelo barato en el plan básico y uno mayor en el premium, elegido con el campo model.
Preguntas frecuentes
¿Debo adaptar el cuerpo al cambiar de proveedor?
No. El cuerpo es el de OpenAI para todos. El gateway traduce para Anthropic: system y developer, texto, image_url, tools y tool_calls, tool_choice auto y none, stop, max_tokens, stream y usage.
¿Algunos parámetros se comportan distinto?
Sí. En Anthropic, temperature, top_p y top_k se ignoran. En Meta, se ignoran frequency_penalty y presence_penalty. Revisa también supports_tools y supports_vision del modelo en GET /llm/models.
¿Qué error recibo si olvido la clave del nuevo proveedor?
400 con error.code llm_credential_missing, en el formato de error de OpenAI. Registra la clave en /merchants/credentials/{openai|anthropic|meta}.
Mira Connect aplicado a tu producto.
Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.
