LLM

Cambiar de proveedor de LLM sin cambiar el código con la API

El cuerpo de POST /llm/chat/completions es el de OpenAI para los tres proveedores. Para pasar de OpenAI a Anthropic o Meta, cambias el valor de model y nada más: el gateway traduce la llamada al proveedor y devuelve la respuesta en formato OpenAI.

La llamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Summarize the account's week."
    }
  ]
}

Qué puedes hacer

  • Alternar entre openai/gpt-5.4-mini, anthropic/claude-sonnet-5-5, meta/muse-spark-1.3 y los demás modelos de GET /llm/models.
  • Mantener el mismo código de mensajes, system prompt, tools y stream en todos los proveedores.
  • Guardar model en una configuración tuya y cambiar sin deploy.
  • Consultar precio y límites de cada modelo antes de cambiar, en GET /llm/models.

Reglas y límites

  • model es el id de GET /llm/models, con formato proveedor/modelo. Un id fuera de la lista devuelve 400 llm_model_not_allowed.
  • Debes haber registrado la clave del proveedor de destino en /merchants/credentials/{openai|anthropic|meta}; si no, la respuesta es 400 llm_credential_missing.
  • En Anthropic, temperature, top_p y top_k se ignoran; en Meta, se ignoran frequency_penalty y presence_penalty.
  • En Anthropic, response_format JSON, partes de audio o archivo y tools que no sean function devuelven 400 llm_unsupported_field.
  • max_tokens no puede superar el max_output_tokens del modelo elegido ni el tope de la cuenta.

Campos principales

CampoTipoObligatorioDescripción
modelstringSíId del modelo, de GET /llm/models, con formato proveedor/modelo.
messagesarraySíLa conversación, como en OpenAI. role: system, developer, user, assistant o tool.
max_tokensintegerSíObligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada.
temperaturenumberNoTemperatura de muestreo. Ignorada en Anthropic.
stopstringNoSecuencias de parada, string o lista.

Para quién

  • Evitar la dependencia de un proveedor

    Tu SaaS cambia de proveedor cuando cambian el precio o la calidad, sin reescribir la integración.

  • Pruebas A/B de modelos

    Envía el mismo prompt a modelos distintos y compara costo y respuesta, cambiando solo model.

  • Modelo por plan

    Usa un modelo barato en el plan básico y uno mayor en el premium, elegido con el campo model.

Preguntas frecuentes

¿Debo adaptar el cuerpo al cambiar de proveedor?

No. El cuerpo es el de OpenAI para todos. El gateway traduce para Anthropic: system y developer, texto, image_url, tools y tool_calls, tool_choice auto y none, stop, max_tokens, stream y usage.

¿Algunos parámetros se comportan distinto?

Sí. En Anthropic, temperature, top_p y top_k se ignoran. En Meta, se ignoran frequency_penalty y presence_penalty. Revisa también supports_tools y supports_vision del modelo en GET /llm/models.

¿Qué error recibo si olvido la clave del nuevo proveedor?

400 con error.code llm_credential_missing, en el formato de error de OpenAI. Registra la clave en /merchants/credentials/{openai|anthropic|meta}.

Relacionadas

Ver todo lo que puedes hacer con LLM

Mira Connect aplicado a tu producto.

Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.