LLM

Function calling con OpenAI, Anthropic y Meta con la API

En POST /llm/chat/completions, tools y tool_choice siguen el formato de OpenAI. El modelo devuelve tool_calls, ejecutas la función y envías el resultado en un mensaje con role tool. Para Anthropic, Connect traduce tools y tool_calls, así que el código es el mismo.

La llamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "models": [
    "anthropic/claude-haiku-5-5"
  ],
  "max_tokens": 512,
  "messages": [
    {
      "role": "user",
      "content": "What was yesterday's reach?"
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_reach",
        "description": "Account reach on a given day",
        "parameters": {
          "type": "object",
          "properties": {
            "date": {
              "type": "string",
              "format": "date"
            }
          },
          "required": [
            "date"
          ]
        }
      }
    }
  ],
  "tool_choice": "auto"
}

Qué puedes hacer

  • Declarar funciones en tools y dejar que el modelo decida cuándo llamarlas.
  • Devolver el resultado de la función con un mensaje role: tool y tool_call_id.
  • Usar tool_choice auto o none en todos los modelos.
  • Consultar en GET /llm/models qué modelos tienen supports_tools.
  • Combinar tools con fallback y stream.

Reglas y límites

  • tools y tool_choice solo se aceptan si todo modelo de la llamada (model y cada ítem de models) tiene supports_tools. Si no: 400 llm_unsupported_field.
  • No todos los modelos soportan tools: revisa supports_tools en GET /llm/models antes de elegir.
  • tool_choice acepta auto y none en todos los modelos.
  • En Anthropic, las tools que no sean de tipo function devuelven 400 llm_unsupported_field.
  • La respuesta trae tool_calls en choices[].message, con finish_reason tool_calls cuando el modelo pide una función.

Campos principales

CampoTipoObligatorioDescripción
modelstringSíId del modelo, de GET /llm/models, con formato proveedor/modelo.
messagesarraySíLa conversación, como en OpenAI. role: system, developer, user, assistant o tool.
max_tokensintegerSíObligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada.
toolsarrayNoFunciones que el modelo puede llamar, como en OpenAI. Solo en modelos con supports_tools.
tool_choicestringNoauto o none en todos los modelos.
tool_callsarrayNoEn la respuesta: las llamadas a funciones que pidió el modelo, en choices[].message.

Para quién

  • Agente que consulta los datos del cliente

    El modelo llama a una función tuya que busca las métricas del cliente con la API de Connect y responde con los números.

  • Asistente que ejecuta acciones

    Declara funciones como crear tarea o agendar reunión en tu SaaS y deja que el modelo elija cuándo usarlas.

  • Extracción estructurada

    Usa una función con parámetros tipados para que el modelo devuelva datos estructurados a partir de texto libre.

Preguntas frecuentes

¿Todos los modelos soportan tools?

No. Cada modelo en GET /llm/models tiene el campo supports_tools. Enviar tools a un modelo sin él devuelve 400 llm_unsupported_field.

¿El formato cambia entre proveedores?

No. Envías tools en formato OpenAI y lees tool_calls de la respuesta. Para Anthropic, Connect traduce tools y tool_calls.

¿Funciona con fallback?

Sí, siempre que todos los modelos de la llamada tengan supports_tools. Si alguno no lo tiene, la llamada se rechaza antes de llegar al modelo.

Relacionadas

Ver todo lo que puedes hacer con LLM

Mira Connect aplicado a tu producto.

Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.