LLM
Function calling con OpenAI, Anthropic y Meta con la API
En POST /llm/chat/completions, tools y tool_choice siguen el formato de OpenAI. El modelo devuelve tool_calls, ejecutas la función y envías el resultado en un mensaje con role tool. Para Anthropic, Connect traduce tools y tool_calls, así que el código es el mismo.
La llamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "openai/gpt-5.4-mini",
"models": [
"anthropic/claude-haiku-5-5"
],
"max_tokens": 512,
"messages": [
{
"role": "user",
"content": "What was yesterday's reach?"
}
],
"tools": [
{
"type": "function",
"function": {
"name": "get_reach",
"description": "Account reach on a given day",
"parameters": {
"type": "object",
"properties": {
"date": {
"type": "string",
"format": "date"
}
},
"required": [
"date"
]
}
}
}
],
"tool_choice": "auto"
}Qué puedes hacer
- Declarar funciones en tools y dejar que el modelo decida cuándo llamarlas.
- Devolver el resultado de la función con un mensaje role: tool y tool_call_id.
- Usar tool_choice auto o none en todos los modelos.
- Consultar en GET /llm/models qué modelos tienen supports_tools.
- Combinar tools con fallback y stream.
Reglas y límites
- tools y tool_choice solo se aceptan si todo modelo de la llamada (model y cada ítem de models) tiene supports_tools. Si no: 400 llm_unsupported_field.
- No todos los modelos soportan tools: revisa supports_tools en GET /llm/models antes de elegir.
- tool_choice acepta auto y none en todos los modelos.
- En Anthropic, las tools que no sean de tipo function devuelven 400 llm_unsupported_field.
- La respuesta trae tool_calls en choices[].message, con finish_reason tool_calls cuando el modelo pide una función.
Campos principales
| Campo | Tipo | Obligatorio | Descripción |
|---|---|---|---|
| model | string | Sí | Id del modelo, de GET /llm/models, con formato proveedor/modelo. |
| messages | array | Sí | La conversación, como en OpenAI. role: system, developer, user, assistant o tool. |
| max_tokens | integer | Sí | Obligatorio (o max_completion_tokens). Hasta el tope de la cuenta y el max_output_tokens de cada modelo de la llamada. |
| tools | array | No | Funciones que el modelo puede llamar, como en OpenAI. Solo en modelos con supports_tools. |
| tool_choice | string | No | auto o none en todos los modelos. |
| tool_calls | array | No | En la respuesta: las llamadas a funciones que pidió el modelo, en choices[].message. |
Para quién
Agente que consulta los datos del cliente
El modelo llama a una función tuya que busca las métricas del cliente con la API de Connect y responde con los números.
Asistente que ejecuta acciones
Declara funciones como crear tarea o agendar reunión en tu SaaS y deja que el modelo elija cuándo usarlas.
Extracción estructurada
Usa una función con parámetros tipados para que el modelo devuelva datos estructurados a partir de texto libre.
Preguntas frecuentes
¿Todos los modelos soportan tools?
No. Cada modelo en GET /llm/models tiene el campo supports_tools. Enviar tools a un modelo sin él devuelve 400 llm_unsupported_field.
¿El formato cambia entre proveedores?
No. Envías tools en formato OpenAI y lees tool_calls de la respuesta. Para Anthropic, Connect traduce tools y tool_calls.
¿Funciona con fallback?
Sí, siempre que todos los modelos de la llamada tengan supports_tools. Si alguno no lo tiene, la llamada se rechaza antes de llegar al modelo.
Mira Connect aplicado a tu producto.
Pruébalo durante 15 días sin tarjeta, o cuéntale tu caso a nuestro equipo.
