LLM
Function calling com OpenAI, Anthropic e Meta pela API
Em POST /llm/chat/completions, tools e tool_choice seguem o formato da OpenAI. O modelo devolve tool_calls, você executa a função e manda o resultado em uma mensagem com role tool. Para a Anthropic, o Connect traduz tools e tool_calls, então o código é o mesmo.
A chamada
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "openai/gpt-5.4-mini",
"models": [
"anthropic/claude-haiku-5-5"
],
"max_tokens": 512,
"messages": [
{
"role": "user",
"content": "What was yesterday's reach?"
}
],
"tools": [
{
"type": "function",
"function": {
"name": "get_reach",
"description": "Account reach on a given day",
"parameters": {
"type": "object",
"properties": {
"date": {
"type": "string",
"format": "date"
}
},
"required": [
"date"
]
}
}
}
],
"tool_choice": "auto"
}O que dá para fazer
- Declarar funções em tools e deixar o modelo decidir quando chamá-las.
- Devolver o resultado da função com uma mensagem role: tool e tool_call_id.
- Usar tool_choice auto ou none em todos os modelos.
- Conferir em GET /llm/models quais modelos têm supports_tools.
- Combinar tools com fallback e stream.
Regras e limites
- tools e tool_choice só são aceitos se todo modelo da chamada (model e cada item de models) tiver supports_tools. Caso contrário: 400 llm_unsupported_field.
- Nem todo modelo suporta tools: confira supports_tools em GET /llm/models antes de escolher.
- tool_choice aceita auto e none em todos os modelos.
- Na Anthropic, tools que não sejam do tipo function retornam 400 llm_unsupported_field.
- A resposta traz tool_calls em choices[].message, com finish_reason tool_calls quando o modelo pede uma função.
Campos principais
| Campo | Tipo | Obrigatório | Descrição |
|---|---|---|---|
| model | string | Sim | Id do modelo, de GET /llm/models, no formato provedor/modelo. |
| messages | array | Sim | A conversa, como na OpenAI. role: system, developer, user, assistant ou tool. |
| max_tokens | integer | Sim | Obrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada. |
| tools | array | Não | Funções que o modelo pode chamar, como na OpenAI. Só em modelos com supports_tools. |
| tool_choice | string | Não | auto ou none em todos os modelos. |
| tool_calls | array | Não | Na resposta: as chamadas de função que o modelo pediu, em choices[].message. |
Para quem
Agente que consulta os dados do cliente
O modelo chama uma função sua que busca as métricas do cliente pela API do Connect e responde com os números.
Assistente que executa ações
Declare funções como criar tarefa ou agendar reunião no seu SaaS e deixe o modelo escolher quando usar.
Extração estruturada
Use uma função com parâmetros tipados para o modelo devolver dados estruturados a partir de texto livre.
Perguntas frequentes
Todos os modelos suportam tools?
Não. Cada modelo em GET /llm/models tem o campo supports_tools. Enviar tools para um modelo sem ele retorna 400 llm_unsupported_field.
O formato muda entre provedores?
Não. Você envia tools no formato da OpenAI e lê tool_calls da resposta. Para a Anthropic, o Connect traduz tools e tool_calls.
Funciona com fallback?
Sim, desde que todos os modelos da chamada tenham supports_tools. Se algum não tiver, a chamada é recusada antes de ir ao modelo.
Veja o Connect aplicado ao seu produto.
Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.
