LLM

Function calling com OpenAI, Anthropic e Meta pela API

Em POST /llm/chat/completions, tools e tool_choice seguem o formato da OpenAI. O modelo devolve tool_calls, você executa a função e manda o resultado em uma mensagem com role tool. Para a Anthropic, o Connect traduz tools e tool_calls, então o código é o mesmo.

A chamada

POST /api/llm/chat/completions
Authorization: Bearer <merchant token>

{
  "model": "openai/gpt-5.4-mini",
  "models": [
    "anthropic/claude-haiku-5-5"
  ],
  "max_tokens": 512,
  "messages": [
    {
      "role": "user",
      "content": "What was yesterday's reach?"
    }
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_reach",
        "description": "Account reach on a given day",
        "parameters": {
          "type": "object",
          "properties": {
            "date": {
              "type": "string",
              "format": "date"
            }
          },
          "required": [
            "date"
          ]
        }
      }
    }
  ],
  "tool_choice": "auto"
}

O que dá para fazer

  • Declarar funções em tools e deixar o modelo decidir quando chamá-las.
  • Devolver o resultado da função com uma mensagem role: tool e tool_call_id.
  • Usar tool_choice auto ou none em todos os modelos.
  • Conferir em GET /llm/models quais modelos têm supports_tools.
  • Combinar tools com fallback e stream.

Regras e limites

  • tools e tool_choice só são aceitos se todo modelo da chamada (model e cada item de models) tiver supports_tools. Caso contrário: 400 llm_unsupported_field.
  • Nem todo modelo suporta tools: confira supports_tools em GET /llm/models antes de escolher.
  • tool_choice aceita auto e none em todos os modelos.
  • Na Anthropic, tools que não sejam do tipo function retornam 400 llm_unsupported_field.
  • A resposta traz tool_calls em choices[].message, com finish_reason tool_calls quando o modelo pede uma função.

Campos principais

CampoTipoObrigatórioDescrição
modelstringSimId do modelo, de GET /llm/models, no formato provedor/modelo.
messagesarraySimA conversa, como na OpenAI. role: system, developer, user, assistant ou tool.
max_tokensintegerSimObrigatório (ou max_completion_tokens). Até o teto da conta e o max_output_tokens de cada modelo da chamada.
toolsarrayNãoFunções que o modelo pode chamar, como na OpenAI. Só em modelos com supports_tools.
tool_choicestringNãoauto ou none em todos os modelos.
tool_callsarrayNãoNa resposta: as chamadas de função que o modelo pediu, em choices[].message.

Para quem

  • Agente que consulta os dados do cliente

    O modelo chama uma função sua que busca as métricas do cliente pela API do Connect e responde com os números.

  • Assistente que executa ações

    Declare funções como criar tarefa ou agendar reunião no seu SaaS e deixe o modelo escolher quando usar.

  • Extração estruturada

    Use uma função com parâmetros tipados para o modelo devolver dados estruturados a partir de texto livre.

Perguntas frequentes

Todos os modelos suportam tools?

Não. Cada modelo em GET /llm/models tem o campo supports_tools. Enviar tools para um modelo sem ele retorna 400 llm_unsupported_field.

O formato muda entre provedores?

Não. Você envia tools no formato da OpenAI e lê tool_calls da resposta. Para a Anthropic, o Connect traduz tools e tool_calls.

Funciona com fallback?

Sim, desde que todos os modelos da chamada tenham supports_tools. Se algum não tiver, a chamada é recusada antes de ir ao modelo.

Relacionadas

Ver tudo que dá para fazer em LLM

Veja o Connect aplicado ao seu produto.

Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.