LLM
OpenAI, Anthropic e Meta numa API só, com a sua chave
Um endpoint no formato de chat completions da OpenAI para os modelos dos três provedores. A chamada usa a chave que você cadastrou em cada provedor, e trocar de modelo é trocar uma string.
POST /api/llm/chat/completions
Authorization: Bearer <merchant token>
{
"model": "anthropic/claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [
{
"role": "system",
"content": "You summarize marketing data in English."
},
{
"role": "user",
"content": "Summarize the account's week."
}
]
}O que dá para fazer
- Uma API de LLM para OpenAI, Anthropic e MetaChame modelos da OpenAI, da Anthropic e da Meta (Muse) com o formato de chat completions da OpenAI, usando o SDK que você já tem.
- Trocar de provedor de LLM sem mudar o códigoTroque entre OpenAI, Anthropic e Meta mudando só o campo model: mesmo corpo, mesma resposta e mesmo SDK.
- Fallback automático entre modelos de LLMEnvie até 3 modelos de reserva em models e a chamada segue para o próximo se o principal falhar, mesmo entre provedores diferentes.
- Streaming de respostas de LLM por SSEUse stream: true e receba a resposta do modelo aos poucos, em text/event-stream, no formato da OpenAI e com os modelos de três provedores.
- Function calling com OpenAI, Anthropic e MetaEnvie tools no formato da OpenAI e receba tool_calls dos modelos que suportam, com o mesmo código para OpenAI, Anthropic e Meta.
- Enviar imagens para LLMs (visão)Mande partes image_url nas mensagens e peça ao modelo para analisar imagens, no formato da OpenAI e com modelos de três provedores.
- Listar modelos de LLM e preçosGET /llm/models lista os modelos que você pode chamar, com preço por 1M de tokens, limites e se aceitam tools e imagens.
Outras funcionalidades
Veja o Connect aplicado ao seu produto.
Teste por 15 dias sem cartão, ou mostre seu cenário ao nosso time.
