• AO VIVO
  • LIMPEZA
  • AUDITORIA
  • MANUAL

Como atualizar o roteamento de modelos com sua IA

Conecte o LiteLLM ao seu agente para gerenciar endpoints do proxy em tempo real. Substitua modelos com erro ou adicione novos sem mexer em arquivos de configuração.

Pergunte à IA sobre esta página

Resposta rápida

Como posso mudar meus endpoints de modelo usando uma IA?

Você instrui seu agente a adicionar ou remover modelos específicos do seu proxy LiteLLM. Ele usa chamadas de ferramentas diretas para modificar sua configuração de roteamento instantaneamente. As mudanças aparecem no tráfego do seu proxy na hora.

Resultados do roteamento.

Onde suas mudanças agem.

O que acontece quando seu agente modifica o proxy.

AO VIVO

Novos endpoints ativos

O agente usa create_model para registrar um novo endpoint. Seu tráfego passa a usar o novo modelo imediatamente.

LIMPEZA

Modelos com erro removidos

Quando uma implantação falha, o agente usa delete_model para retirá-la do proxy. Isso evita que requisições caiam em endpoints inativos.

AUDITORIA

Visualização da configuração

O agente usa get_model_info para verificar quais modelos estão ativos. Você tem uma visão clara do estado do seu roteamento.

MANUAL

Supervisão humana

O agente cuida da execução técnica, mas você decide quais modelos adicionar ou remover. Você mantém o controle total sobre custos e lógica de roteamento.

O fluxo

O que sua IA faz ao receber o comando.

Seu agente funciona como uma ponte entre sua interface de chat e a configuração do proxy LiteLLM.

  1. Inspecionar roteamento atual

    O agente verifica a configuração atual do proxy para ver quais modelos estão disponíveis para uso.

    get_model_info

  2. Registrar novos modelos

    Quando você quiser expandir suas opções, o agente adiciona os detalhes do novo modelo ao proxy.

    create_model

  3. Remover endpoints com falha

    Se uma implantação específica estiver gerando erros, o agente a remove da tabela de roteamento.

    delete_model

  4. Verificar a alteração

    O agente faz uma checagem final para garantir que a tabela de roteamento esteja conforme o solicitado.

    get_model_info

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar o gerenciamento do seu proxy LiteLLM.

Pontos de partida

Estes são comandos básicos. Substitua os nomes dos modelos e detalhes do provedor pela sua configuração específica.

LiteLLM Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
Copie no chat04

  • Mostre-me todos os modelos configurados atualmente no meu proxy LiteLLM.

  • Adicione um novo endpoint de modelo para openai/gpt-4o ao meu proxy.

  • Remova a implantação com falha anthropic/claude-3-opus do meu roteamento.

  • Verifique os detalhes do modelo chamado 'production-llama-3'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o LiteLLM uma vez e depois é só pedir.

Uma única conexão dá ao seu agente acesso total às ferramentas do seu proxy. Suas credenciais permanecem criptografadas e seguras.

Conectar LiteLLM à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode alterar minhas chaves de API?

    Não. O agente só pode gerenciar endpoints de modelos e o roteamento através das ferramentas fornecidas.

  • 02

    A IA vai deletar todos os meus modelos por engano?

    Não. O agente só deleta modelos específicos que você solicitar explicitamente.

  • 03

    Isso funciona com qualquer proxy?

    Não. Este MCP foi construído especificamente para o gerenciamento do proxy LiteLLM.

  • 04

    A IA pode monitorar meus gastos totais?

    Não. Embora o LiteLLM rastreie gastos, as ferramentas deste MCP servem apenas para roteamento e gerenciamento de modelos.

  • 05

    Como sei se um modelo foi adicionado com sucesso?

    O agente usará a ferramenta de informação para verificar se o novo modelo existe no proxy logo após criá-lo.

  • Mais dúvidas sobre o LiteLLM? A página do Connector responde. Veja tudo o que o LiteLLM Connector pode fazer

Conecte LiteLLM ao Claude, Cursor, ChatGPT e outros