• EN VIVO
  • LIMPIEZA
  • AUDITORÍA
  • MANUAL

Cómo actualizar el enrutamiento de modelos con tu IA

Conecta LiteLLM con tu agente para gestionar tus endpoints en tiempo real. Cambia modelos que fallan o añade nuevos sin tocar archivos de configuración.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo puedo cambiar mis endpoints de modelos con una IA?

Solo tienes que pedirle a tu agente que añada o elimine modelos específicos de tu proxy LiteLLM. El agente utiliza llamadas directas a herramientas para modificar la configuración de enrutamiento al instante. Verás los cambios reflejados en el tráfico de tu proxy de inmediato.

Resultados del enrutamiento.

Dónde se aplican los cambios.

Qué sucede cuando tu agente modifica el proxy.

EN VIVO

Nuevos endpoints activos

El agente usa create_model para registrar un nuevo endpoint. Tu tráfico empezará a dirigirse al nuevo modelo de inmediato.

LIMPIEZA

Modelos fallidos eliminados

Si un despliegue falla, el agente usa delete_model para retirarlo del proxy. Así evitas que las peticiones lleguen a endpoints inactivos.

AUDITORÍA

Vista de configuración actual

El agente usa get_model_info para verificar qué modelos están activos. Obtienes una visión clara del estado de tu enrutamiento.

MANUAL

Supervisión humana

El agente ejecuta la parte técnica, pero tú decides qué modelos añadir o quitar. Mantienes el control total sobre el gasto y la lógica de enrutamiento.

El flujo

Qué hace tu IA cuando llega la instrucción.

Tu agente actúa como puente entre tu interfaz de chat y la configuración del proxy LiteLLM.

  1. Inspeccionar el enrutamiento actual

    El agente revisa la configuración actual del proxy para ver qué modelos están disponibles para su uso.

    get_model_info

  2. Registrar nuevos modelos

    Cuando quieras ampliar tus opciones, el agente añade los detalles del nuevo modelo al proxy.

    create_model

  3. Eliminar endpoints con errores

    Si un despliegue específico genera errores, el agente lo retira de la tabla de enrutamiento.

    delete_model

  4. Verificar el cambio

    El agente realiza una comprobación final para asegurar que la tabla de enrutamiento coincide con lo que pediste.

    get_model_info

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para comenzar a gestionar tu proxy LiteLLM.

Puntos de partida

Estos son comandos básicos. Cambia los nombres de los modelos y los detalles del proveedor según tu configuración específica.

LiteLLM Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
Copia en el chat04

  • Muéstrame todos los modelos configurados actualmente en mi proxy LiteLLM.

  • Añade un nuevo endpoint de modelo para openai/gpt-4o a mi proxy.

  • Elimina el despliegue fallido de anthropic/claude-3-opus de mi enrutamiento.

  • Consulta los detalles del modelo llamado 'production-llama-3'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta LiteLLM una vez y luego pregunta.

Una sola conexión da a tu agente acceso total a las herramientas de tu proxy. Tus credenciales se mantienen cifradas y seguras.

Conecta LiteLLM a tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA cambiar mis claves de API?

    No. El agente solo puede gestionar los endpoints de los modelos y el enrutamiento mediante las herramientas proporcionadas.

  • 02

    ¿Podría la IA borrar todos mis modelos por error?

    No. El agente solo elimina los modelos específicos que tú le indiques explícitamente.

  • 03

    ¿Funciona con cualquier proxy?

    No. Este MCP está diseñado específicamente para la gestión del proxy LiteLLM.

  • 04

    ¿Puede la IA monitorizar mi gasto total?

    No. Aunque LiteLLM registra el gasto, las herramientas de este MCP son solo para el enrutamiento y la gestión de modelos.

  • 05

    ¿Cómo sé si un modelo se ha añadido correctamente?

    El agente utilizará la herramienta de información para verificar que el nuevo modelo existe en el proxy tras haberlo creado.

  • ¿Tienes más dudas sobre LiteLLM? La página del conector tiene las respuestas. Ver todo lo que puede hacer el conector de LiteLLM

Conecta LiteLLM a Claude, Cursor, ChatGPT y más