• LIVE
  • CLEAN
  • AUDIT
  • MANUAL

Gérer le routage des modèles avec votre IA

Connectez LiteLLM à votre agent pour piloter vos points de terminaison en temps réel. Remplacez un modèle défaillant ou ajoutez-en un nouveau sans modifier de fichier de configuration.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment modifier mes points de terminaison via une IA ?

Il vous suffit de demander à votre agent d'ajouter ou de supprimer des modèles spécifiques sur votre proxy LiteLLM. Il utilise des appels d'outils directs pour modifier votre configuration instantanément. Les changements s'appliquent immédiatement à votre trafic proxy.

Résultats du routage.

L'impact de vos modifications.

Ce qui se passe quand votre agent modifie le proxy.

LIVE

Nouveaux points actifs

L'agent utilise create_model pour enregistrer un nouvel endpoint. Votre trafic est redirigé vers le nouveau modèle immédiatement.

CLEAN

Modèles défaillants supprimés

En cas d'échec d'un déploiement, l'agent utilise delete_model pour le retirer du proxy. Cela évite d'envoyer des requêtes vers des points de terminaison hors service.

AUDIT

Vue de la configuration

L'agent utilise get_model_info pour vérifier quels modèles sont actifs. Vous obtenez une vision claire de l'état de votre routage.

MANUAL

Contrôle humain

L'agent gère l'exécution technique, mais vous décidez quels modèles ajouter ou supprimer. Vous gardez le contrôle total sur vos coûts et votre logique de routage.

Le flux

Ce que fait votre IA lors de la demande.

Votre agent sert de pont entre votre interface de chat et la configuration du proxy LiteLLM.

  1. Inspecter le routage actuel

    L'agent vérifie la configuration actuelle du proxy pour identifier les modèles disponibles.

    get_model_info

  2. Enregistrer de nouveaux modèles

    Pour étendre vos options, l'agent ajoute les détails du nouveau modèle au proxy.

    create_model

  3. Supprimer les points défaillants

    Si un déploiement génère des erreurs, l'agent le retire de la table de routage.

    delete_model

  4. Vérifier la modification

    L'agent effectue une vérification finale pour confirmer que la table de routage correspond à votre demande.

    get_model_info

Essayez

Copiez ces commandes pour commencer.

Utilisez ces prompts pour débuter la gestion de votre proxy LiteLLM.

Points de départ

Ce sont des commandes de base. Remplacez les noms de modèles et les fournisseurs par vos propres paramètres.

LiteLLM Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
Copiez dans le chat04

  • Montre-moi tous les modèles actuellement configurés dans mon proxy LiteLLM.

  • Ajoute un nouveau point de terminaison pour openai/gpt-4o à mon proxy.

  • Supprime le déploiement défaillant anthropic/claude-3-opus de mon routage.

  • Vérifie les détails du modèle nommé 'production-llama-3'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez LiteLLM une fois, puis demandez.

Une seule connexion donne à votre agent un accès complet aux outils de votre proxy. Vos identifiants restent chiffrés et sécurisés.

Connecter LiteLLM à votre IA

FAQ

Fonctionnement de la tâche.

  • 01

    L'IA peut-elle modifier mes clés API ?

    Non. L'agent peut uniquement gérer les points de terminaison et le routage via les outils fournis.

  • 02

    L'IA va-t-elle supprimer tous mes modèles par erreur ?

    Non. L'agent ne supprime que les modèles spécifiques que vous lui demandez explicitement de retirer.

  • 03

    Cela fonctionne-t-il avec n'importe quel proxy ?

    Non. Ce MCP est conçu spécifiquement pour la gestion du proxy LiteLLM.

  • 04

    L'IA peut-elle surveiller mes dépenses totales ?

    Non. Bien que LiteLLM suive les dépenses, les outils de ce MCP servent uniquement au routage et à la gestion des modèles.

  • 05

    Comment savoir si un modèle a été ajouté avec succès ?

    L'agent utilisera l'outil d'information pour vérifier que le nouveau modèle est bien présent dans le proxy après sa création.

  • D'autres questions sur LiteLLM ? La page du connecteur y répond. Voir toutes les capacités du connecteur LiteLLM

Connectez LiteLLM à Claude, Cursor, ChatGPT et d'autres