• LIVE
  • CLEAN
  • AUDIT
  • MANUAL

Model-Routing mit Ihrer KI aktualisieren

Verbinden Sie LiteLLM mit Ihrem Agenten, um Ihre Proxy-Endpunkte in Echtzeit zu verwalten. Tauschen Sie fehlerhafte Modelle aus oder fügen Sie neue hinzu, ohne eine Konfigurationsdatei anzufassen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich meine Modell-Endpunkte per KI ändern?

Sie weisen Ihrem Agenten an, bestimmte Modelle aus Ihrem LiteLLM-Proxy hinzuzufügen oder zu entfernen. Er nutzt direkte Tool-Aufrufe, um Ihre Routing-Konfiguration sofort zu ändern. Die Anpassungen werden unmittelbar in Ihrem Proxy-Traffic sichtbar.

Routing-Ergebnisse.

Wo Ihre Änderungen greifen.

Was passiert, wenn Ihr Agent den Proxy modifiziert.

LIVE

Neue Endpunkte aktiv

Der Agent nutzt create_model, um einen neuen Endpunkt zu registrieren. Ihr Traffic wird sofort über das neue Modell geleitet.

CLEAN

Defekte Modelle entfernt

Schlägt ein Deployment fehl, entfernt der Agent es via delete_model aus dem Proxy. So landen Anfragen nicht bei toten Endpunkten.

AUDIT

Aktuelle Konfiguration

Der Agent nutzt get_model_info, um zu prüfen, welche Modelle gerade aktiv sind. Sie erhalten einen klaren Überblick über Ihren Routing-Status.

MANUAL

Menschliche Kontrolle

Der Agent übernimmt die technische Ausführung, aber Sie entscheiden, welche Modelle hinzugefügt oder entfernt werden. Sie behalten die volle Kontrolle über Kosten und Routing-Logik.

Der Ablauf

Was Ihre KI tut, wenn die Aufgabe ansteht.

Ihr Agent fungiert als Brücke zwischen Ihrem Chat-Interface und der LiteLLM-Proxy-Konfiguration.

  1. Routing prüfen

    Der Agent analysiert das bestehende Proxy-Setup, um zu sehen, welche Modelle aktuell verfügbar sind.

    get_model_info

  2. Neue Modelle registrieren

    Wenn Sie Ihre Optionen erweitern wollen, fügt der Agent die Details des neuen Modells zum Proxy hinzu.

    create_model

  3. Fehlerhafte Endpunkte entfernen

    Wenn ein spezifisches Deployment Fehler verursacht, entfernt der Agent es aus der Routing-Tabelle.

    delete_model

  4. Änderung verifizieren

    Der Agent führt eine abschließende Prüfung durch, um sicherzustellen, dass die Routing-Tabelle Ihrem Wunsch entspricht.

    get_model_info

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um die Verwaltung Ihres LiteLLM-Proxys zu beginnen.

Startpunkte

Dies sind Basisbefehle. Passen Sie die Modellnamen und Provider-Details an Ihr Setup an.

LiteLLM Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
In den Chat kopieren04

  • Zeige mir alle Modelle, die aktuell in meinem LiteLLM-Proxy konfiguriert sind.

  • Füge meinem Proxy einen neuen Modell-Endpunkt für openai/gpt-4o hinzu.

  • Entferne das fehlerhafte anthropic/claude-3-opus Deployment aus meinem Routing.

  • Prüfe die Details für das Modell mit dem Namen 'production-llama-3'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Eine einzige Verbindung gibt Ihrem Agenten vollen Zugriff auf Ihre Proxy-Tools. Ihre Zugangsdaten bleiben verschlüsselt und sicher.

LiteLLM mit Ihrer KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI meine API-Keys ändern?

    Nein. Der Agent kann über die bereitgestellten Tools nur Modell-Endpunkte und das Routing verwalten.

  • 02

    Wird die KI versehentlich alle meine Modelle löschen?

    Nein. Der Agent löscht nur die spezifischen Modelle, die Sie explizit dazu anweisen.

  • 03

    Funktioniert das mit jedem Proxy?

    Nein. Dieser MCP wurde speziell für die Verwaltung des LiteLLM-Proxys entwickelt.

  • 04

    Kann die KI meine Gesamtausgaben überwachen?

    Nein. LiteLLM trackt zwar die Ausgaben, aber die Tools in diesem MCP dienen ausschließlich dem Modell-Routing und der Verwaltung.

  • 05

    Woran erkenne ich, ob ein Modell erfolgreich hinzugefügt wurde?

    Der Agent nutzt das Info-Tool, um nach der Erstellung zu verifizieren, dass das neue Modell im Proxy existiert.

  • Weitere Fragen zu LiteLLM? Die Connector-Seite liefert Antworten. Alle Funktionen des LiteLLM Connectors ansehen

Verbinde LiteLLM mit Claude, Cursor, ChatGPT & mehr