• NUTZER
  • TEAM
  • LIMITS
  • MENSCH

LLM-Kosten mit dem KI-Agenten via LiteLLM verwalten

Verbinden Sie LiteLLM mit Ihrem Agenten, um die Nutzung zu verfolgen und Budgetgrenzen durchzusetzen. Sie erhalten volle Transparenz darüber, wie viel einzelne Nutzer oder Teams für Token ausgeben.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich meine LLM-Kosten mit einem KI-Agenten kontrollieren?

Ihr Agent nutzt LiteLLM, um spezifische Teams und Nutzer anzulegen und deren Token-Verbrauch zu überwachen. So sehen Sie genau, wohin Ihr Budget fließt.

Ergebnisse des Kostenmanagements.

Wo Ihre Ausgabendaten landen.

Die KI strukturiert Ihr Kostenmanagement in diese vier Bereiche.

NUTZER

Einzelverfolgung

Die KI ruft spezifische Nutzungsdaten für eine einzelne Person ab. Sie sehen genau, was ein Nutzer an Token verbraucht hat.

TEAM

Gruppenbudgets

Die KI fasst die Kosten ganzer Abteilungen zusammen. So erkennen Sie sofort, wenn ein Team sein Budget überschreitet.

LIMITS

Budgetkontrolle

Die KI bereitet die Struktur vor, um Ausgaben zu begrenzen. Sie sehen klar, wer seine Limits erreicht hat.

MENSCH

Manuelle Anpassungen

Die KI identifiziert Kostenanstiege, die Ihre Aufmerksamkeit erfordern. Sie entscheiden, wann Limits geändert oder Budgets erhöht werden.

Der Ablauf

Was Ihre KI tut, wenn Sie das Kostenmanagement anfordern.

Der Agent übernimmt die administrative Einrichtung und die Datenabfrage in LiteLLM.

  1. Nutzer organisieren

    Der Agent richtet die notwendigen Konten ein, um die Aktivitäten einzelner Personen zu verfolgen.

    create_user

  2. Nutzer in Teams gruppieren

    Der Agent erstellt logische Gruppen, damit Sie Budgets nach Abteilungen verwalten können.

    create_team

  3. Nutzeraktivität prüfen

    Der Agent ruft Details zu bestimmten Nutzern ab, um deren aktuellen Status zu sehen.

    get_user_info

  4. Team-Ausgaben prüfen

    Der Agent ruft die neuesten Kosten- und Nutzungsdaten für eine bestimmte Gruppe ab.

    get_team_info

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um die Verwaltung Ihrer LiteLLM-Kosten zu beginnen.

Startpunkte

Ersetzen Sie die Namen in Klammern durch Ihre tatsächlichen Team- oder Nutzernamen.

LiteLLM Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
In den Chat kopieren04

  • Erstelle ein neues Team namens [Engineering], um unsere Entwicklungskosten zu tracken.

  • Zeige mir die aktuellen Nutzungsinformationen für den Nutzer [dev_user_01].

  • Wie hoch sind die gesamten Token-Ausgaben für das Team [Marketing]?

  • Erstelle einen neuen Nutzer namens [intern_account] und füge ihn dem Team [Testing] hinzu.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal mit LiteLLM verbinden, dann fragen.

Verknüpfen Sie einfach Ihre LiteLLM-Instanz. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort Fragen zu den Kosten an Ihren Agenten stellen.

LiteLLM mit Ihrer KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI einen Nutzer automatisch sperren, wenn er ein Limit erreicht?

    Nein. Die KI kann die Nutzung prüfen und über Limits berichten, aber Sie müssen die Budgeteinstellungen in LiteLLM manuell anpassen, um den Dienst zu stoppen.

  • 02

    Kann die KI Nutzer oder Teams löschen?

    Nein. Die Tools erlauben nur das Erstellen und Einsehen von Nutzern und Teams. Löschungen müssen Sie selbst im LiteLLM-Dashboard vornehmen.

  • 03

    Sieht die KI meine API-Keys?

    Nein. Ihre Keys werden von LiteLLM und Vinkius verwaltet. Die KI interagiert nur mit den Daten, die über die Tools bereitgestellt werden.

  • 04

    Kann ich die Kosten für spezifische Modelle sehen?

    Die KI kann Team- und Nutzerinfos sehen, aber Kosten nicht nach spezifischen Modellnamen filtern, es sei denn, diese Daten sind Teil der zurückgegebenen Team-Informationen.

  • 05

    Kann die KI neue Abrechnungskonten erstellen?

    Nein. Die KI ist darauf beschränkt, Nutzer und Teams innerhalb Ihres bestehenden LiteLLM-Setups zu verwalten.

  • Weitere Fragen zu LiteLLM? Alle Funktionen des LiteLLM Connectors ansehen

Verbinde LiteLLM mit Claude, Cursor, ChatGPT & mehr