• KOSTEN
  • GESCHWINDIGKEIT
  • AUDIT
  • MENSCH

Tokenverbrauch und Latenz mit der KI überwachen

Verbinden Sie LangSmith mit Ihrem Agenten, um aus Rohdaten klare Antworten über Kosten und Geschwindigkeit zu gewinnen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich den Tokenverbrauch und die Antwortzeiten meiner KI überwachen?

Ihr Agent nutzt den LangSmith-Connector, um aktuelle Traces aus Ihrem Projekt abzurufen. So erhalten Sie direkten Einblick in die Token-Anzahl und die Zeitdauer spezifischer LLM-Aufrufe. Sie sehen sofort, wo Ihr Budget und Ihre Latenz liegen.

Wo Ihre Daten landen.

Was Sie aus Ihren Traces gewinnen.

Die KI verarbeitet Ihre LangSmith-Daten, um Leistungstrends aufzuzeigen.

KOSTEN

Tokenverbrauch analysieren

Die KI erkennt, welche Aufrufe Ihr Token-Budget belasten. Sie erhalten eine klare Übersicht über die Verbrauchsmuster verschiedener Durchläufe.

GESCHWINDIGKEIT

Latenz-Analyse

Finden Sie heraus, welche Schritte in Ihrer Kette die Ausführung verzögern. Der Agent markiert Aufrufe mit hoher Latenz zur weiteren Untersuchung.

AUDIT

Trace-Historie

Der Agent listet aktuelle Durchläufe auf, damit Sie spezifische Interaktionen prüfen können. Das hilft Ihnen zu verifizieren, ob Ihre Prompts wie erwartet funktionieren.

MENSCH

Manuelle Optimierung

Die KI identifiziert die Engpässe, aber Sie entscheiden, wie Sie Prompts umschreiben oder Modelle ändern, um sie zu beheben. Sie behalten die Kontrolle über die Logik.

Der Ablauf

Was Ihre KI tut, wenn die Daten eintreffen.

Der Agent fungiert als Brücke zwischen Ihrem Chat-Interface und Ihren LangSmith-Projektdaten.

  1. Traces abrufen

    Der Agent greift auf Ihr LangSmith-Projekt zu, um die aktuellsten Ausführungsdaten zu sammeln.

    langsmith_list_runs

  2. Kosten berechnen

    Er analysiert die Token-Metadaten dieser Durchläufe, um den Verbrauch spezifischer Aufrufe zu summieren.

    langsmith_list_runs

  3. Zeit messen

    Der Agent vergleicht Start- und End-Zeitstempel, um die Dauer jedes einzelnen Schritts zu ermitteln.

    langsmith_list_runs

  4. Ergebnisse melden

    Der Agent fasst die teuersten oder langsamsten Durchläufe zusammen, damit Sie gezielt handeln können.

    langsmith_list_runs

Probieren Sie es

Kopieren Sie diese Beispiele.

Nutzen Sie diese Prompts für Ihre Analyse.

Startpunkte

Passen Sie die Projektnamen und Zeiträume an Ihr tatsächliches LangSmith-Setup an.

LangSmith Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LangSmith capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "langsmith-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste die aktuellsten Durchläufe aus meinem 'production-agent' Projekt in LangSmith auf.

  • Welche der letzten Traces in meinem 'test-suite' Projekt hatten den höchsten Tokenverbrauch?

  • Zeige mir die Latenz der letzten fünf Durchläufe in meinem 'chatbot-v2' Projekt.

  • Finde alle Durchläufe in meinem 'eval-project', die länger als 5 Sekunden gedauert haben.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Geben Sie Ihre LangSmith-Zugangsdaten einmalig ein. Die Verbindung bleibt verschlüsselt und Sie können sofort Fragen zu Ihren Traces an Ihren Agenten stellen.

LangSmith mit Ihrer KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI meine LangSmith-Einstellungen ändern?

    Nein. Die KI kann lediglich Trace-Daten lesen. Sie kann Ihre LangSmith-Projekte oder Einstellungen nicht modifizieren.

  • 02

    Löscht die KI meine Traces?

    Nein. Die KI hat nur die Berechtigung, Durchläufe aufzulisten und zu lesen. Sie kann Ihren Verlauf weder löschen noch bearbeiten.

  • 03

    Kann ich den exakten Prompt eines Traces sehen?

    Ja, der Agent kann die Input- und Output-Daten aus den abgerufenen Traces extrahieren.

  • 04

    Wie aktuell sind die Daten, die die KI sieht?

    Die KI sieht alle aktuellen Durchläufe, die in Ihrem LangSmith-Projekt verfügbar sind, basierend auf Ihrer Anfrage.

  • 05

    Kann die KI meine langsamen LLM-Aufrufe beheben?

    Nein. Die KI kann identifizieren, welche Aufrufe langsam sind, aber Sie müssen Ihren Code oder Ihre Prompts manuell anpassen, um das Problem zu lösen.

  • Weitere Fragen zu LangSmith? Die Connector-Seite liefert Antworten. Alle Funktionen des LangSmith Connectors ansehen

Verbinde LangSmith mit Claude, Cursor, ChatGPT & mehr