• DATA
  • QUEUE
  • HUMAN
  • REPORT

Evaluations-Datensätze mit KI prüfen und auditieren

Verbinde LangSmith mit deinem KI-Client, um deine Test-Pipeline zu überwachen. Dein Agent übernimmt die gesamte Dateninspektion und das Queue-Management.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich meine Evaluations-Datensätze mit KI prüfen?

Dein KI-Client ruft bestehende Datensätze und Annotations-Queues direkt aus LangSmith ab. Die KI sucht nach Inkonsistenzen oder minderwertigen Labels und markiert Einträge, die eine manuelle Überprüfung erfordern. So siehst du sofort, wo deine Evaluationsdaten Fehler aufweisen oder wo menschliches Eingreifen nötig ist.

Audit-Ergebnisse.

Wo deine Ergebnisse landen.

Die KI ordnet ihre Erkenntnisse in diese Kategorien ein.

DATA

Datensatz-Check

Die KI nutzt deine Datensätze, um Ausreißer oder repetitive Muster zu finden. Du erhältst eine Zusammenfassung der Datenqualität.

QUEUE

Annotationsstatus

Dein Agent prüft den aktuellen Stand deiner Annotations-Queues. Er erkennt, welche Aufgaben feststecken oder noch ausstehen.

HUMAN

Manuelle Prüfung

Die KI identifiziert Zeilen oder Einträge, die deine Qualitätsstandards nicht erfüllen. Diese werden dir zur manuellen Korrektur vorgelegt.

REPORT

Audit-Zusammenfassungen

Du erhältst eine Aufschlüsselung der Datensatz-Abdeckung und der Label-Verteilung. Das hilft dir zu entscheiden, ob du mehr Daten benötigst.

Der Ablauf

Was deine KI beim Audit übernimmt.

Die KI durchsucht deine LangSmith-Umgebung, um Probleme zu finden und zu markieren.

  1. Datensätze inventarisieren

    Die KI durchsucht dein LangSmith-Konto, um die spezifischen Datensätze zu finden, die du prüfen möchtest.

    list_datasets

  2. Annotations-Queues prüfen

    Sie ruft den aktuellen Status deiner Human-in-the-loop-Queues ab, um zu sehen, woran gerade gearbeitet wird.

    list_annotation_queues

  3. Datenlücken finden

    Der Agent vergleicht deine Datensätze mit deinen Evaluationszielen, um fehlende Edge Cases zu identifizieren.

    list_datasets

  4. Manuelle Aufgaben markieren

    Die KI markiert spezifische Einträge in deinen Queues, bei denen ein Mensch die Labels verifizieren muss.

    list_annotation_queues

Probieren Sie es

Kopiere diese Befehle zum Start.

Nutze diese Prompts, um ein Audit zu starten.

Startpunkte

Dies sind Beispiele. Ersetze die Namen durch deine tatsächlichen LangSmith-Datensätze oder Queue-Namen.

LangSmith Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LangSmith capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "langsmith-llm-observability-hub-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle meine LangSmith-Datensätze auf und sag mir, welcher die neuesten Updates hat.

  • Prüfe meine Annotations-Queues und sag mir, welche die meisten ausstehenden Aufgaben haben.

  • Analysiere meinen Datensatz 'model_eval_v2' und finde alle Einträge mit widersprüchlichen Labels.

  • Fasse den aktuellen Fortschritt der 'human_review_queue' in LangSmith zusammen.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Verknüpfe dein LangSmith-Konto einfach über Vinkius. Deine Zugangsdaten bleiben verschlüsselt, und du kannst sofort Fragen zu deinen Daten an deine KI stellen.

LangSmith mit deiner KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI Datensätze in LangSmith löschen?

    Nein. Die KI kann deine Datensätze und Queues nur auflisten und lesen. Sie kann keine Daten in LangSmith löschen oder verändern.

  • 02

    Kann die KI neue Aufgaben an Menschen zuweisen?

    Nein. Die KI kann lediglich bestehende Annotations-Queues auflisten. Sie kann keine neuen Aufgaben erstellen oder die Zuweisung von menschlichen Bearbeitern ändern.

  • 03

    Woher weiß die KI, welchen Datensatz sie prüfen soll?

    Das sagst du ihr. Du kannst einen spezifischen Datensatz nennen oder sie bitten, alle Datensätze aufzulisten, damit du eine Auswahl treffen kannst.

  • 04

    Sieht die KI meine API-Keys?

    Nein. Vinkius verwaltet die Verbindung sicher. Dein KI-Client interagiert nur mit den Tools, die über den MCP bereitgestellt werden.

  • 05

    Kann ich das für automatisierte Evaluationen nutzen?

    Die KI hilft dir bei der Vorbereitung und Prüfung der Daten für Evaluationen, sie löst aber nicht die eigentlichen Modell-Evaluationsläufe aus.

  • Weitere Fragen zu LangSmith? Alle Funktionen des LangSmith Connectors ansehen

Verbinde LangSmith mit Claude, Cursor, ChatGPT & mehr