• LESEN
  • SCHREIBEN
  • PRÜFEN
  • SYNC

Evaluations-Datensätze mit Ihrer KI erweitern

Verbinden Sie Braintrust mit Ihrem KI-Client, um Testsets einfach per Chat zu vergrößern. Sagen Sie Ihrem Agenten einfach, was hinzugefügt werden soll, und er übernimmt die Dateneingabe.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie füge ich neue Testfälle zu meinen Braintrust-Datensätzen hinzu?

Sie weisen Ihren KI-Client an, spezifische Zeilen oder neue Testfälle in Ihre bestehenden Braintrust-Matrizen einzufügen. Die KI nutzt Ihre natürlichen Anweisungen, um aktuelle Daten abzurufen und neue Ground-Truth-Einträge direkt in Ihre Sets zu schreiben. So bauen Sie eine Testdaten-Bibliothek auf, ohne manuell CSV-Dateien hochladen zu müssen.

Wohin Ihre Daten fließen.

Das Ergebnis Ihrer Anfrage.

Die KI steuert den Datentransfer zwischen Ihrem Chat und Ihrer Braintrust-Umgebung.

LESEN

Aktueller Datensatz

Die KI ruft Ihre vorhandenen Evaluationszeilen ab, um den aktuellen Kontext zu verstehen. So wird sichergestellt, dass neue Einträge zum bestehenden Schema passen.

SCHREIBEN

Neue Testfälle

Ihr Agent fügt neue Zeilen mit Inputs und erwarteten Outputs ein. Das erweitert Ihre Testabdeckung sofort.

PRÜFEN

Menschliche Kontrolle

Sie entscheiden, ob ein generierter Testfall wirklich gut ist. Die KI wartet auf Ihr Signal, bevor sensible Ground-Truth-Updates finalisiert werden.

SYNC

Aktualisierte Matrizen

Ihre Evaluationssets bleiben mit Ihren neuesten Modell-Iterationen synchron. Die neuen Daten stehen sofort für Ihren nächsten Eval-Run bereit.

Der Ablauf

Was Ihre KI tut, wenn die Anfrage eingeht.

Die KI fungiert als Brücke zwischen Ihrem Gespräch und der Braintrust API.

  1. Vorhandene Daten abrufen

    Der Agent sucht Ihren aktuellen Evaluationssatz, um die bestehenden Inputs und erwarteten Outputs zu verstehen.

    get_dataset

  2. Neue Zeilen vorbereiten

    Die KI wandelt Ihre natürliche Anfrage in eine strukturierte Zeile um, die den Anforderungen Ihres Datensatzes entspricht.

    get_dataset

  3. Testfälle einfügen

    Der Agent schreibt die neuen Ground-Truth-Daten direkt in Ihre Braintrust-Matrix.

    insert_dataset_row

  4. Updates bestätigen

    Die KI verifiziert, dass die neue Zeile erfolgreich zum Datensatz hinzugefügt wurde.

    insert_dataset_row

Probieren Sie es

Kopieren Sie diese Beispiele.

Nutzen Sie diese Prompts, um mit Ihren Braintrust-Daten zu interagieren.

Startpunkte

Ersetzen Sie den Text in Klammern durch Ihre tatsächlichen Braintrust-Datensatznamen oder spezifische Details zum Testfall.

Braintrust Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
In den Chat kopieren04

  • Zeige mir die aktuellen Zeilen in meinem 'customer_support_eval' Datensatz.

  • Füge einen neuen Testfall zu 'chatbot_v2' hinzu, bei dem der Nutzer nach den Rückerstattungsrichtlinien fragt.

  • Schau dir meinen 'qa_test_set' an und füge eine Zeile mit diesem Input hinzu: 'Wie setze ich mein Passwort zurück?'

  • Suche den 'llm_benchmarks' Datensatz und füge einen neuen Ground-Truth-Eintrag für den Prompt über die Preise hinzu.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Verknüpfen Sie Ihr Konto nur ein einziges Mal. Ihre Zugangsdaten bleiben verschlüsselt, und Sie können sofort damit beginnen, Datensätze über Ihren KI-Client zu verwalten.

Braintrust mit Ihrer KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI Zeilen aus meinem Datensatz löschen?

    Nein. Die KI kann Daten nur abrufen und neue Zeilen einfügen. Bestehende Einträge können weder gelöscht noch verändert werden.

  • 02

    Entscheidet die KI automatisch, welche Testfälle korrekt sind?

    Nein. Die KI kann zwar Ground-Truth-Daten vorschlagen, aber Sie behalten die volle Kontrolle darüber, was tatsächlich in Ihre Evaluationssets übernommen wird.

  • 03

    Kann ich dies nutzen, um eine Evaluation durchzuführen?

    Nein. Dieser spezifische Connector dient der Verwaltung der Daten innerhalb Ihrer Datensätze, nicht der Ausführung der eigentlichen Evaluationsläufe.

  • 04

    Muss ich meine Daten vorher als CSV formatieren?

    Nein. Sie können den neuen Testfall einfach in natürlicher Sprache beschreiben, und die KI übernimmt die Formatierung für den Datensatz.

  • 05

    Kann die KI eine bestehende Zeile aktualisieren, wenn ich einen Fehler finde?

    Nein. Die aktuellen Tools erlauben nur das Einfügen neuer Zeilen. Um einen Fehler zu korrigieren, müssen Sie entweder eine korrigierte Version hinzufügen oder dies direkt in der Braintrust UI tun.

  • Weitere Fragen zu Braintrust? Alle Funktionen des Braintrust Connectors sehen

Verbinde Braintrust mit Claude, Cursor, ChatGPT & mehr