• ANALYSIS
  • DATA
  • HUMAN
  • LOGS

Prompt-Regressionen mit Ihrer KI zuverlässig testen

Verbinden Sie Braintrust mit Ihrem Agenten für direkte Vergleiche. Sie erkennen subtile Qualitätsverluste, indem Sie neue Iterationen gegen Ihre etablierten Baselines prüfen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Woran erkenne ich, ob ein neuer Prompt schlechter ist als der alte?

Ihr Agent ruft bestehende Experiment-Traces und Datensätze ab, um einen direkten Vergleich durchzuführen. So sehen Sie genau, an welcher Stelle eine neue Prompt-Version im Vergleich zu Ihrem Baseline-Standard scheitert. Leistungslücken werden sofort sichtbar.

Die Ergebnisse.

Wo Ihre Resultate landen.

Die KI übernimmt die gesamte Arbeit beim Abrufen und Vergleichen der Daten.

ANALYSIS

Regressionen erkennen

Die KI identifiziert, wo neue Prompt-Outputs von Ihren Baseline-Traces abweichen. Sie erhalten eine klare Übersicht über Leistungsänderungen.

DATA

Datensatz-Abgleich

Der Agent ruft die exakten Testsets ab, die Sie zur Validierung benötigen. So stellen Sie sicher, dass Sie gegen die richtigen Inputs testen.

HUMAN

Manuelle Prüfung

Sie entscheiden, welche spezifischen Fehler eine manuelle Korrektur erfordern. Die KI markiert die Probleme, aber Sie treffen die finale Entscheidung über die Prompt-Logik.

LOGS

Experiment-Historie

Der Agent durchsucht vergangene Durchläufe nach Ihrem Gold-Standard. Das stellt sicher, dass Ihr Test auf realen bisherigen Leistungen basiert.

Der Ablauf

Was Ihre KI tut, wenn die Anfrage eingeht.

Der Agent fungiert als Brücke zwischen Ihrem Chat-Interface und Ihren Braintrust-Experimenten.

  1. Baseline bestimmen

    Der Agent sucht nach Ihren erfolgreichen Durchläufen, um festzulegen, wie eine gute Antwort aussieht.

    list_experiments

  2. Prompt abrufen

    Er lädt die spezifische Version des Prompts, die Sie testen oder vergleichen möchten.

    get_prompt

  3. Testdaten laden

    Der Agent holt die spezifischen Input-Sets, die für Ihre Evaluierung genutzt werden.

    get_dataset

  4. Vergleich ausführen

    Der Agent vergleicht die neuen Outputs mit den Baseline-Traces, um Regressionen zu finden.

    get_prompt

Probieren Sie es

Kopieren Sie diese zum Start.

Nutzen Sie diese Prompts, um sofort mit Ihren Tests zu beginnen.

Startpunkte

Dies sind Beispiele. Ersetzen Sie die Namen der Experimente und Datensatz-IDs durch Ihre tatsächlichen Braintrust-Identifikatoren.

Braintrust Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
In den Chat kopieren04

  • Vergleiche den Prompt aus dem Experiment 'v2-final' mit meinem Baseline 'v1-stable'.

  • Führe einen Regressionstest mit dem Datensatz 'customer-support-test' durch.

  • Prüfe, ob die Qualität der neuen Prompt-Version in 'agent-refactor-04' im Vergleich zum vorherigen Durchlauf gesunken ist.

  • Rufe die Daten aus 'qa-eval-set' ab und vergleiche sie mit meiner neuesten Prompt-Version.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal mit Braintrust verbinden, dann fragen.

Verknüpfen Sie einfach Ihr Braintrust-Konto. Ihre Zugangsdaten bleiben verschlüsselt und sicher, sodass Sie sofort in Ihrem bevorzugten KI-Client testen können.

Braintrust mit Ihrer KI verbinden

FAQ

So funktioniert die Aufgabe.

  • 01

    Kann die KI meine Prompts in Braintrust ändern?

    Nein. Die KI kann nur Prompts und Experiment-Daten lesen. Neue Versionen müssen Sie manuell in Braintrust bearbeiten oder speichern.

  • 02

    Wird die KI meine Experiment-Traces löschen?

    Nein. Die Tools erlauben nur das Lesen und Abrufen von Daten. Ihre bestehende Experiment-Historie bleibt unberührt.

  • 03

    Kann ich dies nutzen, um neue Experimente automatisch zu starten?

    Die KI kann Daten abrufen und Ergebnisse vergleichen, aber sie stößt keine neuen groß angelegten Experiment-Durchläufe an.

  • 04

    Muss ich die Experiment-IDs jedes Mal angeben?

    Es ist einfacher, wenn Sie es tun. Die KI kann zwar Experimente auflisten, um sie zu finden, aber präzise Angaben vermeiden Verwechslungen.

  • 05

    Kann die KI eine Regression für mich beheben?

    Nein. Die KI erkennt, wo die Leistung abfällt, aber Sie sind dafür verantwortlich, den Prompt neu zu schreiben, um das Problem zu lösen.

  • Weitere Fragen zu Braintrust? Alle Funktionen des Braintrust Connectors sehen

Verbinde Braintrust mit Claude, Cursor, ChatGPT & mehr