• ANALYSE
  • TRENDS
  • DETEKTION
  • ENTSCHEIDUNG

Modell-Performance mit Ihrer KI überwachen

Verbinden Sie Braintrust einmal mit Ihrem KI-Client. Danach kann Ihr Agent Experiment-Scores und Projektdaten abrufen, um das tatsächliche Verhalten Ihrer Modelle zu verfolgen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie prüfe ich, ob Modelländerungen die Genauigkeit verbessert haben?

Ihre KI fragt Braintrust ab, um Experiment-Scores und Projektanalysen zu erhalten. Sie vergleicht diese Metriken, um Ihnen genau zu zeigen, wie sich aktuelle Änderungen auf das Verhalten ausgewirkt haben. So funktioniert es.

Die Ergebnisse

Was Sie aus den Daten gewinnen

Ihre KI wandelt Braintrust-Metriken in klare Antworten um.

ANALYSE

Experiment-Scores vergleichen

Die KI ruft Daten aus Ihren neuesten Durchläufen ab, um die Leistung verschiedener Versionen direkt gegenüberzustellen.

TRENDS

Projektverlauf verfolgen

Ihr Agent analysiert die Projektdaten, um zu sehen, ob die Performance über die Zeit steigt oder fällt.

DETEKTION

Verhaltensänderungen erkennen

Die KI identifiziert, wenn eine spezifische Modelländerung zu einem Genauigkeitsverlust oder einem anderen Antwortstil führt.

ENTSCHEIDUNG

Menschliche Freigabe

Die KI liefert die Ergebnisse, aber Sie entscheiden final, welches Modell in die Produktion geht.

Der Ablauf

Was Ihre KI tut, sobald die Daten vorliegen.

Die KI fungiert als Brücke zwischen Ihrem Braintrust-Dashboard und Ihrem Chat-Interface.

  1. Projekte finden

    Die KI sucht nach den spezifischen Braintrust-Projekten, die Sie untersuchen möchten.

    list_projects

  2. Experiment-Scores abrufen

    Sie zieht die genauen Metriken und Scores aus Ihren letzten Testläufen.

    list_experiments

  3. Versionen vergleichen

    Der Agent analysiert verschiedene Experiment-Ergebnisse, um Leistungsunterschiede zu finden.

    list_experiments

  4. Ergebnisse melden

    Ihre KI fasst die Projektanalysen zusammen und erklärt, wie sich das Verhalten verändert hat.

    list_projects

Probieren Sie es

Kopieren Sie diese Vorlagen zum Start.

Nutzen Sie diese Prompts für Ihre Analyse.

Startpunkte

Ersetzen Sie die Projektnamen und Experiment-IDs durch Ihre tatsächlichen Braintrust-Bezeichnungen.

Braintrust Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle meine Braintrust-Projekte auf, damit ich sehen kann, was verfügbar ist.

  • Zeige mir die Scores für das Experiment 'v2-test-run' in meinem Projekt 'Customer-Bot'.

  • Vergleiche die Genauigkeits-Scores meiner letzten drei Experimente.

  • Haben die jüngsten Änderungen im Projekt 'Search-Optimization' die Performance meines Modells verbessert?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Verbinden Sie Ihr Konto in einem Schritt. Ihre Zugangsdaten bleiben bei uns verschlüsselt, sodass Sie sofort Fragen zur Performance Ihres Modells an Ihre KI stellen können.

Braintrust mit Ihrer KI verbinden

FAQ

Funktionsweise dieser Aufgabe

  • 01

    Kann die KI meine Experiment-Einstellungen ändern?

    Nein. Die KI kann nur Projekt- und Experimentdaten lesen, aber keine Braintrust-Konfigurationen ändern.

  • 02

    Kann die KI meine Testläufe löschen?

    Nein. Dieser MCP ist für Ihre Experimente und Projekte schreibgeschützt.

  • 03

    Wie weiß die KI, welches Projekt sie prüfen soll?

    Sie nutzt das Tool list_projects, um verfügbare Projekte anzuzeigen. Danach können Sie ihr sagen, auf welches Projekt sie sich konzentrieren soll.

  • 04

    Funktioniert das mit jedem KI-Client?

    Ja, es funktioniert mit jedem MCP-kompatiblen Client wie Claude, Cursor oder Windsurf.

  • 05

    Kann die KI neue Experimente für mich erstellen?

    Nein. Die KI kann lediglich bestehende Experimente auflisten und abfragen.

  • Weitere Fragen zu Braintrust? Alle Funktionen des Braintrust Connectors sehen

Verbinde Braintrust mit Claude, Cursor, ChatGPT & mehr