• ANALYSE
  • IDENTIFIKATION
  • BERICHTE
  • MENSCH

RAG-Experimente mit Ihrer KI vergleichen

Verbinden Sie Ragas mit Ihrem KI-Client, um die Performance verschiedener Modellversionen oder Prompt-Konfigurationen zu analysieren.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich RAG-Experimente mit meiner KI vergleichen?

Sie können spezifische Experimentdaten und Metriken in Ihren Chat laden, um direkte Vergleiche durchzuführen. Ihre KI übernimmt die Analyse und zeigt Ihnen, welche Konfiguration die besten Ergebnisse liefert. So sehen Sie sofort, wie sich Änderungen an der Retrieval- oder Generierungsphase auf die Performance auswirken.

Das sind Ihre Ergebnisse.

Ergebnisse Ihrer Analyse.

Die KI bereitet Ihre Ragas-Daten in folgenden Ergebnissen auf:

ANALYSE

Performance-Vergleiche

Die KI zieht Daten aus Ihren Durchläufen, um genau zu zeigen, wie verschiedene Versionen im direkten Vergleich abschneiden.

IDENTIFIKATION

Beste Durchläufe

Ihr Agent identifiziert die spezifischen Konfigurationen, die Ihre Zielmetriken am konsistentesten erreichen.

BERICHTE

Zusammenfassung

Erhalten Sie eine übersichtliche Aufstellung aller Metriken über alle Ihre aufgezeichneten Experimente hinweg.

MENSCH

Manuelle Optimierung

Die KI zeigt Schwachstellen in Ihrer RAG-Pipeline auf, aber Sie entscheiden, welche Prompt- oder Modelländerungen Sie umsetzen.

Der Ablauf

Was Ihre KI tut, sobald die Daten vorliegen.

Die KI fungiert als Ihr Datenanalyst für die RAG-Evaluierung.

  1. Durchläufe finden

    Die KI durchsucht Ihren Ragas-Verlauf, um die gewünschten Testreihen für den Vergleich zu finden.

    list_experiments

  2. Experiment auswählen

    Sobald Sie einen Durchlauf gewählt haben, ruft die KI die spezifischen Konfigurationsdetails ab.

    get_experiment

  3. Metriken abrufen

    Die KI lädt die tatsächlichen Scores und Evaluationsdaten aus dem abgeschlossenen Durchlauf.

    get_results

  4. Performance vergleichen

    Die KI nutzt die Ergebnisse, um Unterschiede in Faithfulness, Relevanz oder anderen Metriken hervorzuheben.

    get_results

Probieren Sie es

Kopieren Sie diese Vorlagen.

Nutzen Sie diese Prompts für den Start Ihrer Analyse.

Startpunkte

Ersetzen Sie die Experimentnamen oder IDs durch Ihre tatsächlichen Ragas-IDs.

Ragas Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle meine aktuellen RAG-Experimente auf, damit ich entscheiden kann, welche ich vergleichen soll.

  • Vergleiche die Ergebnisse von Experiment 'rag_v1_test' und 'rag_v2_test'.

  • Zeige mir die Ergebnisse für das Experiment mit dem Namen 'production_baseline'.

  • Welches Experiment in meiner Liste hat den höchsten Faithfulness-Score?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Verknüpfen Sie einfach Ihr Ragas-Konto. Ihre Zugangsdaten bleiben verschlüsselt, sodass Sie sofort Fragen zu Ihren Experimentdaten an Ihre KI stellen können.

Ragas mit Ihrer KI verbinden

FAQ

Funktionsweise dieser Aufgabe.

  • 01

    Kann die KI meine Experiment-Einstellungen ändern?

    Nein. Die KI kann vorhandene Experimentdaten nur lesen und analysieren. Änderungen an den Konfigurationen müssen Sie manuell in Ihrer Ragas-Umgebung vornehmen.

  • 02

    Kann die KI alte Experiment-Ergebnisse löschen?

    Nein. Dieser MCP ist schreibgeschützt für Ihre Experimentdaten. Er kann keine Ragas-Datensätze löschen oder verändern.

  • 03

    Kann ich zwei verschiedene RAG-Frameworks vergleichen?

    Ja, sofern beide Experimentreihen in Ragas aufgezeichnet wurden und über den Connector zugänglich sind.

  • 04

    Berechnet die KI die Metriken selbst?

    Nein. Die KI ruft die bereits von Ragas berechneten Metriken ab und interpretiert diese für Sie.

  • 05

    Kann ich die Rohdaten eines bestimmten Durchlaufs sehen?

    Ja. Die KI kann die spezifischen Ergebnisse für jedes von Ihnen genannte Experiment abrufen.

  • Weitere Fragen zu Ragas? Alle Funktionen des Ragas Connectors sehen

Verbinde Ragas mit Claude, Cursor, ChatGPT & mehr