• LÄUFE
  • METRIKEN
  • ERGEBNISSE
  • MENSCH

RAG-Evaluierungen mit Ihrem KI-Client durchführen

Verbinden Sie Ragas einmalig, damit Ihr Agent Tests an Ihren RAG-Pipelines durchführt und die Ergebnisse direkt in Ihren Chat überträgt.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich RAG-Evaluierungen über meine KI ausführen?

Sie weisen Ihren Agenten an, eine Evaluierung für einen bestimmten Datensatz zu starten. Dieser nutzt Ragas, um Metriken wie Treue (Faithfulness) oder Relevanz zu berechnen. Die Performance-Werte erhalten Sie sofort in Ihrem Chat-Fenster zurück. So können Sie Ihre Prompts und die Kontext-Wiederherstellung optimieren, ohne Ihre Arbeitsumgebung zu verlassen.

Die Ergebnisse.

Wo Ihre Evaluierungsdaten landen.

Die KI übernimmt die gesamte Mathematik und Datenverarbeitung.

LÄUFE

Neue Testzyklen

Die KI startet eine neue Evaluierung auf Ihren bereitgestellten Datensätzen. So erhalten Sie für jede Iteration eine saubere Grundlage.

METRIKEN

Verfügbare Score-Typen

Ihr Agent kann prüfen, welche spezifischen Metriken für Ihr aktuelles Setup verfügbar sind. Das hilft Ihnen bei der Auswahl der Messwerte.

ERGEBNISSE

Performance-Scores

Die KI lädt die finalen Scores direkt in Ihren Chat. Sie sehen sofort, wie Ihr RAG-System abschneidet.

MENSCH

Manuelle Anpassungen

Sie entscheiden, welche Datensätze getestet werden und welche Metriken wichtig sind. Die KI ändert Ihre Daten oder Testparameter nur auf Ihre ausdrückliche Anweisung.

Der Ablauf

Was Ihre KI tut, wenn Sie eine Evaluierung anfordern.

Die KI fungiert als Brücke zwischen Ihrem Chat-Interface und der Ragas-Engine.

  1. Metriken identifizieren

    Die KI prüft, welche Evaluierungsmetriken für Ihre spezifische RAG-Aufgabe unterstützt werden.

    list_metrics

  2. Test starten

    Die KI leitet den Evaluierungsprozess unter Verwendung Ihres gewählten Datensatzes ein.

    run_evaluation

  3. Scores abrufen

    Sobald die Berechnungen abgeschlossen sind, holt die KI die resultierenden Performance-Daten ab.

    get_results

  4. Ergebnisse melden

    Die KI präsentiert die finalen Scores und die Aufschlüsselung der Metriken in Ihrem Chat-Fenster.

    get_results

Probieren Sie es

Kopieren Sie diese Befehle zum Starten.

Nutzen Sie diese Prompts für Ihre erste Evaluierung.

Startpunkte

Ersetzen Sie den Text in Klammern durch Ihre tatsächlichen Datensatznamen oder spezifische Metrik-Anforderungen.

Ragas Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ragas capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "ragas-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_mQUV7klN4rh09rRcp9ld3cwceCP25oL5Lk8res4B/mcp"
    }
  }
}
In den Chat kopieren04

  • Führe eine Evaluierung auf meinem Datensatz 'customer_support_v2' durch.

  • Welche Metriken kann ich für diesen Datensatz mit Ragas verwenden?

  • Gib mir die Ergebnisse des letzten durchgeführten Evaluierungslaufs aus.

  • Starte eine neue Evaluierung für 'product_docs_final' mit den Metriken Faithfulness und Relevancy.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Folgen Sie einfach der One-Click-Einrichtung, um Ragas mit Ihrem Client zu verknüpfen. Ihre Zugangsdaten werden auf unserer Seite verschlüsselt und sicher gespeichert.

Ragas mit Ihrer KI verbinden

FAQ

Verhalten des Ragas-Connectors

  • 01

    Kann die KI meinen ursprünglichen Datensatz ändern?

    Nein. Die KI kann Datensätze nur lesen, um Evaluierungen durchzuführen. Sie kann Ihre Quelldaten weder modifizieren noch löschen.

  • 02

    Kann ich Evaluierungen für jede beliebige Datei durchführen?

    Nein. Die KI kann nur Evaluierungen für Datensätze durchführen, die bereits über die Ragas-Verbindung zugänglich sind.

  • 03

    Wählt die KI die Metriken für mich aus?

    Die KI kann Metriken mithilfe des list-Tools vorschlagen, aber Sie müssen ihr mitteilen, welche für einen spezifischen Lauf genutzt werden sollen.

  • 04

    Kann die KI meine RAG-Pipeline automatisch reparieren?

    Nein. Die KI liefert die Scores und identifiziert Probleme, aber die eigentlichen Änderungen an Ihrem Code oder Ihren Daten müssen Sie selbst vornehmen.

  • 05

    Wie sehe ich die Scores?

    Fragen Sie Ihre KI einfach, die Ergebnisse des aktuellsten Evaluierungslaufs abzurufen.

  • Weitere Fragen zu Ragas? Alle Funktionen des Ragas-Connectors ansehen

Verbinde Ragas mit Claude, Cursor, ChatGPT & mehr