• METRIK
  • LÜCKE
  • DATEN
  • MENSCH

RAG-Retrieval-Genauigkeit mit Ihrer KI validieren

Verbinden Sie diesen MCP mit Ihrem Agenten, um automatisierte Vergleiche zwischen den Modellausgaben und Ihren Referenzdaten durchzuführen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie prüfe ich, ob mein RAG-Retrieval funktioniert?

Sie geben die Antworten Ihres Modells und Ihre Referenzdokumente in den Evaluator ein, um spezifische Übereinstimmungswerte zu erhalten. So sehen Sie genau, wie viel des korrekten Kontexts Ihre Pipeline tatsächlich erfasst. Die Details zur sprachlichen Ähnlichkeit und Inhaltsübereinstimmung finden Sie unten.

Die Auswertungsergebnisse.

Ihre Ergebnisse auf einen Blick.

Die KI verarbeitet Ihre Daten und liefert diese spezifischen Ergebnisse.

METRIK

Numerische Ähnlichkeitswerte

Die KI nutzt die Evaluator-Tools, um ROUGE- und BLEU-Scores zu berechnen. Sie erhalten eine klare mathematische Ansicht, wie nah der generierte Text an Ihrer Quelle liegt.

LÜCKE

Kontextuelle Abweichungen

Der Agent erkennt, wo der abgerufene Kontext die Antwort nicht ausreichend gestützt hat. So sehen Sie sofort, wo das Modell halluziniert oder wichtige Fakten übersehen hat.

DATEN

Vergleichsberichte

Die KI strukturiert den Vergleich zwischen dem maschinellen Output und dem Goldstandard. Sie erhalten eine übersichtliche Darstellung der Übereinstimmungen.

MENSCH

Manuelle Prüfung nötig

Die KI markiert Paare mit niedrigen Scores zur Überprüfung. Sie entscheiden, ob ein niedriger Wert ein Fehler im Retrieval oder nur eine stilistische Abweichung ist.

Der Ablauf

Was Ihre KI tut, sobald die Daten vorliegen.

Ihr Agent übernimmt die Arbeit und vergleicht Textzeichenfolgen mit Ihren Referenzdateien.

  1. Referenzdaten einlesen

    Ihr Agent liest die Goldstandard-Dokumente und die zu testenden Antworten des Modells ein.

    calculate_rouge_bleu

  2. Übereinstimmung berechnen

    Die KI nutzt mathematische Verfahren, um die n-Gramm-Übereinstimmung und Präzision zu bestimmen.

    calculate_rouge_bleu

  3. Abweichungen identifizieren

    Der Agent vergleicht die Scores, um festzustellen, wo das Retrieval notwendige Informationen nicht geliefert hat.

    calculate_rouge_bleu

  4. Genauigkeit zusammenfassen

    Die KI bereitet die Scores in einer lesbaren Zusammenfassung der Pipeline-Leistung auf.

    calculate_rouge_bleu

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um den Evaluierungsprozess zu starten.

Startpunkte

Ersetzen Sie den Text in Klammern durch Ihre tatsächlichen Dateipfade oder Datenquellen.

Native V8 Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_z0q7gwUAfzM0N3ZK3eZQCz4jX1vB3r37FG9LvR3T/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Native V8 capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "llm-rouge-bleu-evaluator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_z0q7gwUAfzM0N3ZK3eZQCz4jX1vB3r37FG9LvR3T/mcp"
    }
  }
}
In den Chat kopieren04

  • Vergleiche die Antworten in 'test_results.json' mit den Goldstandards in 'ground_truth.pdf' mithilfe des Evaluators.

  • Führe einen ROUGE- und BLEU-Check für den Output aus meinem letzten Retrieval-Test im Ordner 'logs' durch.

  • Prüfe die Genauigkeit der Antworten in diesem Google Sheet gegen meine Referenzdokumentation.

  • Evaluiere die Ähnlichkeit zwischen dem Modell-Output in 'response_v1.txt' und dem Quelltext in 'context.txt'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Verknüpfen Sie den MCP einfach mit Ihrem Client. Ihre Zugangsdaten bleiben verschlüsselt, sodass Sie sofort mit der Evaluierung beginnen können.

LLM ROUGE & BLEU Evaluator mit Ihrer KI verbinden

FAQ

Verhalten des Evaluators.

  • 01

    Kann die KI meine RAG-Pipeline automatisch reparieren?

    Nein. Die KI berechnet lediglich die Scores und identifiziert Lücken. Sie müssen Ihre Chunking- oder Embedding-Strategie manuell anpassen.

  • 02

    Löscht die KI meine Originaldokumente?

    Nein. Die KI liest Ihre Dateien nur aus, um den Vergleich durchzuführen. Sie hat keine Berechtigung, Ihre Quelldaten zu ändern oder zu löschen.

  • 03

    Welche Metriken werden verwendet?

    Es werden ROUGE und BLEU genutzt, um zu messen, wie stark der generierte Text mit Ihren Goldstandard-Dokumenten übereinstimmt.

  • 04

    Kann ich das mit jedem KI-Client nutzen?

    Ja, sofern Ihr Client MCP-kompatibel ist, wie etwa Claude, Cursor oder Windsurf.

  • 05

    Wird mir erklärt, warum ein Score niedrig ist?

    Die KI kann aufzeigen, ob ein niedriger Score an fehlendem Kontext liegt, aber die abschließende Interpretation des Modellfehlers liegt bei Ihnen.

  • Weitere Fragen zum LLM ROUGE & BLEU Evaluator? Die Connector-Seite liefert Antworten. Alle Funktionen des LLM ROUGE & BLEU Evaluator Connectors ansehen

Verbinde Native V8 mit Claude, Cursor, ChatGPT & mehr