• VALIDIERUNG
  • FEHLERERKENNUNG
  • PIPELINE-AUDIT
  • MANUELLE PRÜFUNG

RAG-Pipeline Genauigkeit mit Ihrer KI testen

Verbinden Sie Haystack mit Ihrem Agenten, um gezielte Pipelines auszuführen und die Korrektheit des abgerufenen Kontexts zu validieren.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich die Genauigkeit meiner RAG-Pipeline testen?

Ihr Agent nutzt den Haystack connector, um spezifische Pipelines zu starten und die Ergebnisse mit Ihren indexierten Dokumenten zu vergleichen. So finden Sie Retrieval-Fehler oder Halluzinationen, indem Sie prüfen, ob die Antworten des Agenten mit Ihren tatsächlichen Daten übereinstimmen.

Testergebnisse

Das erhalten Sie durch den Test

Der Agent übernimmt die gesamte Ausführung und den Vergleich.

VALIDIERUNG

Verifiziertes Retrieval

Der Agent führt eine Pipeline aus und prüft, ob die abgerufenen Textabschnitte die nötigen Fakten enthalten. So sehen Sie sofort, ob Ihr Indexing funktioniert.

FEHLERERKENNUNG

Halluzinationen identifizieren

Durch den Abgleich der Pipeline-Ergebnisse mit Ihren Quelldaten markiert der Agent Fälle, in denen er Informationen erfindet. Das hilft Ihnen, logische Fehler präzise zu finden.

PIPELINE-AUDIT

Pipeline-Inventar

Ihr Agent kann alle verfügbaren Pipelines in Ihrem Haystack-Setup einsehen. Das stellt sicher, dass Sie immer die richtigen Versionen Ihrer Workflows testen.

MANUELLE PRÜFUNG

Manuelle Korrektur

Der Agent zeigt Ihnen gezielte Fehler auf, bei denen Sie Ihre Chunking-Strategie oder das Embedding-Modell anpassen müssen. Sie entscheiden, wie die Daten optimiert werden.

Der Ablauf

Was Ihre KI beim Testvorgang tut.

Der Agent übernimmt die Ausführung und den Vergleich Ihrer Haystack-Workflows.

  1. Pipelines auflisten

    Der Agent scannt Ihre Haystack-Instanz, um zu sehen, welche Pipelines bereit für Tests sind.

    list_pipelines

  2. Test ausführen

    Ihr Agent startet die gewählte Pipeline mit spezifischen Eingabewerten, um Antworten oder Ergebnisse zu generieren.

    run_pipeline

  3. Quelldaten abrufen

    Um die Antwort zu verifizieren, zieht der Agent die Originaldokumente aus Ihrem Index, um die faktische Übereinstimmung zu prüfen.

    search_documents

  4. Vergleichen und berichten

    Der Agent gleicht die Pipeline-Ergebnisse mit den abgerufenen Dokumenten ab, um Unstimmigkeiten zu finden.

    run_pipeline

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um das Testen Ihrer Pipelines zu beginnen.

Startpunkte

Ersetzen Sie die Pipeline-Namen und Dokumenten-IDs durch Ihre tatsächlichen Haystack-Bezeichner.

deepset Cloud Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — deepset Cloud capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "haystack-deepset-cloud-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle meine Haystack-Pipelines auf, damit ich eine zum Testen auswählen kann.

  • Führe die 'qa_pipeline' aus und sag mir, ob die Ergebnisse mit den Dokumenten in meinem Index übereinstimmen.

  • Prüfe die 'retrieval_test' Pipeline und suche nach Dokumenten, die zur Benutzeranfrage passen.

  • Führe die 'summarization_pipeline' aus und vergleiche das Ergebnis mit dem Originaltext.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Geben Sie einfach Ihre Haystack-Zugangsdaten an. Die Verbindung ist verschlüsselt und Sie können sofort mit dem Ausführen von Pipelines beginnen.

Haystack mit Ihrer KI verbinden

FAQ

So funktioniert das Testen

  • 01

    Kann die KI meine Haystack-Pipeline-Konfigurationen ändern?

    Nein. Der Agent kann lediglich bestehende Pipelines ausführen oder auflisten. Er kann Ihren Code oder Ihre Einstellungen nicht modifizieren.

  • 02

    Kann der Agent meine indexierten Dokumente löschen?

    Nein. Die Tools erlauben nur das Auflisten von Pipelines, das Ausführen von Pipelines und die Suche in Dokumenten. Ein Löschen ist nicht möglich.

  • 03

    Wie erkennt der Agent, ob ein Ergebnis eine Halluzination ist?

    Der Agent nutzt das Such-Tool, um den tatsächlichen Dokumententext abzurufen und vergleicht diesen mit dem Ergebnis der Pipeline, um Abweichungen zu finden.

  • 04

    Muss ich jeden Test manuell auslösen?

    Sie können Ihren Agenten einfach per Chat anweisen, die Tests durchzuführen, was die Ausführung der Pipeline automatisiert.

  • 05

    Kann ich mehrere Pipelines gleichzeitig testen?

    Sie können den Agenten bitten, sie nacheinander auszuführen, aber er führt jeden Pipeline-Aufruf einzeln aus.

  • Weitere Fragen zu Haystack? Die Connector-Seite liefert Antworten. Alle Funktionen des Haystack Connectors ansehen

Verbinde deepset Cloud mit Claude, Cursor, ChatGPT & mehr