• FEHLERERKENNUNG
  • DATENQUALITÄT
  • NUTZERFEEDBACK
  • MANUELLE PRÜFUNG

RAG-Chatverläufe mit Ihrer KI prüfen und auditieren

Verbinden Sie Vectara mit Ihrem KI-Client, um vergangene Sitzungen abzurufen. Sobald die Verbindung steht, kann Ihr Agent die Interaktionen nach Fehlern durchsuchen oder Fakten verifizieren.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich meine RAG-Chatverläufe prüfen?

Ihre KI nutzt den Vectara MCP, um eine Liste Ihrer bisherigen Chat-Sessions abzurufen. Sie können Ihren Agenten dann anweisen, diese Sitzungen gezielt auf Genauigkeit oder Kontextfehler zu analysieren. So finden Sie schnell heraus, wo Ihre RAG-Implementierung Schwächen zeigt.

Ergebnisse der Prüfung

Was Sie aus der Analyse erhalten

Das liefert Ihre KI nach dem Scan des Verlaufs.

FEHLERERKENNUNG

Halluzinationen finden

Ihre KI gleicht vergangene Antworten mit den ursprünglichen Daten ab. Sie markiert Stellen, an denen das Modell vom bereitgestellten Kontext abgewichen ist.

DATENQUALITÄT

Abrufgenauigkeit prüfen

Der Agent prüft, welche Dokumente für bestimmte Fragen abgerufen wurden. So sehen Sie, ob tatsächlich die richtigen Informationen gefunden werden.

NUTZERFEEDBACK

Sitzungstrends analysieren

Ihre KI erkennt Muster in der Interaktion der Nutzer mit Ihrem RAG-System. Sie sehen genau, welche Themen zu Verwirrung oder falschen Antworten führen.

MANUELLE PRÜFUNG

Korrekturbedarf identifizieren

Die KI hebt Sitzungen hervor, bei denen ein Mensch eingreifen muss. Sie wissen sofort, welche Chat-Logs manuell korrigiert oder besser fundiert werden müssen.

Der Ablauf

Was Ihre KI bei einer Anfrage tut.

Die KI übernimmt den Datenabruf, damit Sie sich auf die Analyse konzentrieren können.

  1. Sitzungsprotokolle abrufen

    Der Agent greift auf Vectara zu, um eine Liste aller aktuellen Chat-Interaktionen zu erhalten. Dies bildet die Basis für Ihr Audit.

    list_chat_sessions

  2. Spezifische Chats isolieren

    Ihre KI filtert die Liste der Sitzungen, um genau die Konversationen zu finden, die Sie untersuchen möchten. Sie nutzt Zeiträume oder Session-IDs.

    list_chat_sessions

  3. Grounding analysieren

    Der Agent vergleicht die Chat-Antworten mit dem abgerufenen Kontext. Er sucht nach Abweichungen zwischen der Antwort und den vorliegenden Daten.

    list_chat_sessions

  4. Ergebnisse zusammenfassen

    Ihre KI erstellt aus den gefundenen Fehlern oder Erfolgen einen lesbaren Bericht. So erhalten Sie einen klaren Überblick über Ihre RAG-Performance.

    list_chat_sessions

Probieren Sie es

Kopieren Sie diese Vorlagen zum Start.

Nutzen Sie diese Prompts, um Ihr Audit zu beginnen.

Startpunkte

Dies sind Vorlagen. Ersetzen Sie die Session-IDs oder Daten einfach durch Ihre echten Vectara-Daten.

Vectara Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_P55Xdk6UU5XMN3cdVPORquufduaGCfpEWSemsNQg/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Vectara capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "vectara-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_P55Xdk6UU5XMN3cdVPORquufduaGCfpEWSemsNQg/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste meine letzten Vectara-Chat-Sessions auf, damit ich eine für das Audit auswählen kann.

  • Analysiere die letzten fünf Chat-Sessions von Vectara und sag mir, ob eine davon halluziniert hat.

  • Suche die Chat-Session von gestern und prüfe, ob der abgerufene Kontext die Antwort tatsächlich gestützt hat.

  • Überprüfe meinen Vectara-Chatverlauf und fasse die häufigsten Gründe für falsche Antworten zusammen.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Klicken Sie einfach auf den Link, um Ihr Konto zu verbinden. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort Fragen zu Ihren Chat-Logs an Ihre KI stellen.

Vectara mit Ihrer KI verbinden

FAQ

Funktionsweise der Aufgabe

  • 01

    Kann die KI Chat-Sessions in Vectara löschen?

    Nein. Die KI kann vorhandene Sitzungen nur auflisten und lesen, um das Audit durchzuführen.

  • 02

    Kann meine KI die Antworten in meinem Chatverlauf ändern?

    Nein. Die KI kann den Verlauf analysieren, aber die in Vectara gespeicherten Protokolle nicht modifizieren oder umschreiben.

  • 03

    Woher weiß die KI, ob eine Antwort eine Halluzination war?

    Die KI vergleicht die Chat-Antwort mit dem spezifischen Kontext, der während dieser Sitzung abgerufen wurde, um die Übereinstimmung der Fakten zu prüfen.

  • 04

    Sieht die KI alle meine Daten oder nur den Chatverlauf?

    Über diesen speziellen MCP greift die KI nur auf die Chat-Sitzungsdaten zu, die durch das Tool list_chat_sessions bereitgestellt werden.

  • 05

    Kann ich Sitzungen eines anderen Nutzers prüfen?

    Die KI kann nur auf die Sitzungen zugreifen, für die Ihr verbundenes Vectara-Konto die entsprechenden Berechtigungen besitzt.

  • Weitere Fragen zu Vectara? Die Connector-Seite liefert Antworten. Alle Funktionen des Vectara Connectors ansehen

Verbinde Vectara mit Claude, Cursor, ChatGPT & mehr