• DETECÇÃO DE ERROS
  • QUALIDADE DE DADOS
  • FEEDBACK DO USUÁRIO
  • REVISÃO HUMANA

Como auditar o histórico de chat RAG com sua IA

Conecte o Vectara ao seu cliente de IA para extrair sessões passadas. Após a conexão, seu agente pode analisar interações anteriores para encontrar erros ou verificar fatos.

Pergunte à IA sobre esta página

Resposta rápida

Como posso auditar meu histórico de chat RAG?

Sua IA utiliza o MCP do Vectara para listar suas sessões de chat anteriores. Depois, você pode pedir ao seu agente que analise essas sessões específicas em busca de erros de precisão ou de contexto. Isso permite identificar onde sua implementação de RAG pode estar falhando.

Resultados da auditoria

Onde seus achados aparecem

O que você recebe após sua IA escanear o histórico.

DETECÇÃO DE ERROS

Encontrar alucinações

Sua IA revisa respostas passadas comparando-as com os dados originais. Ela sinaliza quando o modelo se desviou do contexto fornecido.

QUALIDADE DE DADOS

Verificar precisão da recuperação

O agente analisa quais documentos foram recuperados para perguntas específicas. Isso ajuda a ver se a informação correta está sendo encontrada.

FEEDBACK DO USUÁRIO

Revisar tendências de sessão

Sua IA identifica padrões na interação dos usuários com seu sistema RAG. Você verá quais tópicos geram mais confusão ou respostas incorretas.

REVISÃO HUMANA

Identificar correções manuais

A IA destaca sessões específicas que precisam de intervenção humana. Você saberá exatamente quais logs de chat exigem correção manual ou melhor fundamentação.

O fluxo

O que sua IA faz quando recebe o pedido.

A IA cuida da recuperação dos dados para que você foque apenas na análise.

  1. Buscar logs de sessão

    O agente acessa o Vectara para listar todas as interações de chat recentes. Isso fornece a matéria-prima para sua auditoria.

    list_chat_sessions

  2. Isolar chats específicos

    Sua IA filtra a lista de sessões para encontrar as conversas exatas que você deseja inspecionar, usando períodos ou IDs de sessão.

    list_chat_sessions

  3. Analisar fundamentação

    O agente compara as respostas do chat com o contexto recuperado. Ele busca discrepâncias entre o que foi dito e o que os dados suportam.

    list_chat_sessions

  4. Resumir achados

    Sua IA compila os erros ou acertos encontrados em um relatório legível. Você terá uma visão clara do desempenho do seu RAG.

    list_chat_sessions

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua auditoria.

Pontos de partida

Estas são frases iniciais. Substitua os IDs de sessão ou datas pelos seus dados reais do Vectara.

Vectara Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_P55Xdk6UU5XMN3cdVPORquufduaGCfpEWSemsNQg/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Vectara capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "vectara-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_P55Xdk6UU5XMN3cdVPORquufduaGCfpEWSemsNQg/mcp"
    }
  }
}
Copie no chat04

  • Liste minhas sessões de chat recentes do Vectara para que eu possa escolher uma para auditar.

  • Analise as últimas cinco sessões de chat do Vectara e me diga se houve alucinações.

  • Encontre a sessão de chat de ontem e verifique se o contexto recuperado realmente suportava a resposta.

  • Revise meu histórico de chat do Vectara e resuma os motivos mais comuns para respostas incorretas.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Vectara uma vez e pronto.

Basta clicar no link para conectar sua conta. Suas credenciais ficam criptografadas e você pode começar a perguntar sobre seus logs de chat imediatamente.

Conectar Vectara à sua IA

FAQ

Como esta tarefa funciona

  • 01

    A IA pode excluir sessões de chat no Vectara?

    Não. A IA só pode listar e ler as sessões existentes para realizar a auditoria.

  • 02

    Minha IA pode alterar as respostas no meu histórico de chat?

    Não. A IA pode analisar o histórico, mas não pode modificar ou reescrever os logs armazenados no Vectara.

  • 03

    Como a IA sabe se uma resposta foi uma alucinação?

    A IA compara a resposta do chat com o contexto específico recuperado durante aquela sessão para verificar se os fatos coincidem.

  • 04

    A IA vê todos os meus dados ou apenas o histórico de chat?

    Por meio deste MCP específico, a IA acessa apenas os dados de sessão de chat fornecidos pela ferramenta list_chat_sessions.

  • 05

    Posso auditar sessões de um usuário diferente?

    A IA só consegue acessar as sessões que sua conta conectada do Vectara tem permissão para visualizar.

  • Mais dúvidas sobre o Vectara? A página do conector responde. Veja tudo o que o conector Vectara pode fazer

Conecte Vectara ao Claude, Cursor, ChatGPT e outros