• VALIDAÇÃO
  • DETECÇÃO DE ERROS
  • AUDITORIA DE PIPELINE
  • REVISÃO HUMANA

Como testar a precisão do RAG com seu AI

Conecte o Haystack ao seu agente para executar pipelines específicos e validar se o contexto recuperado está correto.

Pergunte à IA sobre esta página

Resposta rápida

Como posso testar a precisão do meu pipeline RAG?

Seu agente usa o conector Haystack para acionar pipelines específicos e comparar o resultado com seus documentos indexados. Isso permite identificar erros de recuperação ou alucinações ao verificar se as respostas do agente estão alinhadas com seus dados reais.

Resultados dos testes

O que você obtém com os testes

O agente cuida de toda a parte pesada de execução e comparação.

VALIDAÇÃO

Recuperação verificada

O agente executa um pipeline e checa se os fragmentos recuperados contêm os fatos necessários. Você terá uma visão clara se sua indexação está funcionando.

DETECÇÃO DE ERROS

Identificar alucinações

Ao comparar as saídas do pipeline com seus dados de origem, o agente sinaliza quando ele inventa informações. Isso ajuda a encontrar exatamente onde a lógica falha.

AUDITORIA DE PIPELINE

Inventário de pipelines

Seu agente consegue visualizar todos os pipelines disponíveis no seu setup do Haystack. Isso garante que você está testando as versões corretas dos seus fluxos.

REVISÃO HUMANA

Correção manual

O agente identifica falhas específicas que exigem ajustes na sua estratégia de chunking ou no modelo de embedding. Você decide como corrigir os dados de origem.

O fluxo

O que seu AI faz ao iniciar o teste.

O agente assume a execução e a comparação dos seus fluxos do Haystack.

  1. Listar pipelines

    O agente analisa sua instância do Haystack para ver quais pipelines específicos estão prontos para teste.

    list_pipelines

  2. Executar o teste

    Seu agente aciona o pipeline selecionado com entradas específicas para gerar uma resposta ou um conjunto de resultados.

    run_pipeline

  3. Buscar dados de origem

    Para verificar a resposta, o agente busca os documentos originais no seu índice para conferir o alinhamento factual.

    search_documents

  4. Comparar e relatar

    O agente avalia a saída do pipeline contra os documentos recuperados para encontrar discrepâncias.

    run_pipeline

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar os testes nos seus pipelines.

Pontos de partida

Substitua os nomes dos pipelines e IDs de documentos pelos seus identificadores reais do Haystack.

deepset Cloud Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — deepset Cloud capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "haystack-deepset-cloud-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Tf2g8zLZroyDlliFU39whBZWkEDykSKQVz38t3zr/mcp"
    }
  }
}
Copie no chat04

  • Liste todos os meus pipelines do Haystack para que eu possa escolher um para testar.

  • Execute o 'qa_pipeline' e me diga se os resultados condizem com os documentos no meu índice.

  • Verifique o pipeline 'retrieval_test' e busque documentos relacionados à consulta do usuário.

  • Execute o 'summarization_pipeline' e verifique a saída comparando com o texto de origem.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Haystack uma vez e depois é só pedir.

Basta fornecer suas credenciais do Haystack. Sua conexão é criptografada e você pode começar a rodar pipelines imediatamente.

Conectar Haystack ao seu AI

FAQ

Como funcionam os testes

  • 01

    O AI pode alterar as configurações do meu pipeline Haystack?

    Não. O agente só pode executar pipelines existentes ou listá-los. Ele não pode modificar seu código ou configurações.

  • 02

    O agente pode excluir meus documentos indexados?

    Não. As ferramentas permitem apenas listar pipelines, executá-los e buscar documentos. A exclusão não é possível.

  • 03

    Como o agente sabe se um resultado é uma alucinação?

    O agente usa a ferramenta de busca para extrair o texto real do documento e o compara com a saída do pipeline para encontrar divergências.

  • 04

    Preciso acionar cada teste manualmente?

    Você pode pedir ao seu agente para rodá-los via chat, o que automatiza a execução do pipeline.

  • 05

    Posso testar vários pipelines ao mesmo tempo?

    Você pode pedir ao agente para rodá-los sequencialmente, mas ele executa cada chamada de pipeline individualmente.

  • Mais dúvidas sobre o Haystack? A página do conector responde. Veja tudo o que o conector Haystack pode fazer

Conecte deepset Cloud ao Claude, Cursor, ChatGPT e outros