• DADOS
  • BOTS
  • ERROS
  • HUMANO

Como testar a precisão do bot com seu agente de IA

Conecte seu agente às fontes de dados do seu bot uma única vez. A partir daí, você pode investigar o conhecimento dele para ver se ele está alucinando ou se mantém os fatos.

Pergunte à IA sobre esta página

Resposta rápida

Como posso verificar se meu bot está dando respostas corretas?

Você pode usar seu agente para extrair informações específicas das fontes de dados configuradas no bot e compará-las com as respostas dele. Isso permite identificar erros de lógica ou lacunas de conhecimento na hora. Você verá exatamente onde os dados coincidem ou falham.

Resultados dos testes.

Onde seus resultados aparecem.

Executar essas consultas oferece uma visão clara de como seu bot lida com perguntas do mundo real.

DADOS

Conhecimento verificado

Seu agente extrai os fatos brutos da fonte. Você obtém a verdade absoluta para comparar com o que o bot diz.

BOTS

Inventário de bots

Você consegue visualizar uma lista de todos os seus bots configurados. Isso ajuda a organizar quais precisam de testes.

ERROS

Identificar alucinações

Quando a resposta do bot contradiz os dados que seu agente encontra, você detectou uma alucinação. Esse é o principal jeito de achar bugs.

HUMANO

Ajustes manuais

A IA identifica a falha, mas você decide como atualizar os dados da fonte ou as instruções do bot para corrigi-la.

O fluxo

O que sua IA faz ao iniciar os testes.

O processo vai desde a identificação dos seus bots até a extração de dados específicos para comparação.

  1. Encontrar seus bots

    Seu agente vasculha sua conta para encontrar todos os bots que você configurou. Isso serve como ponto de partida para os testes.

    list_bots

  2. Selecionar um alvo

    Ao escolher um bot, seu agente puxa as configurações e definições específicas dele. Isso garante que o teste foque na instância correta.

    get_bot

  3. Consultar os dados

    Seu agente faz uma pergunta específica às fontes de dados do bot. Ele obtém a informação real que o bot deveria conhecer.

    query_bot

  4. Comparar resultados

    Seu agente compara os dados que acabou de recuperar com a resposta do bot. Ele destaca qualquer discrepância encontrada.

    query_bot

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua auditoria de precisão.

Pontos de partida

Estas são apenas sugestões. Altere os nomes dos bots ou os tópicos para condizerem com sua configuração real.

Chatsistant Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_pHKIqUVnpNzysk3EjJJFx7brchTn8atfbhMnxatz/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Chatsistant capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "chatsistant-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_pHKIqUVnpNzysk3EjJJFx7brchTn8atfbhMnxatz/mcp"
    }
  }
}
Copie no chat04

  • Liste todos os meus bots para que eu possa escolher um para testar.

  • Obtenha os detalhes do meu bot 'Suporte ao Cliente'.

  • Consulte o bot 'Documentação Técnica' sobre nossa política de reembolso.

  • Verifique o bot 'Assistente de Vendas' para informações sobre níveis de preços.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Chatsistant uma vez e comece a perguntar.

Basta vincular sua conta com um clique. Suas credenciais ficam criptografadas e seguras, permitindo que você comece os testes imediatamente.

Conectar Chatsistant ao seu AI

FAQ

Comportamento dos testes

  • 01

    A IA pode alterar as configurações do meu bot?

    Não. As ferramentas permitem apenas que a IA liste, obtenha e consulte dados. Ela não pode modificar a configuração do seu bot.

  • 02

    Isso vai excluir alguma das minhas fontes de dados?

    Não. Este MCP é apenas de leitura. Ele não pode excluir ou sobrescrever seus documentos ou configurações.

  • 03

    Posso testar vários bots ao mesmo tempo?

    Você pode listá-los todos, mas precisará executar as consultas um por um para obter respostas específicas.

  • 04

    Como a IA sabe se a resposta está errada?

    A IA compara a resposta do bot com os dados brutos que ela recupera usando a ferramenta de consulta. Se não coincidirem, ela sinaliza o erro.

  • 05

    Preciso fornecer os dados manualmente?

    Não. A IA utiliza as fontes de dados que você já configurou no seu bot.

  • Mais dúvidas sobre o Chatsistant? A página do Connector responde. Veja tudo o que o Chatsistant Connector pode fazer

Conecte Chatsistant ao Claude, Cursor, ChatGPT e outros