• PRECISÃO
  • TOM
  • HUMANO
  • TENDÊNCIAS

Como auditar conversas de chatbots com seu AI

Conecte o Mainstay ao seu agente para extrair logs de conversas e revisar como seus bots interagem com os alunos.

Pergunte à IA sobre esta página

Resposta rápida

Como posso auditar minhas conversas do chatbot Mainstay?

Seu agente usa a ferramenta list_messages para extrair logs de chats recentes do Mainstay. Depois, você pode pedir para ele sinalizar informações incorretas ou resumir interações específicas. Isso oferece uma visão clara do desempenho do bot sem precisar de exportações manuais.

Resultados da auditoria

Onde seus dados aparecem.

O AI categoriza os achados com base no que você pedir para ele procurar.

PRECISÃO

Respostas incorretas do bot

O agente identifica onde o bot passou informações erradas. Você recebe uma lista de mensagens específicas que precisam de correção.

TOM

Mudanças no sentimento do aluno

O AI sinaliza conversas onde o tom do aluno muda. Isso ajuda a entender se o bot está frustrando os usuários.

HUMANO

Necessidade de escalonamento

O agente destaca conversas que exigem a intervenção de uma pessoa real. Esses casos são marcados para sua revisão imediata.

TENDÊNCIAS

Dúvidas comuns dos alunos

O AI agrupa perguntas semelhantes. Você visualiza quais temas geram mais engajamento com o bot.

O fluxo

O que seu AI faz ao iniciar a auditoria.

O agente cuida da busca dos dados para que você foque apenas na análise.

  1. Buscar logs de chat

    O agente acessa o Mainstay para extrair os tópicos de mensagens específicos que você quer revisar.

    list_messages

  2. Escanear erros

    Seu agente lê o texto extraído para encontrar divergências entre as respostas do bot e suas diretrizes oficiais.

    list_messages

  3. Identificar padrões

    O AI busca por perguntas repetitivas ou problemas recorrentes em várias conversas de alunos.

    list_messages

  4. Sinalizar para revisão

    O agente isola as conversas mais críticas que precisam de atenção humana.

    list_messages

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua auditoria.

Pontos de partida

Estes são modelos iniciais. Altere as datas ou os grupos de alunos para atender às suas necessidades.

Mainstay Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Mainstay capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "mainstay-admithub-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_GWkFmNjTamsRfgFmDQebU4CLGyyAWpESQV01Eokx/mcp"
    }
  }
}
Copie no chat04

  • Liste as últimas 50 mensagens do Mainstay e me diga se alguma resposta do bot foi imprecisa.

  • Revise os logs de chat recentes e encontre todas as conversas onde um aluno perguntou sobre auxílio financeiro.

  • Extraia os logs de mensagens de ontem e sinalize qualquer caso em que um aluno tenha parecido frustrado.

  • Verifique as mensagens do Mainstay do grupo 'Incoming Freshman' e resuma as três principais perguntas feitas.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Mainstay uma vez e pronto.

Basta vincular sua conta uma única vez. Suas credenciais ficam criptografadas e você pode começar a auditar imediatamente pelo seu cliente de AI preferido.

Conectar Mainstay ao seu AI

FAQ

Como funciona a auditoria

  • 01

    O AI pode alterar as mensagens enviadas aos alunos?

    Não. O AI só consegue ler os logs via list_messages. Ele não pode editar ou excluir mensagens no Mainstay.

  • 02

    O AI responde aos alunos automaticamente?

    Não. O agente apenas extrai e analisa dados. Ele não tem capacidade de enviar mensagens de volta para os alunos.

  • 03

    Posso auditar alunos específicos pelo nome?

    Sim, desde que você forneça o identificador do aluno ou detalhes específicos para ajudar o agente a encontrar os logs corretos.

  • 04

    Como o AI sabe se uma resposta do bot estava errada?

    O AI compara os dados do log com o contexto ou as diretrizes que você fornecer no seu prompt.

  • 05

    Posso exportar esses logs para uma planilha?

    O AI pode formatar os dados em uma tabela para você copiar, mas não consegue gravar arquivos diretamente no seu computador.

  • Mais dúvidas sobre o Mainstay? A página do Connector responde. Veja tudo o que o Mainstay Connector pode fazer

Conecte Mainstay ao Claude, Cursor, ChatGPT e outros