• REGRESSÃO
  • VOZ DO USUÁRIO
  • HUMANO
  • TENDÊNCIAS

Como monitorar a qualidade do modelo com seu AI

Conecte o New Relic AI ao seu agente para transformar feedbacks de usuários em insights de desempenho. Ele monitora quedas de qualidade para você.

Pergunte à IA sobre esta página

Resposta rápida

Como posso acompanhar se a qualidade do meu modelo caiu?

Seu AI usa a ferramenta query_llm_feedback para buscar avaliações por estrelas e comentários no New Relic. Ele identifica padrões de queda de desempenho, mostrando exatamente onde o modelo está falhando com os usuários.

Onde os insights aparecem.

Resultados da sua análise.

O AI categoriza os feedbacks em resultados específicos com base nos dados encontrados.

REGRESSÃO

Quedas de desempenho

O AI identifica quando as avaliações caem abaixo do seu padrão. Você recebe uma lista de versões do modelo ou prompts que estão performando mal.

VOZ DO USUÁRIO

Resumos de feedback

O AI extrai os comentários brutos dos usuários e resume as principais reclamações ou elogios para você entender o sentimento rapidamente.

HUMANO

Revisão manual necessária

Quando o feedback é ambíguo ou muito complexo, o AI sinaliza para você. Você decide se o problema exige mudança no código ou ajuste no prompt.

TENDÊNCIAS

Qualidade ao longo do tempo

O AI acompanha como as avaliações mudam entre diferentes períodos de implantação. Isso ajuda a validar se uma atualização realmente melhorou o sistema.

O fluxo

O que seu AI faz quando o feedback chega.

O AI faz o trabalho pesado de varrer logs e avaliações para encontrar informações úteis no meio de tantos dados.

  1. Buscar dados de feedback

    O AI extrai as avaliações por estrelas e os comentários mais recentes da sua instância do New Relic.

    query_llm_feedback

  2. Identificar regressões

    Ele compara as avaliações atuais com benchmarks anteriores para encontrar quedas repentinas de qualidade.

    query_llm_feedback

  3. Resumir reclamações

    O AI agrupa comentários semelhantes para mostrar os motivos mais comuns para as notas baixas.

    query_llm_feedback

  4. Sinalizar problemas críticos

    Ele destaca entradas de feedback que indicam bugs graves ou falhas no sistema.

    query_llm_feedback

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar a análise de desempenho do seu modelo.

Pontos de partida

Estes são exemplos básicos. Ajuste o projeto ou os períodos de tempo para a sua realidade.

New Relic AI Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
Copie no chat04

  • Mostre as avaliações recentes do modelo de produção no New Relic.

  • Resuma as principais reclamações dos usuários que deram 1 estrela hoje.

  • O desempenho do modelo caiu após a última implantação segundo o feedback dos usuários?

  • Encontre todos os feedbacks relacionados ao prompt de 'atendimento ao cliente' nas últimas 24 horas.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o New Relic AI uma vez e comece a perguntar.

Basta inserir suas credenciais uma única vez. A conexão é segura e você poderá perguntar imediatamente ao seu agente sobre a qualidade do modelo.

Conectar New Relic AI ao seu AI

FAQ

Como funciona esta tarefa

  • 01

    O AI pode corrigir meus prompts automaticamente?

    Não. O AI identifica os problemas e resume o feedback, mas você deve atualizar seus prompts ou código manualmente.

  • 02

    O AI apaga algum feedback do New Relic?

    Não. O AI apenas lê os dados usando a ferramenta query_llm_feedback. Ele não pode modificar ou excluir seus registros existentes.

  • 03

    Posso usar isso para monitorar dados em streaming em tempo real?

    O AI funciona consultando os dados de feedback já disponíveis no New Relic. Ele analisa o que já foi registrado.

  • 04

    O AI vai me notificar quando uma nota cair?

    O AI não envia alertas proativos. Você precisa pedir ao seu agente para verificar regressões ou resumir os feedbacks recentes.

  • 05

    O AI consegue ver todo o meu dashboard do New Relic?

    Não. O AI acessa apenas os dados específicos de feedback de LLM fornecidos pela ferramenta query_llm_feedback.

  • Mais dúvidas sobre o New Relic AI? A página do Connector responde. Veja tudo o que o New Relic AI Connector pode fazer

Conecte New Relic AI ao Claude, Cursor, ChatGPT e outros