• LATÊNCIA
  • EVENTOS
  • CAUSA RAIZ
  • HUMANO

Como depurar picos de latência de LLM com sua IA

Conecte o New Relic AI ao seu agente para encontrar exatamente quais chamadas de modelo estão atrasando sua aplicação.

Pergunte à IA sobre esta página

Resposta rápida

Como descubro por que minhas chamadas de LLM estão lentas?

Seu agente busca métricas de latência e logs de eventos para localizar as chamadas exatas que causam o atraso. Você recebe um detalhamento dos gargalos de performance e os dados de eventos ligados a eles.

Resultados da investigação

Onde seus dados chegam.

A IA organiza seus dados de observabilidade em categorias acionáveis.

LATÊNCIA

Identificar chamadas lentas

O agente usa métricas de latência para encontrar anomalias. Você visualiza quais requisições de modelo estão ultrapassando seus limites.

EVENTOS

Rastrear erros específicos

O agente extrai dados de eventos para mostrar o que ocorreu durante um pico. Você obtém o contexto necessário para entender a falha.

CAUSA RAIZ

Localizar o gargalo

A IA correlaciona dados de tempo com logs de eventos. Você descobre se o atraso está no modelo, na rede ou no payload.

HUMANO

Investigação manual

A IA sinaliza problemas que exigem uma análise profunda no dashboard do New Relic. Você decide quando sair do chat para a interface completa.

O fluxo

O que sua IA faz quando surge um pico de latência.

O agente atua como uma ponte entre sua interface de chat e a telemetria do New Relic.

  1. Escanear atrasos

    O agente verifica sua telemetria recente para encontrar picos nos tempos de resposta.

    query_llm_latency

  2. Inspecionar logs

    Ele extrai os dados de eventos específicos associados àqueles registros de tempo lentos.

    query_llm_events

  3. Correlacionar dados

    O agente cruza os números de latência com os detalhes dos eventos para encontrar padrões.

    query_llm_latencyquery_llm_events

  4. Resumir descobertas

    O agente apresenta uma lista clara das chamadas problemáticas e seu impacto.

    query_llm_latency

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua investigação.

Pontos de partida

Substitua o texto entre colchetes pelos nomes de seus serviços ou intervalos de tempo específicos.

New Relic AI Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
Copie no chat04

  • Mostre os picos de latência de LLM para o serviço production-api na última hora.

  • Quais chamadas de modelo específicas no módulo 'chat-completion' tiveram a maior latência hoje?

  • Encontre os dados de eventos para o pico de latência que ocorreu às 10:15.

  • Compare as métricas de latência das chamadas baseadas em GPT com as chamadas baseadas em Llama nos meus logs recentes.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o New Relic AI uma vez e comece a perguntar.

Uma única conexão dá ao seu agente acesso aos seus dados de observabilidade. Suas credenciais permanecem criptografadas e seguras.

Conectar New Relic AI à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode corrigir os problemas de latência automaticamente?

    Não. A IA apenas lê os dados de latência e eventos para informar o que está acontecendo. Você deve implementar a correção no seu código.

  • 02

    A IA pode excluir dados de telemetria antigos?

    Não. O agente tem permissão apenas para consultar dados, não para modificar ou excluir nada no New Relic.

  • 03

    A IA precisa do meu login do New Relic?

    Não. Você conecta o MCP através do Vinkius, que gerencia a conexão de forma segura.

  • 04

    Ela consegue ver todos os meus dados do New Relic?

    Não. Ela só acessa dados relacionados à latência de LLM e eventos por meio das ferramentas fornecidas.

  • 05

    Como ela sabe quais chamadas estão lentas?

    Ela utiliza a ferramenta de latência para escanear tempos de resposta que excedem sua linha de base normal.

  • Mais dúvidas sobre o New Relic AI? A página do Connector responde. Veja tudo o que o New Relic AI Connector pode fazer

Conecte New Relic AI ao Claude, Cursor, ChatGPT e outros