• LATENCIA
  • EVENTOS
  • CAUSA RAÍZ
  • HUMANO

Cómo depurar picos de latencia de LLM con tu IA

Conecta New Relic AI a tu agente para localizar exactamente qué llamadas al modelo están ralentizando tu aplicación.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo saber por qué mis llamadas al LLM son lentas?

Tu agente extrae métricas de latencia y registros de eventos para encontrar las llamadas exactas que causan retrasos. Obtendrás un desglose de los cuellos de botella y los datos de eventos específicos vinculados a ellos.

Resultados de la investigación

Dónde aterrizan tus datos.

La IA organiza tus datos de observabilidad en categorías accionables.

LATENCIA

Identificar llamadas lentas

El agente usa métricas de latencia para encontrar valores atípicos. Verás qué solicitudes específicas al modelo superan tus umbrales.

EVENTOS

Rastrear errores específicos

El agente extrae datos de eventos para mostrar qué ocurrió durante un pico. Obtendrás el contexto necesario para entender el fallo.

CAUSA RAÍZ

Localizar el cuello de botella

La IA correlaciona datos de tiempo con registros de eventos. Descubrirás si el retraso está en el modelo, la red o la carga útil.

HUMANO

Investigación manual

La IA señala problemas que requieren un análisis profundo en el panel de New Relic. Tú decides cuándo pasar del chat a la interfaz completa.

El flujo

Qué hace tu IA cuando llega un pico de latencia.

El agente actúa como puente entre tu interfaz de chat y la telemetría de New Relic.

  1. Escanear retrasos

    El agente revisa tu telemetría reciente para encontrar picos en los tiempos de respuesta.

    query_llm_latency
  2. Inspeccionar registros

    Extrae los datos de eventos específicos asociados a esos momentos de lentitud.

    query_llm_events
  3. Correlacionar datos

    El agente cruza los números de latencia con los detalles de los eventos para hallar patrones.

    query_llm_latencyquery_llm_events
  4. Resumir hallazgos

    El agente presenta una lista clara de las llamadas problemáticas y su impacto.

    query_llm_latency

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para iniciar tu investigación.

Puntos de partida

Sustituye el texto entre corchetes por los nombres de tus servicios o rangos de tiempo específicos.

New Relic AI Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
Copia en el chat04
  • Muéstrame los picos de latencia del LLM para el servicio production-api de la última hora.

  • ¿Qué llamadas específicas al modelo en el módulo 'chat-completion' tuvieron la mayor latencia hoy?

  • Busca los datos de eventos para el pico de latencia que ocurrió a las 10:15 AM.

  • Compara las métricas de latencia de las llamadas basadas en GPT frente a las de Llama en mis registros recientes.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta New Relic AI una vez y luego pregunta.

Una sola conexión da a tu agente acceso a tus datos de observabilidad. Tus credenciales se mantienen cifradas y seguras.

Conecta New Relic AI a tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA solucionar los problemas de latencia automáticamente?

    No. La IA solo lee los datos de latencia y eventos para decirte qué está pasando. Tú debes implementar la solución en tu código.

  • 02

    ¿Puede la IA borrar datos de telemetría antiguos?

    No. El agente solo tiene permiso para consultar datos, no para modificar ni borrar nada en New Relic.

  • 03

    ¿Necesita la IA mi usuario de New Relic?

    No. Conectas el MCP a través de Vinkius, que gestiona la conexión de forma segura.

  • 04

    ¿Puede ver todos mis datos de New Relic?

    No. Solo puede acceder a los datos relacionados con la latencia y los eventos del LLM mediante las herramientas proporcionadas.

  • 05

    ¿Cómo sabe qué llamadas son lentas?

    Utiliza la herramienta de latencia para buscar tiempos de respuesta que superen tu línea base habitual.

  • ¿Tienes más dudas sobre New Relic AI? La página del conector tiene las respuestas. Ver todo lo que puede hacer el New Relic AI Connector

Conecta New Relic AI a Claude, Cursor, ChatGPT y más