¿Puede la IA corregir automáticamente mis prompts?

No. La IA identifica los problemas y resume el feedback, pero tú debes actualizar manualmente tus prompts o tu código.

¿La IA borra algún feedback de New Relic?

No. La IA solo lee los datos mediante la herramienta query_llm_feedback. No puede modificar ni eliminar tus registros existentes.

¿Puedo usar esto para monitorear datos en streaming en tiempo real?

La IA funciona consultando los datos de feedback disponibles en New Relic. Analiza lo que ya ha sido registrado.

¿Me notificará la IA cuando una calificación baje?

La IA no envía alertas proactivas. Debes pedirle a tu agente que busque regresiones o que resuma el feedback reciente.

¿Puede la IA ver todo mi dashboard de New Relic?

No. La IA solo accede a los datos específicos de feedback de LLM proporcionados por la herramienta query_llm_feedback.

REGRESIÓNVOZ DEL USUARIOHUMANOTENDENCIAS

REGRESIÓN
VOZ DEL USUARIO
HUMANO
TENDENCIAS

Cómo monitorear la calidad de tu modelo con tu IA

Conecta New Relic AI a tu agente para convertir el feedback de los usuarios en información de rendimiento. Tu IA vigila las caídas de calidad por ti.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo puedo saber si la calidad de mi modelo está bajando?

Tu IA utiliza la herramienta query_llm_feedback para extraer calificaciones y comentarios de texto desde New Relic. Así identifica patrones de regresión de rendimiento, mostrándote exactamente dónde el modelo está fallando ante los usuarios.

Dónde recibes los resultados.

Los resultados de tu análisis.

La IA categoriza el feedback en resultados específicos según los datos que encuentra.

REGRESIÓN

Caídas de rendimiento detectadas

La IA identifica cuándo las calificaciones caen por debajo de tu base establecida. Obtendrás una lista de versiones de modelos o prompts que no están rindiendo bien.

VOZ DEL USUARIO

Resúmenes de feedback directo

La IA extrae los comentarios de texto de los usuarios y resume las quejas o elogios principales para que entiendas el sentimiento rápidamente.

HUMANO

Requiere revisión manual

Cuando el feedback es ambiguo o muy complejo, la IA te lo señala. Tú decides si el problema requiere un cambio de código o un ajuste en el prompt.

TENDENCIAS

Calidad a través del tiempo

La IA rastrea cómo cambian las calificaciones en distintos periodos de despliegue. Esto te ayuda a ver si una nueva actualización realmente mejoró el servicio.

El flujo

Lo que hace tu IA cuando llega el feedback.

La IA se encarga del trabajo pesado de escanear registros y calificaciones para encontrar información útil entre tanto dato.

Extraer datos de feedback
La IA obtiene las calificaciones de estrellas y comentarios de texto más recientes de tu instancia de New Relic.
query_llm_feedback
Identificar regresiones
Compara las calificaciones actuales con los puntos de referencia anteriores para detectar caídas repentinas en la calidad.
query_llm_feedback
Resumir quejas
La IA agrupa comentarios similares para mostrarte las razones más comunes de las calificaciones bajas.
query_llm_feedback
Señalar problemas críticos
Resalta entradas de feedback específicas que parezcan errores graves o fallos del sistema.
query_llm_feedback

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para comenzar a analizar el rendimiento de tu modelo.

Puntos de partida

Estas son frases iniciales. Cambia el proyecto o los periodos de tiempo para que coincidan con tu configuración.

New Relic AI Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

1In Claude Desktop, open Settings → Connectors.
2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3Click Add and start a new chat — New Relic AI capabilities are ready to use.

Configuración · claude_desktop_config.jsonCopiar

{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}

Copia en el chat04

Muéstrame las calificaciones recientes del modelo de producción en New Relic.
Resume las quejas principales de los usuarios que dieron 1 estrella hoy.
¿Bajó el rendimiento del modelo tras el último despliegue según el feedback de los usuarios?
Busca todo el feedback relacionado con el prompt 'customer support' en las últimas 24 horas.

Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline

Empieza aquí

Conecta New Relic AI una vez y luego pregunta.

Solo tienes que introducir tus credenciales una vez. La conexión es segura y podrás empezar de inmediato a consultar a tu agente sobre la calidad de tu modelo.

Conectar New Relic AI a tu IA

FAQ

Cómo funciona esta tarea

01
¿Puede la IA corregir automáticamente mis prompts?
No. La IA identifica los problemas y resume el feedback, pero tú debes actualizar manualmente tus prompts o tu código.
02
¿La IA borra algún feedback de New Relic?
No. La IA solo lee los datos mediante la herramienta query_llm_feedback. No puede modificar ni eliminar tus registros existentes.
03
¿Puedo usar esto para monitorear datos en streaming en tiempo real?
La IA funciona consultando los datos de feedback disponibles en New Relic. Analiza lo que ya ha sido registrado.
04
¿Me notificará la IA cuando una calificación baje?
La IA no envía alertas proactivas. Debes pedirle a tu agente que busque regresiones o que resuma el feedback reciente.
05
¿Puede la IA ver todo mi dashboard de New Relic?
No. La IA solo accede a los datos específicos de feedback de LLM proporcionados por la herramienta query_llm_feedback.
¿Tienes más dudas sobre New Relic AI? La página del conector tiene todas las respuestas. Ver todo lo que puede hacer el conector de New Relic AI

Conecta New Relic AI a Claude, Cursor, ChatGPT y más