• RÉGRESSION
  • VOIX CLIENT
  • HUMAIN
  • TENDANCES

Surveiller la qualité des modèles avec New Relic AI

Connectez New Relic AI à votre agent pour transformer les retours utilisateurs en analyses de performance. Il surveille les baisses de qualité à votre place.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment savoir si la qualité de mon modèle baisse ?

Votre IA utilise l'outil query_llm_feedback pour extraire les notes et les commentaires textuels de New Relic. Elle identifie les régressions de performance, vous indiquant précisément où le modèle déçoit les utilisateurs.

Où arrivent les analyses.

Les résultats de votre analyse.

L'IA catégorise les retours en fonction des données extraites.

RÉGRESSION

Baisse de performance détectée

L'IA repère quand les notes passent sous votre seuil de référence. Vous obtenez la liste des versions de modèles ou des prompts concernés.

VOIX CLIENT

Synthèse des retours directs

L'IA extrait les commentaires bruts des utilisateurs. Elle résume les plaintes ou les éloges pour une lecture rapide du sentiment.

HUMAIN

Révision manuelle requise

Si un retour est ambigu ou complexe, l'IA vous le signale. Vous décidez s'il faut modifier le code ou ajuster un prompt.

TENDANCES

Qualité dans le temps

L'IA suit l'évolution des notes selon les périodes de déploiement. Cela permet de vérifier l'impact réel d'une mise à jour.

Le flux

Ce que fait votre IA quand les retours arrivent.

L'IA s'occupe de scanner les logs et les notes pour isoler les informations utiles.

  1. Récupérer les retours

    L'IA extrait les dernières notes et commentaires utilisateurs de votre instance New Relic.

    query_llm_feedback

  2. Identifier les régressions

    Elle compare les notes actuelles aux benchmarks précédents pour détecter les chutes de qualité.

    query_llm_feedback

  3. Résumer les plaintes

    L'IA regroupe les commentaires similaires pour montrer les causes principales des mauvaises notes.

    query_llm_feedback

  4. Signaler les problèmes critiques

    Elle met en évidence les retours qui ressemblent à des bugs majeurs ou des défaillances système.

    query_llm_feedback

Essayez

Copiez ces exemples pour commencer.

Utilisez ces prompts pour débuter l'analyse de vos modèles.

Points de départ

Ce sont des exemples de base. Adaptez les projets ou les périodes selon votre configuration.

New Relic AI Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
Copiez dans le chat04

  • Montre-moi les notes récentes du modèle de production dans New Relic.

  • Résume les principales plaintes des utilisateurs ayant mis 1 étoile aujourd'hui.

  • La performance du modèle a-t-elle chuté après le dernier déploiement selon les retours utilisateurs ?

  • Trouve tous les retours liés au prompt 'customer support' au cours des dernières 24 heures.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez New Relic AI une fois, puis interrogez.

Saisissez vos identifiants une seule fois. La connexion est sécurisée et vous pourrez immédiatement questionner votre agent sur la qualité de vos modèles.

Connecter New Relic AI à votre IA

FAQ

Fonctionnement de la tâche

  • 01

    L'IA peut-elle corriger automatiquement mes prompts ?

    Non. L'IA identifie les problèmes et résume les retours, mais vous devez modifier vos prompts ou votre code manuellement.

  • 02

    L'IA supprime-t-elle des retours dans New Relic ?

    Non. L'IA utilise uniquement l'outil query_llm_feedback pour lire les données. Elle ne peut ni modifier ni supprimer vos enregistrements.

  • 03

    Puis-je l'utiliser pour surveiller des données en streaming temps réel ?

    L'IA fonctionne en interrogeant les données de feedback disponibles dans New Relic. Elle analyse ce qui a déjà été enregistré.

  • 04

    L'IA me préviendra-t-elle si une note chute ?

    L'IA n'envoie pas d'alertes proactives. Vous devez demander à votre agent de vérifier les régressions ou de résumer les retours récents.

  • 05

    L'IA peut-elle voir l'intégralité de mon tableau de bord New Relic ?

    Non. L'IA accède uniquement aux données de feedback LLM fournies par l'outil query_llm_feedback.

  • D'autres questions sur New Relic AI ? La page du connecteur y répond. Voir toutes les capacités du connecteur New Relic AI

Connectez New Relic AI à Claude, Cursor, ChatGPT et d'autres