• REGRESSION
  • USER VOICE
  • HUMAN
  • TRENDS

Modell-Qualität mit New Relic AI überwachen

Verbinde New Relic AI mit deinem Agenten, um Nutzerfeedback direkt in Performance-Erkenntnisse zu verwandeln. Die KI erkennt Qualitätsverluste automatisch für dich.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie erkenne ich, wenn die Qualität meines Modells sinkt?

Deine KI nutzt das Tool query_llm_feedback, um Sternebewertungen und Textkommentare aus New Relic abzurufen. Sie identifiziert Muster bei Leistungsabfällen und zeigt dir genau auf, wo das Modell die Erwartungen der Nutzer nicht erfüllt.

Wo die Erkenntnisse landen.

Ergebnisse deiner Analyse.

Die KI kategorisiert das Feedback basierend auf den gefundenen Daten in spezifische Ergebnisse.

REGRESSION

Erkannte Leistungsabfälle

Die KI erkennt, wenn die Sternebewertungen unter deinen Basiswert fallen. Du erhältst eine Liste der spezifischen Modellversionen oder Prompts, die unterperformen.

USER VOICE

Direkte Feedback-Zusammenfassungen

Die KI extrahiert die Textkommentare der Nutzer. Sie fasst die wichtigsten Beschwerden oder Lobeshymnen zusammen, damit du die Stimmung schnell erfassen kannst.

HUMAN

Manuelle Prüfung nötig

Wenn Feedback mehrdeutig oder sehr komplex ist, markiert die KI dies für dich. Du entscheidst, ob das Problem eine Code-Änderung oder einen Prompt-Tweak erfordert.

TRENDS

Qualität im Zeitverlauf

Die KI verfolgt, wie sich die Bewertungen über verschiedene Deployment-Zeiträume hinweg verändern. So siehst du, ob ein neues Update tatsächlich eine Verbesserung brachte.

Der Ablauf

Was deine KI tut, wenn Feedback eingeht.

Die KI übernimmt die mühsame Arbeit, Logs und Bewertungen zu scannen, um das Wesentliche aus den Daten zu extrahieren.

  1. Feedback-Daten abrufen

    Die KI zieht die neuesten Sternebewertungen und Textkommentare aus deiner New Relic Instanz.

    query_llm_feedback

  2. Regressionen identifizieren

    Sie vergleicht aktuelle Bewertungen mit früheren Benchmarks, um plötzliche Qualitätsabfälle zu finden.

    query_llm_feedback

  3. Beschwerden zusammenfassen

    Die KI gruppiert ähnliche Nutzerkommentare, um die häufigsten Gründe für niedrige Bewertungen aufzuzeigen.

    query_llm_feedback

  4. Kritische Probleme markieren

    Sie hebt spezifische Feedback-Einträge hervor, die auf schwerwiegende Bugs oder Systemfehler hindeuten.

    query_llm_feedback

Probieren Sie es

Kopiere diese Befehle zum Start.

Nutze diese Prompts, um die Analyse deiner Modell-Performance zu beginnen.

Startpunkte

Dies sind erste Ansätze. Passe das Projekt oder die Zeiträume einfach an dein Setup an.

New Relic AI Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — New Relic AI capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "new-relic-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_oqdaAroeFoXBv9yPI4WsHZZZZZuzqhwVoSn1YCyq/mcp"
    }
  }
}
In den Chat kopieren04

  • Zeige mir die aktuellen Sternebewertungen für das Produktionsmodell in New Relic.

  • Fasse die Hauptbeschwerden der Nutzer zusammen, die heute eine 1-Stern-Bewertung gegeben haben.

  • Ist die Modell-Performance laut Nutzerfeedback nach dem letzten Deployment gesunken?

  • Finde alle Feedbacks zum 'customer support' Prompt aus den letzten 24 Stunden.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Gib deine Zugangsdaten nur einmal ein. Die Verbindung ist sicher und du kannst sofort damit beginnen, deinem Agenten Fragen zur Modell-Qualität zu stellen.

Verbinde New Relic AI mit deiner KI

FAQ

So funktioniert die Aufgabe

  • 01

    Kann die KI meine Modell-Prompts automatisch korrigieren?

    Nein. Die KI identifiziert die Probleme und fasst das Feedback zusammen, aber du musst deine Prompts oder deinen Code manuell aktualisieren.

  • 02

    Löscht die KI Feedback aus New Relic?

    Nein. Die KI liest Daten ausschließlich über das Tool query_llm_feedback. Sie kann deine bestehenden Datensätze weder ändern noch löschen.

  • 03

    Kann ich das zur Überwachung von Echtzeit-Streaming-Daten nutzen?

    Die KI arbeitet, indem sie die in New Relic verfügbaren Feedback-Daten abfragt. Sie analysiert das, was bereits aufgezeichnet wurde.

  • 04

    Benachrichtigt mich die KI, wenn eine Bewertung sinkt?

    Die KI sendet keine proaktiven Alarme. Du musst deinen Agenten aktiv fragen, ob es Regressionen gibt oder das aktuelle Feedback zusammenfassen lassen.

  • 05

    Kann die KI mein gesamtes New Relic-Dashboard sehen?

    Nein. Die KI greift nur auf die spezifischen LLM-Feedback-Daten zu, die durch das Tool query_llm_feedback bereitgestellt werden.

  • Weitere Fragen zu New Relic AI? Die Connector-Seite liefert Antworten. Alle Funktionen des New Relic AI Connectors ansehen

Verbinde New Relic AI mit Claude, Cursor, ChatGPT & mehr