• LOGGING
  • ÉVALUATION
  • MONITORING
  • HUMAIN

Suivre la performance de vos prompts avec votre IA

Connectez Humanloop à votre client IA pour commencer à suivre le comportement réel de vos prompts en production.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment puis-je suivre la performance de mes prompts ?

Vous pouvez utiliser Humanloop pour enregistrer les sorties du modèle et lancer des évaluateurs afin de vérifier la qualité. Cette configuration vous permet de voir précisément où les prompts échouent ou dérivent. Vous obtenez une vue claire du comportement du modèle grâce au monitoring et au logging en temps réel.

Les résultats.

Où vos données arrivent.

L'IA s'occupe de la collecte des données et des contrôles de qualité.

LOGGING

Sorties du modèle capturées

L'IA enregistre chaque interaction. Vous disposez de l'historique complet de ce que le modèle a dit et quand.

ÉVALUATION

Contrôles de qualité automatisés

L'IA applique des évaluateurs à vos logs. Cela permet d'identifier des schémas de mauvaise performance ou des hallucinations.

MONITORING

Suivi des performances en temps réel

L'IA met à jour vos indicateurs de performance. Vous voyez immédiatement les variations de comportement de vos prompts.

HUMAIN

Révision manuelle nécessaire

L'IA vous signale les sorties problématiques. C'est à vous de décider si un prompt doit être réécrit ou si un nouvel évaluateur est requis.

Le flux

Ce que fait votre IA quand les données arrivent.

L'IA passe de la capture du texte brut à l'analyse automatique de la qualité.

  1. Capturer les sorties

    L'IA enregistre le texte exact généré par votre modèle durant une session.

    log_to_prompt
  2. Diffuser les réponses

    L'IA gère les interactions en direct avec le modèle pour garantir que chaque token est pris en compte.

    call_prompt_stream
  3. Mettre à jour les métriques

    L'IA ajuste vos tableaux de bord de performance selon les derniers résultats.

    update_monitoring
  4. Analyser la qualité

    L'IA utilise les données enregistrées pour lancer des évaluateurs et détecter les erreurs.

    log_to_prompt

Essayez

Copiez ces commandes pour commencer.

Utilisez ces prompts pour débuter la gestion de la qualité de vos prompts.

Points de départ

Ce sont des exemples. Remplacez les noms de projets ou les IDs de logs par les vôtres.

Humanloop Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_SDhmK5J7LYd6XJCbZRuzCR6WIRna9REWi8m4RQ2M/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Humanloop capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "humanloop-llm-prompt-management-api-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_SDhmK5J7LYd6XJCbZRuzCR6WIRna9REWi8m4RQ2M/mcp"
    }
  }
}
Copiez dans le chat04
  • Enregistre les cinq dernières sorties de mon prompt 'customer-support-v2' dans Humanloop.

  • Vérifie les métriques de suivi de mon prompt 'summarizer' et dis-moi si la précision a chuté.

  • Lance l'évaluateur de qualité sur les derniers logs de mon projet 'email-generator'.

  • Diffuse la sortie de mon prompt 'creative-writer' et enregistre les résultats immédiatement.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez Humanloop une fois, puis demandez.

Liez votre compte Humanloop une seule fois. Vos identifiants restent cryptés et vous pouvez immédiatement demander à votre IA de gérer vos logs.

Connecter Humanloop à votre IA

FAQ

Fonctionnement de la tâche.

  • 01

    L'IA peut-elle modifier le texte de mon prompt dans Humanloop ?

    Non. L'IA peut enregistrer des données et suivre les performances, mais elle ne peut pas modifier vos modèles de prompts enregistrés.

  • 02

    L'IA va-t-elle supprimer mes historiques de logs ?

    Non. L'IA dispose uniquement d'outils pour enregistrer de nouvelles données et mettre à jour le suivi ; elle ne peut pas supprimer les logs existants.

  • 03

    Comment l'IA sait-elle si un prompt est mauvais ?

    L'IA utilise les évaluateurs que vous avez configurés pour comparer les sorties enregistrées à vos critères de qualité.

  • 04

    Puis-je utiliser cela pour corriger les hallucinations ?

    L'IA vous aide à identifier les hallucinations via le monitoring et le logging, mais vous devez modifier manuellement le prompt pour les corriger.

  • 05

    Cela fonctionne-t-il avec n'importe quel modèle ?

    Oui, tant que vous utilisez un client compatible MCP capable d'appeler ces outils.

  • D'autres questions sur Humanloop ? La page du Connector y répond. Voir tout ce que le Connector Humanloop peut faire

Connectez Humanloop à Claude, Cursor, ChatGPT et d'autres