• ANALYSE
  • DONNÉES
  • HUMAIN
  • LOGS

Tester les régressions de prompts avec votre IA

Connectez Braintrust à votre agent pour effectuer des comparaisons côte à côte. Détectez les baisses de qualité subtiles en confrontant vos nouvelles itérations à vos références établies.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment savoir si un nouveau prompt est moins performant que l'ancien ?

Votre agent récupère vos traces d'expériences et vos jeux de données existants pour lancer une comparaison directe. Cela permet d'identifier précisément où la nouvelle version échoue par rapport à votre référence. Les écarts de performance apparaissent immédiatement.

Les résultats.

Où arrivent vos résultats.

L'IA s'occupe de la récupération et de la comparaison des données.

ANALYSE

Détection de régression

L'IA identifie les écarts entre les nouveaux résultats et vos traces de référence. Vous visualisez ainsi clairement les changements de performance.

DONNÉES

Alignement des jeux de données

L'agent extrait les jeux de test nécessaires pour valider vos changements. Il garantit que vous testez avec les bons paramètres d'entrée.

HUMAIN

Révision manuelle

Vous décidez quels échecs nécessitent une correction. L'IA signale les problèmes, mais vous gardez le contrôle final sur la logique du prompt.

LOGS

Historique des expériences

L'agent analyse vos sessions précédentes pour retrouver votre standard de référence. Vos tests restent ainsi ancrés dans vos performances réelles.

Le flux

Ce que fait votre IA lors de la requête.

L'agent sert de pont entre votre interface de chat et vos expériences Braintrust.

  1. Identifier la référence

    L'agent recherche vos exécutions réussies précédentes pour définir ce qu'est une réponse de qualité.

    list_experiments

  2. Récupérer le prompt

    Il extrait la version spécifique du prompt que vous souhaitez tester ou comparer.

    get_prompt

  3. Charger les données de test

    L'agent récupère les ensembles d'entrées utilisés pour votre évaluation.

    get_dataset

  4. Lancer la comparaison

    L'agent compare les nouveaux résultats aux traces de référence pour détecter les régressions.

    get_prompt

Essayez

Copiez ces commandes pour commencer.

Utilisez ces prompts pour lancer vos tests immédiatement.

Points de départ

Ce sont des exemples. Remplacez les noms d'expériences et les IDs de jeux de données par vos propres identifiants Braintrust.

Braintrust Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copiez dans le chat04

  • Compare le prompt de l'expérience 'v2-final' avec ma référence 'v1-stable'.

  • Lance un test de régression en utilisant le jeu de données 'customer-support-test'.

  • Vérifie si la nouvelle version du prompt dans 'agent-refactor-04' a perdu en qualité par rapport à l'exécution précédente.

  • Récupère les données de 'qa-eval-set' et compare-les à ma dernière version de prompt.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez Braintrust une fois, puis posez vos questions.

Liez simplement votre compte Braintrust. Vos identifiants restent chiffrés et sécurisés, et vous pouvez tester immédiatement depuis votre client IA habituel.

Connecter Braintrust à votre IA

FAQ

Fonctionnement de la tâche.

  • 01

    L'IA peut-elle modifier mes prompts dans Braintrust ?

    Non. L'IA peut uniquement lire les prompts et les données d'expérience. Vous devez modifier ou enregistrer de nouvelles versions manuellement dans Braintrust.

  • 02

    L'IA va-t-elle supprimer mes traces d'expériences ?

    Non. Les outils permettent uniquement la lecture et la récupération de données. Votre historique d'expériences est en sécurité.

  • 03

    Puis-je utiliser cela pour lancer de nouvelles expériences automatiquement ?

    L'IA peut extraire les données et comparer les résultats, mais elle ne déclenche pas l'exécution réelle de nouveaux tests à grande échelle.

  • 04

    Dois-je fournir les IDs d'expérience à chaque fois ?

    C'est plus simple si vous le faites. Bien que l'IA puisse lister les expériences pour les trouver, être précis évite toute confusion.

  • 05

    L'IA peut-elle corriger une régression pour moi ?

    Non. L'IA identifie où la performance a chuté, mais il vous appartient de réécrire le prompt pour corriger le problème.

  • D'autres questions sur Braintrust ? Voir toutes les capacités du connecteur Braintrust

Connectez Braintrust à Claude, Cursor, ChatGPT et d'autres