• ANÁLISE
  • DADOS
  • HUMANO
  • LOGS

Como testar regressões de prompt com sua IA

Conecte o Braintrust ao seu agente para realizar comparações lado a lado. Você detectará quedas sutis de qualidade ao validar novas iterações contra seus padrões estabelecidos.

Pergunte à IA sobre esta página

Resposta rápida

Como saber se um novo prompt é pior que o anterior?

Seu agente busca rastros de experimentos e conjuntos de dados existentes para fazer uma comparação direta. Isso revela exatamente onde a nova versão falha em relação ao seu padrão, mostrando as lacunas de performance na hora.

Os resultados.

Onde seus dados aparecem.

A IA cuida de toda a parte pesada de busca e comparação de dados.

ANÁLISE

Detecção de regressão

A IA identifica onde as saídas do novo prompt divergem dos seus rastros de referência. Você visualiza claramente as mudanças de performance.

DADOS

Alinhamento de datasets

O agente busca os conjuntos de teste exatos para validar as mudanças, garantindo que você use os inputs corretos.

HUMANO

Revisão manual

Você decide quais falhas precisam de correção manual. A IA aponta os problemas, mas a decisão final sobre a lógica do prompt é sua.

LOGS

Histórico de experimentos

O agente consulta execuções anteriores para encontrar seu padrão de ouro, mantendo os testes baseados em performance real.

O fluxo

O que sua IA faz ao receber o comando.

O agente serve como uma ponte entre sua interface de chat e seus experimentos no Braintrust.

  1. Identificar o padrão

    O agente consulta suas execuções bem-sucedidas anteriores para definir o que é uma resposta ideal.

    list_experiments

  2. Buscar o prompt

    Ele recupera a versão específica do prompt que você deseja testar ou comparar.

    get_prompt

  3. Carregar dados de teste

    O agente puxa os conjuntos de entrada usados na sua avaliação.

    get_dataset

  4. Executar comparação

    O agente compara as novas saídas com os rastros de referência para encontrar regressões.

    get_prompt

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar seus testes imediatamente.

Pontos de partida

Estes são apenas exemplos. Substitua os nomes de experimentos e IDs de datasets pelos seus identificadores reais do Braintrust.

Braintrust Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copie no chat04

  • Compare o prompt do experimento 'v2-final' com o meu padrão 'v1-stable'.

  • Execute um teste de regressão usando o dataset 'customer-support-test'.

  • Verifique se a nova versão do prompt em 'agent-refactor-04' perdeu qualidade em relação à execução anterior.

  • Puxe os dados do 'qa-eval-set' e compare com minha versão mais recente de prompt.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Braintrust uma vez e pronto.

Basta vincular sua conta do Braintrust. Suas credenciais ficam criptografadas e seguras, permitindo que você comece a testar direto no seu cliente de IA preferido.

Conectar Braintrust à sua IA

FAQ

Como funciona esta tarefa.

  • 01

    A IA pode alterar meus prompts no Braintrust?

    Não. A IA só pode ler prompts e dados de experimentos. Você deve editar ou salvar novas versões manualmente no Braintrust.

  • 02

    A IA vai deletar meus rastros de experimentos?

    Não. As ferramentas permitem apenas a leitura e recuperação de dados. Seu histórico de experimentos está seguro.

  • 03

    Posso usar isso para rodar novos experimentos automaticamente?

    A IA pode buscar dados e comparar resultados, mas ela não dispara a execução real de novos experimentos em larga escala.

  • 04

    Preciso fornecer os IDs dos experimentos sempre?

    É mais fácil se você fornecer. Embora a IA consiga listar experimentos para encontrá-los, ser específico evita confusões.

  • 05

    A IA pode corrigir uma regressão para mim?

    Não. A IA identifica onde a performance caiu, mas cabe a você reescrever o prompt para corrigir o problema.

  • Mais dúvidas sobre o Braintrust? Veja tudo o que o conector do Braintrust faz

Conecte Braintrust ao Claude, Cursor, ChatGPT e outros