• ANÁLISE
  • TENDÊNCIAS
  • DETECÇÃO
  • DECISÃO

Como monitorar o desempenho do modelo com seu AI

Conecte o Braintrust ao seu cliente de IA uma única vez. Depois disso, seu agente pode consultar pontuações de experimentos e dados de projetos para acompanhar o comportamento real dos seus modelos.

Pergunte à IA sobre esta página

Resposta rápida

Como saber se as mudanças no modelo melhoraram a precisão?

Seu AI consulta o Braintrust para buscar pontuações de experimentos e métricas de projetos. Ele compara esses dados para mostrar exatamente como as mudanças recentes impactaram o comportamento. Veja como funciona.

Resultados

O que você obtém com os dados

Seu AI transforma métricas do Braintrust em respostas claras.

ANÁLISE

Comparar pontuações de experimentos

O AI extrai dados das execuções mais recentes para mostrar o desempenho de diferentes versões entre si.

TENDÊNCIAS

Acompanhar histórico do projeto

Seu agente analisa métricas de projetos para verificar se o desempenho está subindo ou descendo ao longo do tempo.

DETECÇÃO

Identificar mudanças de comportamento

O AI detecta quando uma mudança específica no modelo causa queda na precisão ou alteração no estilo de resposta.

DECISÃO

Implantação guiada por humanos

O AI apresenta os achados, mas você decide qual modelo deve ser enviado para produção.

O fluxo

O que seu AI faz quando os dados chegam.

O AI atua como uma ponte entre o seu painel do Braintrust e sua interface de chat.

  1. Localizar projetos

    O AI encontra os projetos específicos do Braintrust que você deseja investigar.

    list_projects

  2. Buscar pontuações de experimentos

    Ele extrai métricas e pontuações específicas das suas execuções de teste recentes.

    list_experiments

  3. Comparar versões

    O agente analisa diferentes resultados de experimentos para encontrar variações de desempenho.

    list_experiments

  4. Relatar descobertas

    Seu AI resume as métricas do projeto para explicar como o comportamento mudou.

    list_projects

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar sua análise.

Pontos de partida

Substitua os nomes dos projetos e IDs de experimentos pelos seus dados reais do Braintrust.

Braintrust Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copie no chat04

  • Liste todos os meus projetos no Braintrust para eu ver o que está disponível.

  • Mostre as pontuações do experimento 'v2-test-run' no meu projeto 'Customer-Bot'.

  • Compare as pontuações de precisão entre meus últimos três experimentos.

  • As mudanças recentes no projeto 'Search-Optimization' melhoraram o desempenho do meu modelo?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Braintrust uma vez e comece a perguntar.

Conecte sua conta em um único passo. Suas credenciais ficam criptografadas e você pode começar imediatamente a questionar seu AI sobre o desempenho do modelo.

Conectar Braintrust ao seu AI

FAQ

Como funciona esta tarefa

  • 01

    O AI pode alterar as configurações dos meus experimentos?

    Não. O AI apenas lê dados de projetos e experimentos; ele não pode modificar suas configurações no Braintrust.

  • 02

    O AI pode excluir minhas execuções de teste?

    Não. Este MCP é apenas de leitura para seus experimentos e projetos.

  • 03

    Como o AI sabe qual projeto deve analisar?

    Ele usa a ferramenta list_projects para ver seus projetos disponíveis, e então você indica em qual deve focar.

  • 04

    Isso funciona com qualquer cliente de IA?

    Sim, funciona com qualquer cliente compatível com MCP, como Claude, Cursor ou Windsurf.

  • 05

    O AI pode criar novos experimentos para mim?

    Não. O AI só pode listar e consultar experimentos já existentes.

  • Mais dúvidas sobre o Braintrust? Veja tudo o que o Braintrust Connector pode fazer

Conecte Braintrust ao Claude, Cursor, ChatGPT e outros