• LEITURA
  • ESCRITA
  • VERIFICAÇÃO
  • SINCRONIZAÇÃO

Como expandir conjuntos de dados de avaliação com sua IA

Conecte o Braintrust ao seu cliente de IA para aumentar seus conjuntos de teste por meio de conversas. Basta dizer ao seu agente o que adicionar e ele cuida da entrada de dados.

Pergunte à IA sobre esta página

Resposta rápida

Como posso adicionar novos casos de teste aos meus conjuntos de dados do Braintrust?

Você instrui seu cliente de IA a adicionar linhas específicas ou novos casos de teste às suas matrizes existentes no Braintrust. Ele usa suas instruções em linguagem natural para consultar os dados atuais e inserir novas entradas de ground truth diretamente nos seus conjuntos. Assim, você amplia sua biblioteca de testes sem precisar de uploads manuais de CSV.

Onde seus dados chegam.

O resultado do seu pedido.

A IA gerencia o movimento de dados entre o seu chat e o ambiente do Braintrust.

LEITURA

Estado atual do conjunto

A IA consulta suas linhas de avaliação existentes para entender o contexto atual. Isso garante que as novas entradas sigam o seu esquema de dados.

ESCRITA

Novos casos de teste

Seu agente insere novas linhas com entradas e saídas esperadas. Isso expande sua cobertura de testes instantaneamente.

VERIFICAÇÃO

Revisão humana necessária

Você decide se um caso de teste gerado é realmente útil. A IA aguarda seu sinal antes de finalizar atualizações sensíveis de ground truth.

SINCRONIZAÇÃO

Matrizes atualizadas

Seus conjuntos de avaliação ficam sempre alinhados com as últimas iterações do seu modelo. Os novos dados estarão prontos para sua próxima execução de avaliação.

O fluxo

O que sua IA faz quando recebe o pedido.

A IA atua como uma ponte entre sua conversa e a API do Braintrust.

  1. Buscar dados existentes

    O agente consulta seu conjunto de avaliação atual para entender as entradas e saídas esperadas existentes.

    get_dataset

  2. Preparar novas linhas

    A IA formata seu pedido em linguagem natural em uma linha estruturada que atende aos requisitos do seu conjunto de dados.

    get_dataset

  3. Inserir casos de teste

    O agente envia os novos dados de ground truth para sua matriz no Braintrust.

    insert_dataset_row

  4. Confirmar atualizações

    A IA verifica se a nova linha foi adicionada com sucesso ao conjunto de dados.

    insert_dataset_row

Teste

Copie estes exemplos para começar.

Use estes comandos para começar a interagir com seus dados do Braintrust.

Pontos de partida

Substitua o texto entre colchetes pelos nomes reais dos seus conjuntos de dados do Braintrust ou detalhes específicos do caso de teste.

Braintrust Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copie no chat04

  • Mostre-me as linhas atuais no meu conjunto de dados 'customer_support_eval'.

  • Adicione um novo caso de teste ao 'chatbot_v2' onde o usuário pergunta sobre políticas de reembolso.

  • Analise meu 'qa_test_set' e adicione uma linha com esta entrada: 'Como eu redefino minha senha?'

  • Encontre o conjunto de dados 'llm_benchmarks' e adicione uma nova entrada de ground truth para o prompt sobre preços.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Braintrust uma vez e comece a pedir.

Basta vincular sua conta uma única vez. Suas credenciais ficam criptografadas e você pode começar a gerenciar seus conjuntos de dados imediatamente pelo seu cliente de IA.

Conectar Braintrust à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode excluir linhas do meu conjunto de dados?

    Não. A IA só tem permissão para recuperar dados e inserir novas linhas. Ela não pode excluir ou modificar entradas existentes.

  • 02

    A IA decide sozinha quais casos de teste estão corretos?

    Não. Embora a IA possa sugerir dados de ground truth, você mantém o controle sobre o que é efetivamente salvo nos seus conjuntos de avaliação.

  • 03

    Posso usar isso para rodar uma avaliação?

    Não. Este conector específico serve para gerenciar os dados dentro dos seus conjuntos, não para executar as rodadas de avaliação em si.

  • 04

    Preciso formatar meus dados como um CSV primeiro?

    Não. Você pode simplesmente descrever o novo caso de teste em linguagem natural, e a IA cuidará da formatação para o conjunto de dados.

  • 05

    A IA pode atualizar uma linha existente se eu encontrar um erro?

    Não. As ferramentas atuais permitem apenas a inserção de novas linhas. Para corrigir um erro, você precisaria adicionar uma versão corrigida ou tratar isso na interface do Braintrust.

  • Mais perguntas sobre o Braintrust? Veja tudo o que o Braintrust Connector pode fazer

Conecte Braintrust ao Claude, Cursor, ChatGPT e outros