• LEER
  • ESCRIBIR
  • VERIFICAR
  • SINCRONIZAR

Cómo ampliar conjuntos de evaluación con tu IA

Conecta Braintrust a tu cliente de IA para aumentar tus conjuntos de prueba mediante una conversación. Solo indica a tu agente qué añadir y él se encargará de la entrada de datos.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo puedo añadir nuevos casos de prueba a mis conjuntos de Braintrust?

Indica a tu cliente de IA que añada filas específicas o nuevos casos de prueba a tus matrices de Braintrust existentes. El sistema utiliza tus instrucciones en lenguaje natural para extraer los datos actuales e insertar nuevas entradas de referencia directamente en tus conjuntos. Así obtienes una biblioteca de datos de prueba en constante crecimiento sin necesidad de subir archivos CSV manualmente.

Dónde terminan tus datos.

Resultados de tu solicitud.

La IA gestiona el movimiento de datos entre tu chat y tu entorno de Braintrust.

LEER

Estado actual del conjunto

La IA extrae tus filas de evaluación actuales para conocer el contexto. Esto asegura que las nuevas entradas coincidan con tu esquema existente.

ESCRIBIR

Nuevos casos de prueba

Tu agente inserta nuevas filas con entradas y resultados esperados. Esto amplía tu cobertura de pruebas al instante.

VERIFICAR

Revisión humana necesaria

Tú decides si un caso de prueba generado es correcto. La IA espera tu confirmación antes de finalizar actualizaciones críticas de datos de referencia.

SINCRONIZAR

Matrices actualizadas

Tus conjuntos de evaluación se mantienen al día con tus últimas iteraciones del modelo. Los nuevos datos estarán listos para tu próxima ejecución de evaluación.

El flujo

Lo que hace tu IA cuando llega la solicitud.

La IA actúa como un puente entre tu conversación y la API de Braintrust.

  1. Obtener datos existentes

    El agente busca tu conjunto de evaluación actual para entender las entradas y salidas esperadas existentes.

    get_dataset

  2. Preparar nuevas filas

    La IA convierte tu solicitud en lenguaje natural en una fila estructurada que cumple con los requisitos de tu conjunto de datos.

    get_dataset

  3. Insertar casos de prueba

    El agente introduce los nuevos datos de referencia en tu matriz de Braintrust.

    insert_dataset_row

  4. Confirmar actualizaciones

    La IA verifica que la nueva fila se haya añadido correctamente al conjunto de datos.

    insert_dataset_row

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para empezar a interactuar con tus datos de Braintrust.

Puntos de partida

Sustituye el texto entre corchetes por los nombres reales de tus conjuntos de datos de Braintrust o detalles específicos de los casos de prueba.

Braintrust Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copia en el chat04

  • Muéstrame las filas actuales en mi conjunto de datos 'customer_support_eval'.

  • Añade un nuevo caso de prueba a 'chatbot_v2' donde el usuario pregunte sobre las políticas de reembolso.

  • Revisa mi 'qa_test_set' y añade una fila con esta entrada: '¿Cómo restablezco mi contraseña?'

  • Busca el conjunto de datos 'llm_benchmarks' y añade una nueva entrada de referencia para la pregunta sobre precios.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta Braintrust una vez y luego pregunta.

Solo tienes que vincular tu cuenta una vez. Tus credenciales permanecen cifradas y podrás empezar a gestionar tus conjuntos de datos inmediatamente desde tu cliente de IA.

Conectar Braintrust a tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA eliminar filas de mi conjunto de datos?

    No. La IA solo tiene capacidad para recuperar datos e insertar nuevas filas. No puede eliminar ni modificar entradas ya existentes.

  • 02

    ¿Decide la IA automáticamente qué casos de prueba son correctos?

    No. Aunque la IA puede sugerir datos de referencia, tú mantienes el control sobre lo que se registra finalmente en tus conjuntos de evaluación.

  • 03

    ¿Puedo usar esto para ejecutar una evaluación?

    No. Este conector específico sirve para gestionar los datos dentro de tus conjuntos, no para ejecutar las pruebas de evaluación en sí.

  • 04

    ¿Necesito dar formato a mis datos como un CSV primero?

    No. Puedes simplemente describir el nuevo caso de prueba en lenguaje natural y la IA se encargará del formato para el conjunto de datos.

  • 05

    ¿Puede la IA actualizar una fila existente si encuentro un error?

    No. Las herramientas actuales solo permiten insertar filas nuevas. Para corregir un error, tendrías que añadir una versión corregida o gestionarlo desde la interfaz de Braintrust.

  • ¿Tienes más dudas sobre Braintrust? Ver todas las funciones del conector de Braintrust

Conecta Braintrust a Claude, Cursor, ChatGPT y más