¿Puede la IA cambiar mis prompts en Braintrust?

No. La IA solo puede leer prompts y datos de experimentos. Debes editar o guardar nuevas versiones en Braintrust manualmente.

¿La IA borrará alguna de mis trazas de experimentos?

No. Las herramientas solo permiten leer y recuperar datos. Tu historial de experimentos existente está a salvo.

¿Puedo usar esto para ejecutar nuevos experimentos automáticamente?

La IA puede extraer datos y comparar resultados, pero no activa la ejecución real de nuevas corridas de experimentos a gran escala.

¿Debo proporcionar los IDs de los experimentos cada vez?

Es más fácil si lo haces. Aunque la IA puede listar experimentos para encontrarlos, ser específico ayuda a evitar confusiones.

¿Puede la IA corregir una regresión por mí?

No. La IA identifica dónde cayó el rendimiento, pero tú eres responsable de reescribir el prompt para solucionar el problema.

ANÁLISISDATOSHUMANOREGISTROS

ANÁLISIS
DATOS
HUMANO
REGISTROS

Cómo probar regresiones de prompts con tu IA y Braintrust

Conecta Braintrust a tu agente para realizar comparaciones directas. Detectarás caídas sutiles de calidad al contrastar nuevas iteraciones con tus bases de referencia establecidas.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo detecto si un nuevo prompt es peor que el anterior?

Tu agente extrae trazas de experimentos y conjuntos de datos existentes para realizar una comparación directa. Esto revela exactamente dónde falla una nueva versión del prompt respecto a tu base de referencia. Verás las brechas de rendimiento de inmediato.

Los resultados.

Dónde aterrizan tus resultados.

La IA se encarga de la parte pesada: la recuperación y comparación de datos.

ANÁLISIS

Detección de regresiones

La IA identifica dónde los nuevos resultados del prompt se desvían de tus trazas base. Obtendrás una visión clara de los cambios en el rendimiento.

DATOS

Alineación de datasets

El agente extrae los conjuntos de prueba exactos que necesitas para validar cambios. Asegura que pruebes con los inputs correctos.

HUMANO

Revisión manual

Tú decides qué fallos específicos requieren una corrección manual. La IA señala los problemas, pero tú decides la lógica final del prompt.

REGISTROS

Historial de experimentos

El agente revisa ejecuciones anteriores para encontrar tu estándar de oro. Esto mantiene tus pruebas basadas en el rendimiento real pasado.

El flujo

Qué hace tu IA cuando llega la solicitud.

El agente actúa como un puente entre tu interfaz de chat y tus experimentos en Braintrust.

Identificar la base de referencia
El agente busca tus ejecuciones exitosas anteriores para establecer cómo debe ser una buena respuesta.
list_experiments
Obtener el prompt
Extrae la versión específica del prompt que quieres probar o comparar.
get_prompt
Cargar datos de prueba
El agente toma los conjuntos de entrada específicos utilizados para tu evaluación.
get_dataset
Ejecutar comparación
El agente compara los nuevos resultados con las trazas base para encontrar regresiones.
get_prompt

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para iniciar tus pruebas de inmediato.

Puntos de partida

Estos son ejemplos iniciales. Sustituye los nombres de experimentos y los IDs de datasets por tus identificadores reales de Braintrust.

Braintrust Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

1In Claude Desktop, open Settings → Connectors.
2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3Click Add and start a new chat — Braintrust capabilities are ready to use.

Configuración · claude_desktop_config.jsonCopiar

{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}

Copia en el chat04

Compara el prompt del experimento 'v2-final' con mi base de referencia 'v1-stable'.
Ejecuta una prueba de regresión usando el dataset 'customer-support-test'.
Verifica si la nueva versión del prompt en 'agent-refactor-04' ha perdido calidad respecto a la ejecución anterior.
Extrae los datos de 'qa-eval-set' y compáralos con mi versión de prompt más reciente.

Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline

Empieza aquí

Conecta Braintrust una vez y luego pregunta.

Solo tienes que vincular tu cuenta de Braintrust. Tus credenciales se mantienen cifradas y seguras, y podrás empezar a probar directamente en tu cliente de IA preferido.

Conectar Braintrust a tu IA

FAQ

Cómo funciona esta tarea.

01
¿Puede la IA cambiar mis prompts en Braintrust?
No. La IA solo puede leer prompts y datos de experimentos. Debes editar o guardar nuevas versiones en Braintrust manualmente.
02
¿La IA borrará alguna de mis trazas de experimentos?
No. Las herramientas solo permiten leer y recuperar datos. Tu historial de experimentos existente está a salvo.
03
¿Puedo usar esto para ejecutar nuevos experimentos automáticamente?
La IA puede extraer datos y comparar resultados, pero no activa la ejecución real de nuevas corridas de experimentos a gran escala.
04
¿Debo proporcionar los IDs de los experimentos cada vez?
Es más fácil si lo haces. Aunque la IA puede listar experimentos para encontrarlos, ser específico ayuda a evitar confusiones.
05
¿Puede la IA corregir una regresión por mí?
No. La IA identifica dónde cayó el rendimiento, pero tú eres responsable de reescribir el prompt para solucionar el problema.
¿Más dudas sobre Braintrust? Ver todo lo que puede hacer el conector de Braintrust

Conecta Braintrust a Claude, Cursor, ChatGPT y más