• ANÁLISIS
  • TENDENCIAS
  • DETECCIÓN
  • DECISIÓN

Cómo monitorear el rendimiento de modelos con tu IA

Conecta Braintrust a tu cliente de IA una sola vez. A partir de ahí, tu agente podrá consultar puntuaciones de experimentos y datos de proyectos para rastrear el comportamiento real de tus modelos.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo compruebo si los cambios en mi modelo mejoraron la precisión?

Tu IA consulta Braintrust para obtener puntuaciones de experimentos y analíticas de proyectos. Compara estas métricas para mostrarte exactamente cómo afectaron los cambios recientes al comportamiento. Así es como funciona.

Resultados

Lo que obtienes de los datos

Tu IA convierte las métricas de Braintrust en respuestas claras.

ANÁLISIS

Comparar puntuaciones de experimentos

La IA extrae datos de tus ejecuciones más recientes para mostrar el rendimiento de las distintas versiones entre sí.

TENDENCIAS

Rastrear el historial del proyecto

Tu agente analiza las métricas del proyecto para ver si el rendimiento sube o baja con el tiempo.

DETECCIÓN

Detectar cambios de comportamiento

La IA identifica cuándo un cambio específico en el modelo provoca una caída en la precisión o un cambio en el estilo de respuesta.

DECISIÓN

Despliegue dirigido por humanos

La IA presenta los hallazgos, pero tú tomas la decisión final sobre qué modelo pasar a producción.

El flujo

Lo que hace tu IA cuando llegan los datos.

La IA actúa como un puente entre tu panel de Braintrust y tu interfaz de chat.

  1. Localizar proyectos

    La IA encuentra los proyectos específicos de Braintrust que quieres investigar.

    list_projects

  2. Obtener puntuaciones de experimentos

    Extrae las métricas y puntuaciones específicas de tus ejecuciones de prueba recientes.

    list_experiments

  3. Comparar versiones

    El agente analiza diferentes resultados de experimentos para encontrar diferencias de rendimiento.

    list_experiments

  4. Reportar hallazgos

    Tu IA resume las analíticas del proyecto para explicar cómo ha cambiado el comportamiento.

    list_projects

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para iniciar tu análisis.

Puntos de partida

Reemplaza los nombres de proyectos y los IDs de experimentos con tus datos reales de Braintrust.

Braintrust Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Braintrust capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "braintrust-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_cr8T7CpPGy155EtBgklGtlDgFsTWLRLYfzKoHIOF/mcp"
    }
  }
}
Copia en el chat04

  • Lista todos mis proyectos de Braintrust para ver cuáles están disponibles.

  • Muéstrame las puntuaciones del experimento 'v2-test-run' en mi proyecto 'Customer-Bot'.

  • Compara las puntuaciones de precisión entre mis últimos tres experimentos.

  • ¿Los cambios recientes en el proyecto 'Search-Optimization' mejoraron el rendimiento de mi modelo?

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta Braintrust una vez y luego pregunta.

Conecta tu cuenta en un solo paso. Tus credenciales permanecen cifradas en nuestro sistema y podrás empezar a preguntar de inmediato a tu IA sobre el rendimiento de tu modelo.

Conectar Braintrust a tu IA

FAQ

Funcionamiento de esta tarea

  • 01

    ¿Puede la IA cambiar la configuración de mis experimentos?

    No. La IA solo puede leer datos de proyectos y experimentos; no puede modificar tus configuraciones en Braintrust.

  • 02

    ¿Puede la IA eliminar mis ejecuciones de prueba?

    No. Este MCP es de solo lectura para tus experimentos y proyectos.

  • 03

    ¿Cómo sabe la IA qué proyecto debe consultar?

    Utiliza la herramienta list_projects para ver tus proyectos disponibles, y luego tú le indicas en cuál enfocarse.

  • 04

    ¿Funciona con cualquier cliente de IA?

    Sí, funciona con cualquier cliente compatible con MCP como Claude, Cursor o Windsurf.

  • 05

    ¿Puede la IA crear nuevos experimentos por mí?

    No. La IA solo puede listar y consultar experimentos ya existentes.

  • ¿Más dudas sobre Braintrust? Ver todo lo que puede hacer el conector de Braintrust

Conecta Braintrust a Claude, Cursor, ChatGPT y más