• RESUMEN
  • DETALLE
  • FEEDBACK
  • HUMANO

Cómo monitorear métricas de proyectos con tu IA

Conecta LangSmith a tu agente para convertir los datos de trazas en resúmenes de rendimiento útiles.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo puedo rastrear las métricas de mis proyectos de LangSmith con IA?

Tu agente utiliza LangSmith para obtener el recuento de ejecuciones, la latencia y las puntuaciones de feedback de tus proyectos. Obtendrás una visión consolidada del rendimiento real de tus aplicaciones de LLM en producción.

Dónde aterrizan tus datos.

Resultados de rendimiento.

La IA procesa las trazas de LangSmith para generar estos resultados específicos.

RESUMEN

Informes de salud agregados

El agente extrae datos de múltiples proyectos para mostrarte tendencias generales de latencia y tasas de error.

DETALLE

Análisis de trazas específicas

Puedes solicitar detalles sobre ejecuciones concretas o trazas con alta latencia para identificar dónde se ralentiza una cadena.

FEEDBACK

Seguimiento del sentimiento del usuario

La IA recopila puntuaciones de feedback para mostrarte cómo califican los usuarios las respuestas de tu modelo con el tiempo.

HUMANO

Requiere intervención manual

Si la IA detecta un pico repentino de errores o una caída en las puntuaciones, te señalará el proyecto específico para que lo revises manualmente.

El flujo

Lo que hace tu IA cuando llegan los datos.

El agente pasa de la exploración general de proyectos al análisis de métricas específicas.

  1. Identificar proyectos

    El agente escanea tu cuenta de LangSmith para encontrar todos los proyectos activos que quieras monitorear.

    langsmith_list_projects
  2. Recopilar métricas

    El agente analiza los datos de ejecución en esos proyectos para calcular promedios y totales.

    langsmith_list_projects
  3. Analizar rendimiento

    El agente compara la latencia y el recuento de ejecuciones para encontrar valores atípicos o patrones inusuales.

    langsmith_list_projects
  4. Reportar hallazgos

    El agente presenta el estado de salud final y marca los proyectos que requieren tu atención.

    langsmith_list_projects

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para comenzar a monitorear tus proyectos.

Puntos de partida

Sustituye los nombres de los proyectos por los títulos reales de tus proyectos en LangSmith.

LangSmith Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LangSmith capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "langsmith-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcp"
    }
  }
}
Copia en el chat04
  • Lista todos mis proyectos de LangSmith y muéstrame el recuento total de ejecuciones de cada uno.

  • ¿Cuál de mis proyectos de LangSmith tiene la latencia promedio más alta en este momento?

  • Resume las puntuaciones de feedback del proyecto 'Customer-Bot' de las últimas 24 horas.

  • Compara las tasas de error entre mis proyectos 'Production-App' y 'Staging-App'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta LangSmith una vez y luego pregunta.

Solo tienes que vincular tu cuenta una vez. Tus credenciales permanecen cifradas y podrás empezar a preguntar a tu agente sobre tus métricas de inmediato.

Conecta LangSmith a tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA cambiar la configuración de mi proyecto en LangSmith?

    No. La IA solo puede leer datos y métricas; no puede modificar tus configuraciones ni ajustes de LangSmith.

  • 02

    ¿Puede la IA eliminar trazas o proyectos?

    No. Este connector es de solo lectura. Tus trazas y la estructura de tus proyectos no se verán afectadas.

  • 03

    ¿La IA ve todos mis datos o solo proyectos específicos?

    La IA puede ver todos los proyectos para los que tiene permiso de listado, pero solo analiza los proyectos específicos que tú le pidas.

  • 04

    ¿Cómo sabe la IA qué proyecto debe revisar?

    Utiliza los nombres de los proyectos que incluyas en tu prompt para encontrar los datos correctos en LangSmith.

  • 05

    ¿Puedo usar esto para activar alertas automáticas?

    La IA puede identificar problemas y avisarte, pero tú debes ser quien tome la acción o configure sistemas de alerta externos.

  • ¿Tienes más dudas sobre LangSmith? La página del Connector tiene las respuestas. Ver todo lo que puede hacer el Connector de LangSmith

Conecta LangSmith a Claude, Cursor, ChatGPT y más