- LÓGICA
- DATOS
- TENDENCIAS
- HUMANO
Respuesta rápida
¿Cómo saber por qué falla mi prompt de LLM?
Tu agente utiliza los datos de traza de Datadog para extraer spans y payloads específicos relacionados con tus llamadas de LLM. Esto te permite identificar el momento exacto en que ocurre un error de lógica. Podrás ver los inputs y outputs específicos que causaron el problema.
Resultados de la depuración
Dónde se presentan los datos.
La IA organiza la información de las trazas en estos resultados específicos.
LÓGICA
Puntos de fallo del prompt
El agente identifica el span exacto donde la lógica del prompt se desvió de tu intención. Obtendrás una visión clara de la instrucción errónea.
DATOS
Inspección de payloads
La IA extrae los payloads brutos de las trazas desde Datadog. Podrás ver exactamente qué recibió el modelo frente a lo que esperabas.
TENDENCIAS
Patrones de error
El agente agrupa fallos de trazas similares. Esto te ayuda a saber si un error de prompt es un caso aislado o un problema sistémico.
HUMANO
Correcciones manuales
La IA señala los spans que requieren que reescribas manualmente la plantilla del prompt. Tú decides cómo corregir la lógica en tu código.
El flujo
Qué hace tu IA cuando un prompt falla.
En lugar de navegar por dashboards, solo tienes que pedirle a tu agente que encuentre el problema.
Localizar trazas
El agente busca spans de ejecución de LLM específicos dentro de tus trazas de Datadog.
search_llm_spansExtraer payloads
El agente extrae los datos de entrada y salida de los spans identificados.
search_llm_spansAnalizar lógica
El agente compara el prompt enviado al modelo con el error resultante o la salida inesperada.
search_llm_spansResumir errores
El agente presenta un desglose conciso de por qué el prompt no cumplió con tus requisitos.
search_llm_spans
Pruébalo
Copia estos ejemplos para empezar.
Usa estos prompts para iniciar tu sesión de depuración.
Puntos de partida
Estos son ejemplos iniciales. Cambia los nombres de los servicios o los tipos de error para que coincidan con tu entorno de Datadog.
Datadog Connector
Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.
https://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcpClaude Desktop
Sigue los pasos siguientes para conectarte en segundos.
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Datadog capabilities are ready to use.
{
"mcpServers": {
"datadog-ai-llm-observability-mcp": {
"url": "https://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp"
}
}
}Busca los últimos cinco spans de LLM en Datadog donde el prompt resultó en un error de validación.
Busca en las trazas de Datadog cualquier span de LLM en el servicio 'production-api' que haya tenido una latencia alta.
Muéstrame el payload del span de LLM que falló durante el flujo de autenticación de usuario.
Revisa los spans de LLM recientes y dime si hay un patrón en por qué está fallando el prompt 'summarize_text'.
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
Empieza aquí
Conecta Datadog AI una vez y luego pregunta.
Solo tienes que vincular tu cuenta de Datadog. Tus credenciales permanecen cifradas y podrás empezar a preguntar a tu agente sobre tus trazas de inmediato.
Conecta Datadog AI a tu IAFAQ
Cómo funciona esta tarea.
- 01
¿Puede la IA corregir mi prompt en Datadog?
No. La IA solo puede leer las trazas y decirte qué falló. Debes actualizar la lógica de tu prompt en tu propio código.
- 02
¿La IA elimina alguna traza?
No. La IA solo tiene acceso de lectura a tus spans de LLM mediante la herramienta de búsqueda. No puede modificar ni eliminar tus datos de Datadog.
- 03
¿Puedo buscar mensajes de error específicos?
Sí. Puedes pedirle al agente que busque spans que contengan cadenas de error o códigos de estado específicos presentes en tus trazas.
- 04
¿Funciona con cualquier proveedor de LLM?
Funciona con cualquier proveedor de LLM, siempre que envíes esas trazas a Datadog para su observabilidad.
- 05
¿Puede la IA crear nuevos monitores en Datadog?
No. Las herramientas actuales solo permiten al agente buscar e inspeccionar los spans de LLM existentes.
¿Tienes más dudas sobre Datadog AI? Ver todo lo que puede hacer el conector de Datadog AI
Conecta Datadog a Claude, Cursor, ChatGPT y más
