• LÓGICA
  • DATOS
  • TENDENCIAS
  • HUMANO

Cómo depurar errores de prompts de LLM con tu IA

Conecta Datadog AI a tu agente para inspeccionar los datos brutos de cada solicitud fallida. Deja de adivinar por qué fallan los prompts y empieza a ver los payloads de las trazas reales.

Pregunta a la IA sobre esta página

Respuesta rápida

¿Cómo saber por qué falla mi prompt de LLM?

Tu agente utiliza los datos de traza de Datadog para extraer spans y payloads específicos relacionados con tus llamadas de LLM. Esto te permite identificar el momento exacto en que ocurre un error de lógica. Podrás ver los inputs y outputs específicos que causaron el problema.

Resultados de la depuración

Dónde se presentan los datos.

La IA organiza la información de las trazas en estos resultados específicos.

LÓGICA

Puntos de fallo del prompt

El agente identifica el span exacto donde la lógica del prompt se desvió de tu intención. Obtendrás una visión clara de la instrucción errónea.

DATOS

Inspección de payloads

La IA extrae los payloads brutos de las trazas desde Datadog. Podrás ver exactamente qué recibió el modelo frente a lo que esperabas.

TENDENCIAS

Patrones de error

El agente agrupa fallos de trazas similares. Esto te ayuda a saber si un error de prompt es un caso aislado o un problema sistémico.

HUMANO

Correcciones manuales

La IA señala los spans que requieren que reescribas manualmente la plantilla del prompt. Tú decides cómo corregir la lógica en tu código.

El flujo

Qué hace tu IA cuando un prompt falla.

En lugar de navegar por dashboards, solo tienes que pedirle a tu agente que encuentre el problema.

  1. Localizar trazas

    El agente busca spans de ejecución de LLM específicos dentro de tus trazas de Datadog.

    search_llm_spans
  2. Extraer payloads

    El agente extrae los datos de entrada y salida de los spans identificados.

    search_llm_spans
  3. Analizar lógica

    El agente compara el prompt enviado al modelo con el error resultante o la salida inesperada.

    search_llm_spans
  4. Resumir errores

    El agente presenta un desglose conciso de por qué el prompt no cumplió con tus requisitos.

    search_llm_spans

Pruébalo

Copia estos ejemplos para empezar.

Usa estos prompts para iniciar tu sesión de depuración.

Puntos de partida

Estos son ejemplos iniciales. Cambia los nombres de los servicios o los tipos de error para que coincidan con tu entorno de Datadog.

Datadog Connector

Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.

Enlace del conectorhttps://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp

Claude Desktop

Sigue los pasos siguientes para conectarte en segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Datadog capabilities are ready to use.
Configuración · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "datadog-ai-llm-observability-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_bWdhwHEHDioKsLvhV1Lvv7ec4t2gm8k5cIgCZeWx/mcp"
    }
  }
}
Copia en el chat04
  • Busca los últimos cinco spans de LLM en Datadog donde el prompt resultó en un error de validación.

  • Busca en las trazas de Datadog cualquier span de LLM en el servicio 'production-api' que haya tenido una latencia alta.

  • Muéstrame el payload del span de LLM que falló durante el flujo de autenticación de usuario.

  • Revisa los spans de LLM recientes y dime si hay un patrón en por qué está fallando el prompt 'summarize_text'.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Empieza aquí

Conecta Datadog AI una vez y luego pregunta.

Solo tienes que vincular tu cuenta de Datadog. Tus credenciales permanecen cifradas y podrás empezar a preguntar a tu agente sobre tus trazas de inmediato.

Conecta Datadog AI a tu IA

FAQ

Cómo funciona esta tarea.

  • 01

    ¿Puede la IA corregir mi prompt en Datadog?

    No. La IA solo puede leer las trazas y decirte qué falló. Debes actualizar la lógica de tu prompt en tu propio código.

  • 02

    ¿La IA elimina alguna traza?

    No. La IA solo tiene acceso de lectura a tus spans de LLM mediante la herramienta de búsqueda. No puede modificar ni eliminar tus datos de Datadog.

  • 03

    ¿Puedo buscar mensajes de error específicos?

    Sí. Puedes pedirle al agente que busque spans que contengan cadenas de error o códigos de estado específicos presentes en tus trazas.

  • 04

    ¿Funciona con cualquier proveedor de LLM?

    Funciona con cualquier proveedor de LLM, siempre que envíes esas trazas a Datadog para su observabilidad.

  • 05

    ¿Puede la IA crear nuevos monitores en Datadog?

    No. Las herramientas actuales solo permiten al agente buscar e inspeccionar los spans de LLM existentes.

  • ¿Tienes más dudas sobre Datadog AI? Ver todo lo que puede hacer el conector de Datadog AI

Conecta Datadog a Claude, Cursor, ChatGPT y más