- TRACE
- ERROR
- LOGIC
- HUMAN
すぐに答え
AIの推論やツール呼び出しをどうやってデバッグするのですか?
AIがLangSmithから特定の実行データを取得し、トレース内のイベントの正確なシーケンスを表示します。実行パスにおける各ステップの入力、出力、およびネストされたロジックを確認できます。
デバッグの結果
テレメトリの活用方法
AIがLangSmithのデータを整理し、明確なデバッグパスを提示します。
TRACE
完全な実行パス
AIがイベントの全シーケンスを取得します。ネストされた呼び出しや決定ポイントを順番に確認できます。
ERROR
失敗箇所の特定
AIが失敗した特定の実行を分離します。エラーの原因となった正確なツール呼び出しやプロンプトを指し示します。
LOGIC
推論の乖離を検出
AIが期待される結果と実際のトレースを比較します。エージェントのロジックがどこで逸脱したのかを明確に把握できます。
HUMAN
手動レビューの推奨
AIが複雑または曖昧なトレースをフラグ立てします。自動要約では判断が難しいほどロジックが複雑な場合、生のデータを直接確認できます。
ワークフロー
データが届いたとき、AIが行うこと
AIがチャットインターフェースとLangSmithのテレメトリを繋ぐ架け橋となります。
プロジェクトの特定
調査を開始するために、AIが適切なLangSmithプロジェクトを見つけ出します。
list_projects特定の実行の検索
AIがプロジェクト内をスキャンし、探している正確な実行トレースを見つけます。
list_runsトレース詳細の取得
ネストされたツール呼び出しや推論ステップを含む、完全なテレメトリを取得します。
get_runパスの分析
取得したデータをAIがレビューし、エージェントの挙動を解説します。
get_run
試してみる
以下のプロンプトをコピーして開始してください。
これらのプロンプトを使ってデバッグを開始できます。
出発点
プロジェクト名や実行IDは、実際のLangSmithの識別子に置き換えてください。
LangSmith Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — LangSmith capabilities are ready to use.
{
"mcpServers": {
"langsmith-llm-observability-hub-mcp": {
"url": "https://edge.vinkius.com/vk_preview_ixIJrwVWDWlC1bEOf4IyffAPgAEw302Ns6BE1oLo/mcp"
}
}
}デバッグ対象を選ぶために、すべてのLangSmithプロジェクトをリストアップして。
'production-agent' プロジェクト内の、最新の失敗した実行を見つけて。
実行ID 'abc-123' の詳細を取得して、なぜツール呼び出しが失敗したのか説明して。
'test-suite' プロジェクトの直近5回の実行を確認して、推論パスに一貫性があるか教えて。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
LangSmithを一度接続すれば、あとは質問するだけです。
LangSmithアカウントを連携させるだけです。認証情報は暗号化されて保持されるため、すぐにトレースに関する質問を開始できます。
LangSmithをAIに接続するFAQ
動作に関する詳細
- 01
AIがLangSmithのプロジェクト設定を変更することはありますか?
いいえ。AIができるのはテレメトリとプロジェクト一覧の読み取りのみです。LangSmithの設定変更やプロジェクトの削除はできません。
- 02
AIがエラーを引き起こしたコードを修正することはできますか?
いいえ。AIはトレース内のどこでエラーが発生したかを特定しますが、コードの修正はご自身の開発環境で手動で行う必要があります。
- 03
AIは私のすべてのデータを見ることができますか?
いいえ。AIが見ることができるのは、提供されたツールを使用して取得を依頼した特定の実行データのみです。
- 04
別のプロジェクトの実行について質問してもいいですか?
はい。まずツールを使用して、対象のプロジェクトをリストアップして特定すれば可能です。
- 05
容量を節約するために、AIが古いトレースを削除することはありますか?
いいえ。AIにはLangSmithデータの削除やストレージ管理を行う機能はありません。
LangSmithについてさらに詳しく知りたいですか? LangSmith Connectorの全機能を見る
『LangSmith』を Claude、Cursor、ChatGPT などに接続
