AIでLangSmithのトークン使用量とレイテンシを把握する方法

エージェントがLangSmith connectorを使用して、プロジェクトから最新のトレースを取得します。これにより、特定のLLM呼び出しにおけるトークン数と実行時間を直接確認できます。予算の使い道やレイテンシの原因を正確に把握可能です。

1. 01

   トレースの取得

   エージェントがLangSmithプロジェクトにアクセスし、最新の実行データを取得します。

   langsmith_list_runs
2. 02

   コストの算出

   実行データ内のトークンメタデータを参照し、特定の呼び出しにおける使用量を合計します。

   langsmith_list_runs
3. 03

   時間の計測

   開始時刻と終了時刻のタイムスタンプを比較し、各ステップに要した時間を算出します。

   langsmith_list_runs
4. 04

   結果のレポート

   コストが高い、または実行に時間がかかった実行をエージェントが要約し、対策を立てやすくします。

   langsmith_list_runs

LangSmith Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — LangSmith capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "langsmith-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_JBueIzhraYvzf2S9aR0UP9Q6bjldfIBgmwxTvRHt/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

LangSmithの認証情報を一度入力するだけで完了です。接続は暗号化され、すぐにエージェントへトレースに関する質問ができるようになります。

• 01

  AIがLangSmithの設定を変更することはありますか？

  いいえ。AIができるのはトレースデータの読み取りのみです。LangSmithのプロジェクトや設定を変更することはできません。

• 02

  AIがトレースを削除することはありませんか？

  いいえ。AIには実行リストの取得と読み取りの権限しかありません。履歴の削除や編集はできません。

• 03

  トレースで使用された正確なプロンプトを確認できますか？

  はい。エージェントは取得したトレースから入力データおよび出力データを抽出できます。

• 04

  AIが参照するデータはどのくらい新しいものですか？

  ユーザーのリクエストに基づき、LangSmithプロジェクト内で利用可能な最新の実行データが参照されます。

• 05

  AIが遅いLLM呼び出しを自動で修正できますか？

  いいえ。AIはどの呼び出しが遅いかを特定できますが、コードやプロンプトの修正はユーザー自身が行う必要があります。

• LangSmithに関するその他の質問は、Connectorのページで確認できます。 LangSmith Connectorの全機能を見る