• LIVE
  • CLEAN
  • AUDIT
  • MANUAL

AIを使ってLiteLLMのモデルルーティングを更新する方法

LiteLLMをエージェントに接続すれば、プロキシのエンドポイントをリアルタイムで管理できます。設定ファイルを書き換えることなく、エラーの出ているモデルの差し替えや、新しいモデルの追加が可能です。

このページについてAIに聞く

すぐに答え

AIを使ってモデルエンドポイントを変更できますか？

エージェントに、LiteLLMプロキシから特定のモデルを追加または削除するよう指示するだけです。エージェントがツールを直接呼び出してルーティング設定を即座に書き換えるため、変更はすぐにプロキシのトラフィックに反映されます。

ルーティングの結果

変更が反映される仕組み

エージェントがプロキシを操作したときに起こること。

LIVE

新しいエンドポイントの有効化

エージェントが create_model を使用して新しいエンドポイントを登録します。トラフィックはすぐに新しいモデルへと流れます。

CLEAN

エラーモデルの削除

デプロイメントに失敗した場合、エージェントが delete_model を使用してプロキシから削除します。これにより、無効なエンドポイントへのリクエストを防ぎます。

AUDIT

現在の設定確認

エージェントが get_model_info を使用して、現在どのモデルが有効かを確認します。ルーティングの状態を正確に把握できます。

MANUAL

人間による管理

技術的な実行はエージェントが行いますが、どのモデルを追加・削除するかはあなたが決定します。コストやルーティングロジックの最終的な制御権は常にあなたにあります。

ワークフロー

指示を受けたときのAIの動き

エージェントは、チャットインターフェースとLiteLLMプロキシの設定を繋ぐ架け橋となります。

  1. 現在のルーティングを調査

    エージェントは既存のプロキシ設定を確認し、現在どのモデルが利用可能かを調べます。

    get_model_info

  2. 新しいモデルを登録

    選択肢を増やしたいとき、エージェントは新しいモデルの詳細をプロキシに追加します。

    create_model

  3. エラーエンドポイントの削除

    特定のデプロイメントでエラーが発生している場合、エージェントはルーティングテーブルからそれを除外します。

    delete_model

  4. 変更内容の検証

    エージェントは最終チェックを行い、ルーティングテーブルが指示通りに変更されたことを確認します。

    get_model_info

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使って、LiteLLMプロキシの管理を開始しましょう。

出発点

これらは基本的なコマンドです。実際の環境に合わせて、モデル名やプロバイダーの詳細を書き換えて使用してください。

LiteLLM Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — LiteLLM capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "litellm-llm-proxy-spend-tracking-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_km5X3hHTZMwK6l421yD2vEs8yb47UeU5zl6r4SJ6/mcp"
    }
  }
}
チャットにコピー04

  • LiteLLMプロキシに現在設定されているすべてのモデルを表示して。

  • openai/gpt-4o の新しいモデルエンドポイントをプロキシに追加して。

  • エラーが出ている anthropic/claude-3-opus のデプロイメントをルーティングから削除して。

  • 'production-llama-3' という名前のモデルの詳細を確認して。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

一度接続すれば、あとは指示するだけ

一度接続するだけで、エージェントはプロキシツールへのフルアクセス権を得られます。認証情報は暗号化され、安全に保持されます。

LiteLLMをAIに接続する

FAQ

動作に関する詳細

  • 01

    AIが私のAPIキーを変更することはありますか？

    いいえ。エージェントは提供されたツールを通じて、モデルエンドポイントとルーティングの管理のみを行います。

  • 02

    AIが誤ってすべてのモデルを削除してしまうことはありませんか？

    いいえ。エージェントは、あなたが明示的に削除を指示した特定のモデルのみを削除します。

  • 03

    他のプロキシでも動作しますか？

    いいえ。このMCPは、LiteLLMプロキシの管理に特化して構築されています。

  • 04

    AIは総利用料金を監視できますか？

    いいえ。LiteLLM自体は料金を追跡しますが、このMCPのツールはモデルのルーティングと管理専用です。

  • 05

    モデルが正常に追加されたかどうか、どうすれば分かりますか？

    エージェントはモデルを作成した後、infoツールを使用して、新しいモデルがプロキシ内に存在することを検証します。

  • LiteLLMについて他に質問がありますか？ Connectorのページで確認できます。 LiteLLM Connectorの全機能を見る

『LiteLLM』を Claude、Cursor、ChatGPT などに接続