AIで巨大なドキュメントを最適なサイズに分割する方法

エージェントがトークン数に基づき、コンテキストウィンドウ内に収まる最適な分割位置を特定します。これにより、データの整合性を保ちながらエラーを防ぎ、モデルに読み込ませるための明確なプランを作成できます。

1. 01

   テキストの測定

   ドキュメントを読み取り、実際に含まれているトークン数を算出します。

   count_tokens
2. 02

   分割点の計算

   トークン数に基づき、制限内に収めるために必要な分割数を計算します。

   count_tokens
3. 03

   分割マップの作成

   各パーツの具体的な文字範囲や、文章の区切りを特定します。

   count_tokens
4. 04

   プランの検証

   単一のパーツが設定した閾値を超えていないか、計算を再確認します。

   count_tokens

GPT Tokenizer Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_3TlaUrJfXkjzPylHQtgw7qX3SzCKmj8umGecyFc1/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — GPT Tokenizer capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "ai-token-counter-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_3TlaUrJfXkjzPylHQtgw7qX3SzCKmj8umGecyFc1/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

リンクをクリックして MCP をクライアントに接続してください。認証情報は暗号化され、接続後すぐにツールを使用できます。

• 01

  AIが自動でファイルを分割してくれますか？

  エージェントはツールを使って分割位置を計算しますが、実際の処理を実行するにはユーザーが指示を出す必要があります。

• 02

  元のファイルが書き換えられることはありますか？

  いいえ。このツールはトークンを数えるためにテキストを読み取るだけです。ローカルファイルを修正、削除、上書きすることはありません。

• 03

  画像内のトークンも数えられますか？

  いいえ。このツールはテキストベースのトークン計測に特化しています。

• 04

  どんなモデルでも動作しますか？

  MCPに対応しているクライアントであれば動作します。チャットで使用しているモデルに関わらず、エージェントがツールを使用してトークン数を取得します。

• 05

  異なるトークナイザーにも対応していますか？

  接続された MCP のロジックに基づいてカウントを提供するため、エージェントは常に正確な情報に基づいた判断が可能です。

• AI Token Counter について他に質問がありますか？ AI Token Counter Connector の全機能を見る