AIでウェブサイト全体をクローリングする方法：Spider MCPコネクターを活用

Spider MCPコネクターを使用すると、エージェントが指定したURLから内部リンクを順次辿っていきます。これにより、サイトのコンテンツと構造の完全なマップが作成されます。生成されたサイトマップやデータの内訳は、以下のセクションで確認できます。

1. 01

   探索

   指定されたURLから開始し、ページ内のすべての内部リンクを見つけ出します。

   spider_crawl
2. 02

   巡回

   見つけたリンクを順に辿り、ドメイン内のすべてのサブページを巡回します。

   spider_crawl
3. 03

   マッピング

   サイトの階層構造とリンク構造に基づいた論理的なマップを構築します。

   spider_crawl
4. 04

   要約

   収集したデータを、チャットでそのまま利用できる形式にまとめます。

   spider_crawl

Spider Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Spider capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "spider-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

リンクをクリックして、MCPをクライアントに接続してください。認証情報は暗号化され、接続後すぐにクローリングを開始できます。

• 01

  外部のウェブサイトもクローリングできますか？

  いいえ。このツールは、指定されたドメイン内の内部リンクのみを辿ります。

• 02

  AIがウェブサイトの内容を書き換えることはありますか？

  いいえ。クローラーは情報の読み取りとリンクの追跡のみを行います。サイト上のコンテンツを編集または削除することはありません。

• 03

  どの程度の深さまでクローリングしますか？

  エージェントは見つけたすべての内部リンクを辿り、アクセス可能なドメイン全体をマッピングします。

• 04

  AIがサイトに新しいページをアップロードすることはできますか？

  いいえ。このMCPはコンテンツの読み取りとマッピングのためのものであり、作成や公開を行うためのものではありません。

• 05

  AIはサイトのデータを保存しますか？

  AIは現在のセッションで質問に答えるためにデータを使用します。サイトのデータを永続的なデータベースに保存することはありません。

• Spiderに関するその他の質問 Spider MCPコネクターの全機能を見る