AIでウェブサイト全体をクローリングする方法：Firecrawl MCPを活用する

エージェントがFirecrawlを使用してターゲットドメイン内のすべてのリンクを辿り、コンテンツを読み取り可能な形式で抽出します。これにより、ウェブサイトがエージェント用の構造化された情報源へと変わります。サイト内のデータ全体を網羅したマップを取得できます。

1. 01

   クローリングの開始

   エージェントが開始URLをFirecrawlに送り、ドメイン内の再帰的な探索を開始します。

   start_crawl
2. 02

   進捗の確認

   AIがジョブの状態を確認し、処理済みのページ数と残りのページ数を把握します。

   get_crawl_status
3. 03

   クローリングの停止

   時間がかかりすぎたり、意図しない領域まで探索が進んだりした場合、エージェントは即座にタスクを終了できます。

   cancel_active_crawl
4. 04

   完了の検証

   AIがステータスツールを使用してジョブの完了を確認し、データが使用可能であることを確かめます。

   get_crawl_status

Firecrawl Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Firecrawl capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "firecrawl-alternative-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

MCPの接続は一度だけで済みます。認証情報は暗号化されて保持されるため、すぐにエージェントへウェブクローリングの指示を出せるようになります。

• 01

  ログインが必要なサイトをAIはクローリングできますか？

  いいえ。現在のツールは、一般に公開されているURLのクローリングのみをサポートしています。

• 02

  AIがウェブサイト上のファイルを削除することはありませんか？

  はい、ありません。ツールはデータの読み取りとクローリングに特化しています。対象サイトのコンテンツを修正または削除することはできません。

• 03

  AIはどのようにしてクローリングの終了を判断しますか？

  AIはステータスツールを使用して進捗を確認し、ジョブが完了したことを検知するまで繰り返します。

• 04

  AIが訪問するページ数を制限することはできますか？

  いいえ。ツールは開始URLに基づいて再帰的にクローリングを行います。探索が深すぎる場合は、手動で停止させる必要があります。

• 05

  AIは取得したウェブサイトのデータを永続的に保存しますか？

  いいえ。AIは取得したデータを使用して、その場での質問に回答します。ユーザーに代わって永続的なデータベースを管理することはありません。

• Firecrawlに関するその他の質問は、コネクターのページで確認できます。 Firecrawl Connectorの全機能を見る