AIでウェブサイト全体をインデックス化する方法｜Firecrawl MCPコネクター

エージェントがFirecrawlを使用してサイトの構成をマッピングし、見つかったすべての個別ページをクロールします。これにより、AIは分析や学習のためにドメイン全体のコンテンツを把握できます。サイトのレイアウト構造と、すべてのURLから取得した生データが手に入ります。

1. 01

   ドメインのマッピング

   エージェントが対象サイトの構造を特定し、アクセス可能なすべてのパスを見つけ出します。

   map_site
2. 02

   コンテンツの抽出

   エージェントが発見したすべてのURLを訪問し、ページ内のテキストやデータを取得します。

   crawl_site
3. 03

   データの整理

   エージェントがスクレイピングしたコンテンツを整理し、特定のタスクに適した読みやすい形式にします。

   crawl_site
4. 04

   インデックスの検証

   エージェントが作成したマップと実際のコンテンツを照合し、漏れがないかを確認します。

   map_site

Firecrawl Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_H3lslwPhMfSWLHyTzOylzN5WvZ9uNMEMQ6eYZqT4/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Firecrawl capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "firecrawl-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_H3lslwPhMfSWLHyTzOylzN5WvZ9uNMEMQ6eYZqT4/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

アカウントを一度連携するだけで完了です。認証情報は暗号化されて保持されるため、すぐにエージェントへサイトのクロールを指示できるようになります。

• 01

  AIがウェブサイトの内容を書き換えることはありますか？

  いいえ。このツールは既存のウェブコンテンツを読み取り、マッピングするだけです。対象サイトの内容を編集したり削除したりすることはできません。

• 02

  AIはインターネット全体をクロールしますか？

  いいえ。プロンプトで指定した特定のドメインまたはパスのみをクロールします。

• 03

  見つけたすべてのリンクを辿りますか？

  指定されたドメイン内のリンクは辿りますが、外部の第三者サイトへ移動することはありません。

• 04

  クロールを途中で停止することはできますか？

  はい。クロールに時間がかかりすぎたり、範囲が広すぎたりする場合は、使用しているAIクライアントからプロセスを停止できます。

• 05

  AIはウェブサイトのデータを永続的に保存しますか？

  AIは現在のセッションの質問に答えるためにデータを使用します。出力を別途保存しない限り、AIが自動的に永続的なデータベースを作成することはありません。

• Firecrawlについてさらに詳しく知りたいですか？ Firecrawlコネクターの全機能を見る