• TEXT
  • CONTEXT
  • DATA
  • HUMAN

Firecrawl MCPを使ってWebサイトをMarkdown形式で抽出する方法

FirecrawlをAIクライアントに接続すれば、あらゆるURLをクリーンなMarkdownに変換できます。接続後は、エージェントが直接最新のWebデータを読み取れるようになります。

このページについてAIに聞く

すぐに答え

WebサイトをAI用のMarkdownに変換するには？

scrape_pageツールを使用して、URLからメインコンテンツを抽出します。不要なコードや広告を排除したクリーンなMarkdown形式でAIに渡せるため、HTMLの肥大化によるトークン消費を抑えつつ、スムーズにプロンプトへ組み込めます。

出力結果

データの活用先

スクレイピングによって抽出されたデータは、以下の形式で利用可能です。

TEXT

クリーンなMarkdown

ページを構造化されたMarkdownに変換します。見出しやリストの構造が維持された、読みやすいテキストが手に入ります。

CONTEXT

プロンプトへの入力

抽出した内容が会話の一部になります。特定のサイト内容について、その場ですぐに質問が可能です。

DATA

構造化されたコンテンツ

生のHTMLではなく、整理されたデータとしてAIに渡されます。これにより、エージェントの指示への追従性が向上します。

HUMAN

手動での確認

最終的なMarkdown出力を確認できます。サイトのレイアウトが特殊な場合でも、データが十分か判断できます。

ワークフロー

URLが提供された際のAIの動作

Webページのナビゲーションやクリーニングといった重い作業は、すべてAIが処理します。

  1. ページの取得

    エージェントがスクレイパーにURLを送り、実際のサイトにアクセスします。

    scrape_page

  2. 動的コンテンツのレンダリング

    JavaScriptの読み込みを待機するため、メニューやポップアップに隠れたコンテンツも見逃しません。

    scrape_page

  3. HTMLノイズの除去

    エージェントの混乱を招くスクリプト、スタイル、広告などを取り除きます。

    scrape_page

  4. Markdown形式への変換

    最終的な出力を、次のプロンプトですぐに使えるクリーンなMarkdown文字列に変換します。

    scrape_page

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使用して、スクレイピングを実行できます。

出発点

これらは例です。用途に合わせてURLやトピックを書き換えてください。

Firecrawl Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_H3lslwPhMfSWLHyTzOylzN5WvZ9uNMEMQ6eYZqT4/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Firecrawl capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "firecrawl-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_H3lslwPhMfSWLHyTzOylzN5WvZ9uNMEMQ6eYZqT4/mcp"
    }
  }
}
チャットにコピー04

  • Scrape https://example.com and summarize the main article in Markdown.

  • Use the scrape_page tool on this URL: https://docs.example.com and list the installation steps.

  • Read the content at https://blog.example.com and tell me who the author is.

  • Convert the text from https://product-page.com into a clean Markdown list of features.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Firecrawlを接続して、すぐに質問を開始

リンクをクリックしてアカウントを接続してください。認証情報は暗号化され、お使いのAIクライアントですぐにスクレイピングを開始できます。

FirecrawlをAIに接続する

FAQ

スクレイピングの仕組みについて

  • 01

    ログインが必要なページをAIはスクレイピングできますか？

    いいえ。scrape_page ツールは公開されているURLにのみアクセス可能です。認証を回避したり、個人のアカウントにログインしたりすることはできません。

  • 02

    JavaScriptを多用しているサイトでも動作しますか？

    はい。このツールはテキストを抽出する前にページをレンダリングするため、動的なコンテンツにも対応しています。

  • 03

    AIがWebサイトの内容を書き換えることはできますか？

    いいえ。このツールは読み取り専用です。Webからデータを取得することはできますが、サイトの内容を修正したり投稿したりすることはできません。

  • 04

    Markdownファイルはコンピュータに保存されますか？

    いいえ。ツールはMarkdownテキストをAIクライアントに直接渡します。ファイルとして保存したい場合は、手動でテキストを保存する必要があります。

  • 05

    Webサイトにスクレイピングがブロックされた場合はどうなりますか？

    サイトに強力なボット対策が施されておりツールがブロックされた場合、scrape_page コマンドは失敗し、エージェントがエラーを報告します。

  • Firecrawlについて他に質問がありますか？ Firecrawl Connectorの全機能を見る

『Firecrawl』を Claude、Cursor、ChatGPT などに接続