• クリーンなデータ
  • 生テキスト
  • 人間による確認
  • コンテキスト

Firecrawl MCPを使ってウェブページをMarkdown形式で抽出する方法

FirecrawlをAIクライアントに一度接続するだけ。あとはエージェントがウェブサイトから必要なテキストを抽出し、チャットで活用できるようになります。

このページについてAIに聞く

すぐに答え

ウェブサイトをAI用のMarkdownに変換するには?

AIがscrape_urlツールを使用してURLにアクセスし、HTMLを構造化されたMarkdownに変換します。ナビゲーションバーや広告などの不要な要素は取り除かれ、エージェントが必要なテキストのみが抽出されます。これにより、推論や要約にそのまま使えるクリーンなデータが得られます。

スクレイピングの結果

AIが生成するもの

エージェントへの指示の仕方によって、出力内容は変わります。

クリーンなデータ

構造化されたMarkdown

HTMLタグを削除し、純粋なMarkdownとして出力します。AIはノイズのない核心的なコンテンツのみを読み取れます。

生テキスト

プレーンテキスト抽出

書式が不要な場合は、テキストのみを抽出できます。単純なパターンマッチングに最適です。

人間による確認

手動での検証

抽出された内容が正確かどうかは、あなたが判断します。抽出作業はAIが行いますが、最終決定権はあなたにあります。

コンテキスト

RAGへの活用

Markdown形式の出力は、ローカルの知識ベースへの投入に最適です。ウェブデータの検索が格段に容易になります。

ワークフロー

URLが入力された時のAIの動き

ウェブサイトの複雑な操作はAIが代行します。あなたは指示を出すだけです。

  1. ページを取得

    エージェントがコネクターにURLを送り、最新のHTMLコンテンツを取得します。

    scrape_url
  2. ノイズを除去

    LLMの理解を妨げるスクリプト、スタイル、広告などをツールが取り除きます。

    scrape_url
  3. Markdownに変換

    HTMLを、見出しやリンクを保持したクリーンなMarkdown形式に変換します。

    scrape_url
  4. コンテンツを渡す

    構造化されたテキストがエージェントに返され、次の指示を待機します。

    scrape_url

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使うと、すぐにスクレイピングを開始できます。

出発点

URLの部分を、実際に読み取りたいサイトのアドレスに書き換えてください。

Firecrawl Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_VUpOJRFVTRGTwbzAMeVqIv4t7KoCrITMFS6MmDGP/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Firecrawl capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "firecrawl-extended-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_VUpOJRFVTRGTwbzAMeVqIv4t7KoCrITMFS6MmDGP/mcp"
    }
  }
}
チャットにコピー04
  • このURLをスクレイピングしてMarkdownで出力してください: https://example.com/article

  • https://docs.example.com の内容を読み取り、主要なポイントをMarkdownで要約してください。

  • https://blog.example.com のテキストを、すべての見出しを含むクリーンなMarkdownリストに変換してください。

  • https://news.example.com を確認し、メインの記事本文をMarkdownとして抽出してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Firecrawlを接続して、すぐに指示を出す

リンクをクリックして接続するだけです。認証情報は暗号化され、お使いのクライアントですぐにスクレイピングを開始できます。

FirecrawlをAIに接続する

FAQ

スクレイピングの仕組みについて

  • 01

    ログインが必要なサイトのコンテンツもスクレイピングできますか?

    いいえ。scrape_urlツールは、一般に公開されているURLにのみアクセス可能です。

  • 02

    AIが元のウェブサイトを書き換えることはありますか?

    いいえ。ツールはデータを読み取るだけです。ウェブサイトの内容を変更、削除、または操作することはありません。

  • 03

    JavaScriptを多用しているサイトでも動作しますか?

    はい。このコネクターは、JavaScriptに依存する現代的なウェブページにも対応するように設計されています。

  • 04

    Markdownをファイルとして保存するようAIに指示できますか?

    ツールはエージェントにMarkdownを提供します。それをファイルとして保存できるかどうかは、使用しているAIクライアントの機能に依存します。

  • 05

    サイトにスクレイピングがブロックされた場合はどうなりますか?

    サイトによってリクエストが拒否された場合、ツールはエージェントにエラーを返し、スクレイピングは失敗します。

  • Firecrawlについて他に質問がありますか? コネクターのページで詳細を確認できます。 Firecrawl Connectorの全機能を見る

『Firecrawl』を Claude、Cursor、ChatGPT などに接続