- クリーンなデータ
- 生テキスト
- 人間による確認
- コンテキスト
すぐに答え
ウェブサイトをAI用のMarkdownに変換するには?
AIがscrape_urlツールを使用してURLにアクセスし、HTMLを構造化されたMarkdownに変換します。ナビゲーションバーや広告などの不要な要素は取り除かれ、エージェントが必要なテキストのみが抽出されます。これにより、推論や要約にそのまま使えるクリーンなデータが得られます。
スクレイピングの結果
AIが生成するもの
エージェントへの指示の仕方によって、出力内容は変わります。
クリーンなデータ
構造化されたMarkdown
HTMLタグを削除し、純粋なMarkdownとして出力します。AIはノイズのない核心的なコンテンツのみを読み取れます。
生テキスト
プレーンテキスト抽出
書式が不要な場合は、テキストのみを抽出できます。単純なパターンマッチングに最適です。
人間による確認
手動での検証
抽出された内容が正確かどうかは、あなたが判断します。抽出作業はAIが行いますが、最終決定権はあなたにあります。
コンテキスト
RAGへの活用
Markdown形式の出力は、ローカルの知識ベースへの投入に最適です。ウェブデータの検索が格段に容易になります。
ワークフロー
URLが入力された時のAIの動き
ウェブサイトの複雑な操作はAIが代行します。あなたは指示を出すだけです。
ページを取得
エージェントがコネクターにURLを送り、最新のHTMLコンテンツを取得します。
scrape_urlノイズを除去
LLMの理解を妨げるスクリプト、スタイル、広告などをツールが取り除きます。
scrape_urlMarkdownに変換
HTMLを、見出しやリンクを保持したクリーンなMarkdown形式に変換します。
scrape_urlコンテンツを渡す
構造化されたテキストがエージェントに返され、次の指示を待機します。
scrape_url
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使うと、すぐにスクレイピングを開始できます。
出発点
URLの部分を、実際に読み取りたいサイトのアドレスに書き換えてください。
Firecrawl Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_VUpOJRFVTRGTwbzAMeVqIv4t7KoCrITMFS6MmDGP/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Firecrawl capabilities are ready to use.
{
"mcpServers": {
"firecrawl-extended-mcp": {
"url": "https://edge.vinkius.com/vk_preview_VUpOJRFVTRGTwbzAMeVqIv4t7KoCrITMFS6MmDGP/mcp"
}
}
}このURLをスクレイピングしてMarkdownで出力してください: https://example.com/article
https://docs.example.com の内容を読み取り、主要なポイントをMarkdownで要約してください。
https://blog.example.com のテキストを、すべての見出しを含むクリーンなMarkdownリストに変換してください。
https://news.example.com を確認し、メインの記事本文をMarkdownとして抽出してください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Firecrawlを接続して、すぐに指示を出す
リンクをクリックして接続するだけです。認証情報は暗号化され、お使いのクライアントですぐにスクレイピングを開始できます。
FirecrawlをAIに接続するFAQ
スクレイピングの仕組みについて
- 01
ログインが必要なサイトのコンテンツもスクレイピングできますか?
いいえ。scrape_urlツールは、一般に公開されているURLにのみアクセス可能です。
- 02
AIが元のウェブサイトを書き換えることはありますか?
いいえ。ツールはデータを読み取るだけです。ウェブサイトの内容を変更、削除、または操作することはありません。
- 03
JavaScriptを多用しているサイトでも動作しますか?
はい。このコネクターは、JavaScriptに依存する現代的なウェブページにも対応するように設計されています。
- 04
Markdownをファイルとして保存するようAIに指示できますか?
ツールはエージェントにMarkdownを提供します。それをファイルとして保存できるかどうかは、使用しているAIクライアントの機能に依存します。
- 05
サイトにスクレイピングがブロックされた場合はどうなりますか?
サイトによってリクエストが拒否された場合、ツールはエージェントにエラーを返し、スクレイピングは失敗します。
Firecrawlについて他に質問がありますか? コネクターのページで詳細を確認できます。 Firecrawl Connectorの全機能を見る
『Firecrawl』を Claude、Cursor、ChatGPT などに接続
