- クリーンなテキスト
- 構造化データ
- 生のコンテンツ
- 人間による確認
すぐに答え
ウェブサイトをAI用のMarkdownにするには?
エージェントが scrape_url ツールを使用してページ内容を取得し、HTMLの不要な要素を削除します。AIが読み取りやすい構造化されたMarkdownが得られます。仕組みは以下の通りです。
スクレイピング結果
AIが取得できるもの
出力形式が変わることで、エージェントのウェブ操作能力が向上します。
クリーンなテキスト
Markdown出力
スクリプトやCSSをすべて除去します。コンテキストウィンドウに最適な、整理されたMarkdownファイルが生成されます。
構造化データ
推論精度の向上
HTMLのノイズがなくなるため、エージェントはページの階層構造を正確に把握し、重要な情報を特定できます。
生のコンテンツ
正確なデータ
ソースから実際のテキストとリンクを抽出します。これにより、タスクに必要な情報の信頼性が保たれます。
人間による確認
手動検証
AIがテキストを提供しますが、必要な情報がすべて含まれているかはあなたが判断できます。最終的なデータの制御権は常にあなたにあります。
ワークフロー
URLが入力された際のエージェントの動き
複雑なウェブスクレイピングはAIが処理します。あなたは手間をかける必要はありません。
ページを取得
エージェントがスクレイパーにURLを送り、生のウェブコンテンツを取得します。
scrape_url不要な要素を削除
CSS、JavaScript、不要なHTMLタグをすべて取り除きます。
scrape_urlMarkdownへ変換
残ったコンテンツを、整理されたMarkdown形式に整えます。
scrape_urlテキストを渡す
構造化されたテキストがエージェントに返され、チャットで使用可能になります。
scrape_url
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使って、すぐにエージェントを動かしましょう。
出発点
例として挙げているURLを、実際に処理したいサイトのURLに書き換えてください。
Firecrawl Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Firecrawl capabilities are ready to use.
{
"mcpServers": {
"firecrawl-alternative-mcp": {
"url": "https://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcp"
}
}
}https://example.com をスクレイピングして、Markdown形式で要約してください。
https://docs.python.org の内容をMarkdownに変換して、分析できるようにしてください。
https://news.ycombinator.com を読み取って、トップの見出しをリスト形式で抽出してください。
https://wikipedia.org のテキストを、ノート用にきれいなMarkdown形式に変換してください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Firecrawlを接続して、すぐに指示を出す
一度クリックするだけで、MCPをクライアントに接続できます。認証情報は安全に暗号化されるため、すぐにスクレイピングを開始できます。
FirecrawlをAIに接続するFAQ
スクレイパーの動作について
- 01
ログインが必要なページをスクレイピングできますか?
いいえ。scrape_url ツールは、一般に公開されているウェブページのみに対応しています。
- 02
このツールによってウェブサイトの内容が書き換えられることはありますか?
いいえ。このツールはコンテンツの読み取りと変換のみを行います。元のサイトの内容を編集、削除、変更することはできません。
- 03
画像をスクレイピングすることはできますか?
いいえ。このツールはテキストと構造化データをMarkdownとして抽出するように設計されており、画像ファイルの処理やダウンロードは行いません。
- 04
ペイウォール(有料記事の壁)を回避できますか?
いいえ。ペイウォールや認証画面を回避することはできません。
- 05
ウェブサイトにスクレイピングをブロックされた場合はどうなりますか?
サイトがリクエストをブロックした場合、ツールのコンテンツ取得は失敗します。その際、エージェントはページにアクセスできなかった旨を報告します。
Firecrawlについて他に質問がありますか? Connectorのページで詳細を確認できます。 Firecrawl Connectorの全機能を見る
『Firecrawl』を Claude、Cursor、ChatGPT などに接続
