- 生データ
- ナレッジ
- 分析
- 人間による確認
すぐに答え
AI用にWebサイトからクリーンなMarkdownを取得するには?
ZenRows MCPを使用すると、AIがWebサイトにアクセスし、HTML、スクリプト、広告などの不要な要素を自動的に除去します。コンテキストウィンドウに最適な純粋なMarkdown形式でデータが返されるため、エージェントへのスムーズなデータ供給が可能です。
出力結果
データの活用先
スクレイピングされたデータは、以下の形で活用できます。
生データ
クリーンなMarkdownテキスト
ツールがサイトを構造化されたMarkdownに変換します。ヘッダーやリンクなどの構造を維持したまま、不要なゴミのないテキストをAIが受け取ります。
ナレッジ
RAGパイプラインの更新
取得したコンテンツをベクトルデータベースに直接取り込めます。これにより、エージェントの知識を常に最新のWebデータで維持できます。
分析
コンテキストに最適なスニペット
エージェントはMarkdownを利用して回答を生成します。複雑なHTMLタグによる混乱を防ぎ、精度の高い回答を可能にします。
人間による確認
手動レビューの実施
取得した内容が用途に対して十分正確かどうかは、ユーザーが判断します。AIはテキストを提供しますが、最終的な知識ベースの管理はユーザーが行います。
ワークフロー
URLが入力された際、AIが行う処理
Webサイトのナビゲーションから出力のクリーニングまで、重い処理はすべてAIが担います。
サイトへのアクセス
エージェントがMCP経由でURLを送信し、ブロックを回避してページ内容を読み込みます。
scrape_markdownノイズの除去
ページ内のJavaScript、CSS、広告などの不要な要素をすべて取り除きます。
scrape_markdownMarkdown形式への変換
生のHTMLを、AIが理解しやすいクリーンなMarkdown構造に変換します。
scrape_markdownコンテキストへの供給
生成されたテキストがエージェントに渡され、プロンプトやデータベースで利用可能になります。
scrape_markdown
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使用すると、すぐにスクレイピングを開始できます。
出発点
括弧内のテキストを、実際のURLや必要なデータに合わせて書き換えてください。
ZenRows Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_jR8Ah5rxvahJ5kVneMnPRI8kVBd5MZWswd5Nogxu/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — ZenRows capabilities are ready to use.
{
"mcpServers": {
"zenrows-mcp": {
"url": "https://edge.vinkius.com/vk_preview_jR8Ah5rxvahJ5kVneMnPRI8kVBd5MZWswd5Nogxu/mcp"
}
}
}https://example.com のコンテンツをMarkdown形式で取得し、要点をまとめてください。
このURL(https://docs.example.com)に対して scrape_markdown ツールを使用し、私の知識ベース用にフォーマットしてください。
https://blog.example.com からMarkdownを取得し、すべての見出しを抽出してください。
https://news.example.com のテキストを読み取り、主要なニュース3件をMarkdown形式で教えてください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
ZenRowsを接続して、すぐに質問を開始
クリックして接続するだけです。認証情報は暗号化されて保持されるため、お使いのAIクライアントですぐにスクレイピングを開始できます。
ZenRowsをAIに接続するFAQ
機能の詳細
- 01
ログインが必要なサイトのコンテンツもスクレイピングできますか?
いいえ。このツールは、一般に公開されているWebコンテンツのみを対象としています。
- 02
AIはデータベースを自動的に更新してくれますか?
いいえ。AIはMarkdownテキストを提供しますが、データベースやRAGパイプラインへの取り込み作業はユーザーが行う必要があります。
- 03
JavaScriptを多用しているサイトにも対応していますか?
はい。ツールがページをレンダリングするため、JavaScriptによって読み込まれるコンテンツもMarkdownとして取得可能です。
- 04
AIがWebサイトの内容を書き換えることはできますか?
いいえ。このツールは読み取り専用です。Webからデータを取得することのみが可能で、外部サイトを改変することはできません。
- 05
サイトにボット対策がされている場合はどうなりますか?
このツールは一般的なボット検知を回避するように設計されており、エージェントが確実にコンテンツに到達できるようにします。
ZenRowsについてさらに詳しく知りたいですか? ZenRows Connectorの全機能を見る
『ZenRows』を Claude、Cursor、ChatGPT などに接続
