• 生データ
  • ナレッジ
  • 分析
  • 人間による確認

ZenRows MCPでWebサイトをMarkdown形式で取得する方法

ZenRowsをAIクライアントに一度接続するだけ。あとはエージェントが任意のURLからクリーンなテキストを抽出し、RAGパイプラインや知識ベースへ供給します。

このページについてAIに聞く

すぐに答え

AI用にWebサイトからクリーンなMarkdownを取得するには?

ZenRows MCPを使用すると、AIがWebサイトにアクセスし、HTML、スクリプト、広告などの不要な要素を自動的に除去します。コンテキストウィンドウに最適な純粋なMarkdown形式でデータが返されるため、エージェントへのスムーズなデータ供給が可能です。

出力結果

データの活用先

スクレイピングされたデータは、以下の形で活用できます。

生データ

クリーンなMarkdownテキスト

ツールがサイトを構造化されたMarkdownに変換します。ヘッダーやリンクなどの構造を維持したまま、不要なゴミのないテキストをAIが受け取ります。

ナレッジ

RAGパイプラインの更新

取得したコンテンツをベクトルデータベースに直接取り込めます。これにより、エージェントの知識を常に最新のWebデータで維持できます。

分析

コンテキストに最適なスニペット

エージェントはMarkdownを利用して回答を生成します。複雑なHTMLタグによる混乱を防ぎ、精度の高い回答を可能にします。

人間による確認

手動レビューの実施

取得した内容が用途に対して十分正確かどうかは、ユーザーが判断します。AIはテキストを提供しますが、最終的な知識ベースの管理はユーザーが行います。

ワークフロー

URLが入力された際、AIが行う処理

Webサイトのナビゲーションから出力のクリーニングまで、重い処理はすべてAIが担います。

  1. サイトへのアクセス

    エージェントがMCP経由でURLを送信し、ブロックを回避してページ内容を読み込みます。

    scrape_markdown
  2. ノイズの除去

    ページ内のJavaScript、CSS、広告などの不要な要素をすべて取り除きます。

    scrape_markdown
  3. Markdown形式への変換

    生のHTMLを、AIが理解しやすいクリーンなMarkdown構造に変換します。

    scrape_markdown
  4. コンテキストへの供給

    生成されたテキストがエージェントに渡され、プロンプトやデータベースで利用可能になります。

    scrape_markdown

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使用すると、すぐにスクレイピングを開始できます。

出発点

括弧内のテキストを、実際のURLや必要なデータに合わせて書き換えてください。

ZenRows Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_jR8Ah5rxvahJ5kVneMnPRI8kVBd5MZWswd5Nogxu/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — ZenRows capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "zenrows-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_jR8Ah5rxvahJ5kVneMnPRI8kVBd5MZWswd5Nogxu/mcp"
    }
  }
}
チャットにコピー04
  • https://example.com のコンテンツをMarkdown形式で取得し、要点をまとめてください。

  • このURL(https://docs.example.com)に対して scrape_markdown ツールを使用し、私の知識ベース用にフォーマットしてください。

  • https://blog.example.com からMarkdownを取得し、すべての見出しを抽出してください。

  • https://news.example.com のテキストを読み取り、主要なニュース3件をMarkdown形式で教えてください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

ZenRowsを接続して、すぐに質問を開始

クリックして接続するだけです。認証情報は暗号化されて保持されるため、お使いのAIクライアントですぐにスクレイピングを開始できます。

ZenRowsをAIに接続する

FAQ

機能の詳細

  • 01

    ログインが必要なサイトのコンテンツもスクレイピングできますか?

    いいえ。このツールは、一般に公開されているWebコンテンツのみを対象としています。

  • 02

    AIはデータベースを自動的に更新してくれますか?

    いいえ。AIはMarkdownテキストを提供しますが、データベースやRAGパイプラインへの取り込み作業はユーザーが行う必要があります。

  • 03

    JavaScriptを多用しているサイトにも対応していますか?

    はい。ツールがページをレンダリングするため、JavaScriptによって読み込まれるコンテンツもMarkdownとして取得可能です。

  • 04

    AIがWebサイトの内容を書き換えることはできますか?

    いいえ。このツールは読み取り専用です。Webからデータを取得することのみが可能で、外部サイトを改変することはできません。

  • 05

    サイトにボット対策がされている場合はどうなりますか?

    このツールは一般的なボット検知を回避するように設計されており、エージェントが確実にコンテンツに到達できるようにします。

  • ZenRowsについてさらに詳しく知りたいですか? ZenRows Connectorの全機能を見る

『ZenRows』を Claude、Cursor、ChatGPT などに接続