AIでレンダリング済みのWebコンテンツをスクレイピングする方法

エージェントがZyteを利用してページ全体をレンダリングし、ボット検知を回避しながらJavaScriptを自動実行します。これにより、生のソースコードではなく、完全に描画されたHTML構造にAIがアクセスできるようになります。独自のスクレイピングスクリプトを書く必要はありません。

1. 01

   ページのリクエスト

   エージェントがターゲットとなるURLをコネクターに送り、セッションを開始します。

   extract_data
2. 02

   ブロックの回避

   Zyteがプロキシのローテーションとヘッダーを管理し、サイト側からのブロックを防ぎます。

   extract_data
3. 03

   JavaScriptの実行

   コネクターはすべてのスクリプトが実行され、DOMが完全に構築されるまで待機します。

   extract_data
4. 04

   HTMLの受け渡し

   完全にレンダリングされたHTMLが、処理のためにエージェントへと返されます。

   extract_data

Zyte Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_ItnEhBQ9VfWSoTm1kEsGQnKXjmpuAs456LmANU3G/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Zyte capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "zyte-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_ItnEhBQ9VfWSoTm1kEsGQnKXjmpuAs456LmANU3G/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

リンクから接続を承認してください。認証情報は暗号化されて保持されます。設定完了後、すぐにエージェントへサイトのスクレイピングを指示できます。

• 01

  プロキシのローテーションはAIが行いますか？

  いいえ、AIはプロキシを管理しません。Zyteがプロキシのローテーションとボット検知の回避をすべて自動で行います。

• 02

  AIはページ上のボタンをクリックできますか？

  いいえ。このコネクターはページのレンダリング済みHTMLを抽出するために設計されています。クリックやスクロールといったインタラクティブなブラウザ操作は行いません。

• 03

  JavaScriptを多用するサイトでも動作しますか？

  はい。コネクターがJavaScriptを実行するため、エージェントは完全に描画されたコンテンツを見ることができます。

• 04

  どのプロキシを使用するかはAIが決定しますか？

  いいえ。リクエストを確実に成功させるため、Zyteのインフラストラクチャが最適なプロキシを自動的に選択します。

• 05

  抽出したデータを直接データベースに保存できますか？

  いいえ。エージェントはデータを抽出しますが、そのデータを自身のデータベースやスプレッドシートに送信するのはユーザーの役割となります。

• Zyteについてさらに詳しく知りたいですか？ Zyteコネクターの全機能を見る