AIを活用してウェブクローリングの範囲を動的に拡張する方法

はい、可能です。実行中のApifyキューに新しいURLをプッシュすることで、即座にクローリングの範囲を広げられます。これにより、エージェントが新しいリンクを見つけ出し、それを再びスクレイパーにフィードバックするというサイクルが可能になります。詳細は以下の構成をご覧ください。

1. 01

   新しいターゲットの特定

   エージェントが現在のページ内容や指定されたリストをスキャンし、関連する新しいURLを見つけ出します。

   push_to_queue
2. 02

   スクレイパーへの投入

   エージェントは、見つけた新しいアドレスを現在実行中のApifyジョブキューに直接送信します。

   push_to_queue
3. 03

   ジョブの監視

   エージェントは実行ステータスを確認し、新しいURLが正しく処理されているかを監視します。

   get_run
4. 04

   完了の確認

   拡張されたクローリングが終了したことをエージェントが確認し、分析作業へ移行できます。

   get_run

Apify Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_kyOCHu4Rvz1CsEZ7ViQMTOM5deCOQwTatWoMs4PP/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Apify capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "apify-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_kyOCHu4Rvz1CsEZ7ViQMTOM5deCOQwTatWoMs4PP/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

Vinkius経由でApifyアカウントを連携するだけです。認証情報は暗号化されて保護されるため、すぐにエージェント経由でクローリングの管理を開始できます。

• 01

  AIがゼロから新しいスクレイピングを開始することはできますか？

  いいえ。このコネクターは、キューへの追加やステータスの確認を通じて、既存の実行（run）を操作するように設計されています。

• 02

  AIが既存のApifyデータセットを削除することはありませんか？

  はい、ありません。AIには、キューへの新しい項目の追加、または実行ステータスの読み取り権限のみが与えられています。

• 03

  実際のウェブスクレイピングのロジックはAIが担当するのですか？

  いいえ。スクレイピング自体はApifyが実行します。AIは、そのプロセスに投入されるURLリストの管理を行います。

• 04

  AIを使って実行中のジョブを停止できますか？

  いいえ。現在のツールでは、キューへの追加と実行ステータスの取得のみが可能です。

• 05

  AIはどの実行（run）にURLを追加すべきか、どうやって判断するのですか？

  エージェントが対象のキューを特定できるよう、プロンプト内で特定のRun IDを指定する必要があります。

• Apifyについてさらに質問がありますか？ Apify Connectorの全機能を見る