AIエージェントでニュース記事を自動抽出する方法｜Diffbot MCP

Diffbotを利用することで、広告やナビゲーションメニューなどの不要な要素を排除し、記事の本文のみを抽出できます。これにより、エージェントは要約や分析にすぐ使えるクリーンなデータを取得でき、リサーチ目的に合わせた構造化されたコンテンツが得られます。

1. 01

   コンテンツの判別

   エージェントは提供されたリンクを確認し、それがニュース記事かブログ投稿かを判断します。

   analyze_page
2. 02

   ノイズの除去

   AIはページ内の広告、ポップアップ、ナビゲーション要素を取り除きます。

   extract_article
3. 03

   テキストの抽出

   エージェントは見出しと本文を抽出し、整理されたフォーマットにまとめます。

   extract_article
4. 04

   利用準備

   クリーンになったデータがエージェントに渡され、実際の調査タスクが開始されます。

   analyze_page

Diffbot Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_FiT28RroNiKkMcafLWUuAoeV2pbdaAk9JBpgecYE/mcpコピー

Claude Desktop

以下の手順で数秒で接続できます。

1. 1In Claude Desktop, open Settings → Connectors.
2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
3. 3Click Add and start a new chat — Diffbot capabilities are ready to use.

設定 · claude_desktop_config.jsonコピー

{
  "mcpServers": {
    "diffbot-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_FiT28RroNiKkMcafLWUuAoeV2pbdaAk9JBpgecYE/mcp"
    }
  }
}

• Claude
• ChatGPT
• Cursor
• VS Code
• Windsurf
• Claude Code
• JetBrains
• Cline

リンクをクリックして接続するだけです。認証情報は暗号化され、プライバシーは守られます。接続完了後、すぐにエージェントへURLを渡して作業を開始できます。

• 01

  AIは自律的にウェブサイトを閲覧できますか？

  いいえ。AIは、ユーザーがURLを提供した際、またはDiffbotツールを使用するよう指示した際にのみ、特定のページにアクセスします。

• 02

  AIが元のニュースサイトの内容を書き換えることはありますか？

  いいえ。AIが行うのはデータの読み取りと抽出のみです。実際のウェブサイトを編集、削除、または操作することはできません。

• 03

  ログインが必要なサイトでも動作しますか？

  いいえ。このツールがアクセスできるのは、一般に公開されているニュース記事やブログ投稿のみです。

• 04

  記事内の画像をダウンロードすることはできますか？

  いいえ。現在のツールはテキストと記事の構造を抽出するように設計されており、メディアファイルの抽出には対応していません。

• 05

  ページが広告ばかりだった場合はどうなりますか？

  抽出ツールはメインコンテンツを探そうと試みますが、記事の本文が見つからない場合は、空の結果を返します。

• Diffbotについてさらに詳しく Diffbot Connectorの全機能を見る