• クリーンなデータ
  • 構造化データ
  • 一括処理
  • 人間による管理

AIでRAG用Webスクレイピングを行う方法：Olostep MCPコネクタを活用

OlostepをAIクライアントに接続すれば、Web上の最新データを直接ローカルのコンテキストに取り込めます。接続後は、エージェントがデータの抽出からフォーマットまで自動で行います。

このページについてAIに聞く

すぐに答え

AIの知識ベース用にWebサイトをスクレイピングするには？

Olostepを使用して、URLを構造化されたMarkdownまたはJSONに変換します。抽出されたクリーンなデータをAIに読み込ませることで、RAGの精度を向上させることができます。ローカルのベクトルストアですぐに使える形式でファイルが生成されます。

出力データ

データの活用形式

抽出プロセスにより、複雑なHTMLがエージェントにとって扱いやすい形式に変換されます。

クリーンなデータ

Markdownファイル

Webサイトの内容をMarkdownに変換します。エージェントがテキストを読み取り、インデックス化するのが容易になります。

構造化データ

JSONオブジェクト

プログラムで利用可能なJSON形式でデータを取得できます。特定のフィールドをデータベースにマッピングする場合に最適です。

一括処理

バッチ処理

複数のURLを一度に処理できます。エージェントがキューを管理し、一括で結果を返します。

人間による管理

手動レビュー

どのファイルを保持するかは自分で決定できます。AIがデータを抽出しますが、知識ベースに登録する内容はユーザーがコントロールできます。

ワークフロー

URLが入力されてからAIが行うこと

生のリンクから構造化された知識ソースへ、AIは以下の3つのステップで処理を進めます。

  1. ページの取得

    エージェントが指定されたURLにアクセスし、生のHTMLコンテンツを取得します。

    scrape_url

  2. タスクの整理

    クロールするサイトが多い場合、エージェントはそれらを一つのジョブとしてまとめます。

    create_batch

  3. コンテンツの回収

    スクレイピング完了後、エージェントは生成されたMarkdownまたはJSONファイルを取り出します。

    get_batch_results

  4. RAG用フォーマット

    ローカルのベクトルデータベースですぐに使えるよう、エージェントがテキストをクリーンアップします。

    get_batch_results

試してみる

以下のプロンプトをコピーして開始

これらのプロンプトを使用すると、すぐにスクレイピングを開始できます。

出発点

括弧内のテキストを、実際のターゲットURLや希望のファイル形式に書き換えて使用してください。

Olostep Connector

準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。

コネクタリンクhttps://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp

Claude Desktop

以下の手順で数秒で接続できます。

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Olostep capabilities are ready to use.
設定 · claude_desktop_config.jsonコピー
{
  "mcpServers": {
    "olostep-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp"
    }
  }
}
チャットにコピー04

  • このURLをスクレイピングして、Markdown形式で出力してください: [URL]

  • これら3つのWebサイトのバッチを作成してください: [URL 1, URL 2, URL 3]

  • [URL] のコンテンツを、RAGパイプライン用のクリーンなJSONオブジェクトに変換してください。

  • 前回のスクレイピングバッチの結果を確認し、主要な内容を要約してください。

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

ここから始める

Olostepを接続して、すぐに指示を出す

リンクをクリックしてMCPをクライアントに接続してください。認証情報は暗号化され、接続後すぐにスクレイピングを開始できます。

OlostepをAIに接続する

FAQ

機能に関する詳細

  • 01

    ログインが必要なサイトをスクレイピングできますか？

    いいえ。スクレイパーは公開されているWebページのみにアクセス可能です。

  • 02

    AIはベクトルデータベースを自動的に更新しますか？

    いいえ。AIはクリーンなMarkdownまたはJSONを提供しますが、それらのファイルをデータベースにアップロードするのはユーザー自身で行う必要があります。

  • 03

    Webサイト全体を一度にスクレイピングできますか？

    特定のURLのリストを指定してバッチを作成することは可能ですが、ドメイン全体を再帰的にクロールする機能はありません。

  • 04

    データはどのような形式で出力されますか？

    エージェントは、クリーンなMarkdownまたは構造化されたJSONのいずれかの形式でデータを出力できます。

  • 05

    AIはスクレイピングしたWebサイトを保存しますか？

    いいえ。AIはリクエストに応えるためにデータを処理するだけであり、スクレイピングしたサイトを永続的に保存することはありません。

  • Olostepについて他に質問がありますか？ Olostep MCPコネクタの全機能を見る

『Olostep』を Claude、Cursor、ChatGPT などに接続