- バッチ
- 構造化
- 確認
- 分析
すぐに答え
AIを使って大量のデータをスクレイピングするには?
AIにOlostep経由でURLのバッチを作成するよう指示します。その後、AIがスクレイピング作業を管理し、抽出した構造化データをチャット内に直接取り込みます。手動でのクリックやコピー&ペーストは一切不要です。
出力結果
データの流れ
スクレイピングプロセスにより、生のURLが構造化されたデータセットへと変換されます。
バッチ
実行中のスクレイピング
AIが抽出対象のすべてのURLを追跡します。どのジョブが実行中か、あるいは完了したかを一目で確認できます。
構造化
整理されたデータセット
ジョブが完了すると、AIは指示された特定の項目を抽出します。次のタスクにすぐ使える、整理されたテキストや数値が得られます。
確認
手動による確認
サイトのブロックやレイアウト変更が発生した場合、AIがエラーを通知します。それらの失敗への対処はユーザーが行います。
分析
インサイトへの活用
抽出されたデータはチャットのコンテキスト内に保持されます。そのままAIに要約、比較、グラフ化を依頼できます。
ワークフロー
リクエスト受信後のAIの動き
AIが複数のウェブリクエスト管理という重い作業をすべて引き受けます。
ジョブの初期化
AIがターゲットURLのリストを受け取り、それらを一つの処理ユニットとしてまとめます。
create_batch進捗の監視
AIがスクレイピングのステータスを確認し、完了したURLと保留中のURLを判別します。
list_batches結果の取得
スクレイピング完了後、AIは完了したバッチから特定のデータポイントを抽出します。
get_batchデータの加工
AIが取得した生のコンテンツを、指定された構造に整形します。
get_batch
試してみる
以下のプロンプトをコピーして開始
これらのプロンプトを使って、最初のスクレイピングを開始しましょう。
出発点
これらは開始用の例です。括弧内のテキストを、実際のURLや具体的なデータ項目に書き換えて使用してください。
Olostep Connector
準備完了です。MCPクライアントを選択し、セットアップ手順に従ってください。
https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcpClaude Desktop
以下の手順で数秒で接続できます。
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Olostep capabilities are ready to use.
{
"mcpServers": {
"olostep-mcp": {
"url": "https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp"
}
}
}以下のURLの新しいバッチを作成して、商品の価格を抽出してください: [ここにURLを貼り付け]
list_batches を使用して、現在のスクレイピングジョブのステータスを確認してください。
最後に完了したバッチから結果を取得し、その内容を要約してください。
[URL] のスクレイピングを実行し、すべての技術仕様をテーブル形式で抽出してください。
Claude
ChatGPT
Cursor
VS Code
Windsurf
Claude Code
JetBrains
Cline
ここから始める
Olostepを一度接続すれば、あとは指示するだけ
リンクをクリックして接続するだけです。認証情報は暗号化され、お使いのAIクライアントからすぐにスクレイピングを開始できます。
OlostepをAIに接続するFAQ
動作に関する詳細
- 01
ログインが必要なウェブサイトをAIはスクレイピングできますか?
いいえ。現在のツールは、一般に公開されているURLのスクレイピングのみをサポートしています。
- 02
AIが既存のデータを削除することはありませんか?
ありません。ツールは既存データに対して読み取り専用であり、新しいバッチの作成と取得のみを行います。
- 03
実行中のスクレイピングを途中で停止できますか?
現在のツールでは、バッチの一覧表示やデータの取得は可能ですが、実行中のバッチをキャンセルする機能は含まれていません。
- 04
AIはどのデータを抽出すべきかどうやって判断しますか?
プロンプトで抽出したい内容を指示してください。AIはスクレイピングしたコンテンツの中から、その詳細を探し出します。
- 05
抽出したデータを直接 Google スプレッドシートに保存できますか?
いいえ。AIはデータの抽出は可能ですが、スプレッドシートに貼り付けやすい形式で出力するよう指示する必要があります。
Olostepについて他に質問がありますか?コネクタのページで確認できます。 Olostep Connectorの全機能を見る
『Olostep』を Claude、Cursor、ChatGPT などに接続
