• DONNÉES PROPRES
  • STRUCTURÉ
  • PAR LOTS
  • HUMAIN

Scraper web pour le RAG avec votre IA via Olostep

Connectez Olostep à votre client IA pour extraire des données web en direct directement dans votre contexte local. Une fois connecté, votre agent gère l'extraction et le formatage pour vous.

Demandez à l'IA à propos de cette page

Réponse rapide

Comment scraper des sites pour la base de connaissances de mon IA ?

Utilisez Olostep pour convertir des URL en formats Markdown ou JSON structurés. Votre IA peut ensuite ingérer ces données propres pour améliorer ses performances RAG. Vous obtiendrez des fichiers prêts pour votre base de données vectorielle locale.

Résultats de données

Où vos données arrivent.

Le processus d'extraction transforme le HTML brut en formats exploitables par votre agent.

DONNÉES PROPRES

Fichiers Markdown

L'IA convertit le contenu du site en Markdown. Cela permet à votre agent de lire et d'indexer le texte facilement.

STRUCTURÉ

Objets JSON

Obtenez des données au format JSON pour un usage programmatique. Idéal pour mapper des champs spécifiques vers une base de données.

PAR LOTS

Traitement en masse

Lancez plusieurs URL simultanément. Votre agent gère la file d'attente et livre les résultats en une seule fois.

HUMAIN

Révision manuelle

Vous choisissez les fichiers à conserver. L'IA extrait les données, mais vous contrôlez ce qui entre réellement dans votre base de connaissances.

Le flux

Ce que fait votre IA dès réception de l'URL.

L'IA transforme un lien brut en une source de connaissances structurée via trois étapes précises.

  1. Récupérer la page

    L'agent visite l'URL fournie pour extraire le contenu HTML brut.

    scrape_url

  2. Organiser la tâche

    Si vous avez de nombreux sites à parcourir, l'agent les regroupe en un seul travail.

    create_batch

  3. Récupérer le contenu

    L'agent extrait les fichiers Markdown ou JSON une fois le scraping terminé.

    get_batch_results

  4. Formater pour le RAG

    L'agent nettoie le texte pour qu'il soit prêt pour votre base de données vectorielle locale.

    get_batch_results

Essayez

Copiez ces éléments pour commencer.

Utilisez ces prompts pour déclencher immédiatement le processus de scraping.

Points de départ

Remplacez le texte entre crochets par vos URL cibles ou vos préférences de fichiers.

Olostep Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Olostep capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "olostep-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp"
    }
  }
}
Copiez dans le chat04

  • Scrape cette URL et donne-moi le Markdown : [URL]

  • Crée un lot pour ces trois sites web : [URL 1, URL 2, URL 3]

  • Convertis le contenu de [URL] en un objet JSON propre pour mon pipeline RAG.

  • Vérifie les résultats de mon dernier lot de scraping et résume les points clés.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Commencez ici

Connectez Olostep une fois, puis demandez.

Cliquez sur le lien pour connecter le MCP à votre client. Vos identifiants restent cryptés et vous pouvez commencer le scraping immédiatement.

Connecter Olostep à votre IA

FAQ

Fonctionnement de cette tâche.

  • 01

    L'IA peut-elle scraper des sites nécessitant une connexion ?

    Non. Le scraper accède uniquement aux pages web publiques.

  • 02

    L'IA mettra-t-elle automatiquement à jour ma base de données vectorielle ?

    Non. L'IA fournit le Markdown ou le JSON propre, mais vous devez charger ces fichiers dans votre base de données vous-même.

  • 03

    Puis-je scraper un site web entier d'un coup ?

    Vous pouvez créer un lot d'URL spécifiques, mais l'outil ne réalise pas de parcours récursif de l'intégralité d'un domaine.

  • 04

    Sous quel format les données seront-elles livrées ?

    L'agent peut fournir les données soit en Markdown propre, soit en JSON structuré.

  • 05

    L'IA stocke-t-elle les sites qu'elle scrape ?

    Non. L'IA traite uniquement les données pour répondre à votre demande ; elle ne conserve pas de stockage permanent des sites scrapés.

  • D'autres questions sur Olostep ? La page du Connector y répond. Voir toutes les capacités du Connector Olostep

Connectez Olostep à Claude, Cursor, ChatGPT et d'autres