• SAUBERE DATEN
  • STRUKTURIERT
  • GEBÜNDELT
  • MANUELL

Webseiten für RAG mit Ihrer KI effizient scrapen

Verbinden Sie Olostep mit Ihrem KI-Client, um Live-Webdaten direkt in Ihren lokalen Kontext zu laden. Sobald die Verbindung steht, übernimmt Ihr Agent die Extraktion und Formatierung für Sie.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich Webseiten für die Wissensdatenbank meiner KI scrapen?

Nutzen Sie Olostep, um URLs in strukturiertes Markdown oder JSON umzuwandeln. Ihre KI kann diese sauberen Daten anschließend verarbeiten, um die RAG-Performance zu verbessern. Sie erhalten strukturierte Dateien, die direkt für Ihren lokalen Vektorstore bereitstehen.

Datenformate

So landen Ihre Daten.

Der Extraktionsprozess wandelt unübersichtliches HTML in nutzbare Formate für Ihren Agenten um.

SAUBERE DATEN

Markdown-Dateien

Die KI wandelt Website-Inhalte in Markdown um. Das erleichtert es Ihrem Agenten, den Text zu lesen und zu indizieren.

STRUKTURIERT

JSON-Objekte

Erhalten Sie Daten im JSON-Format für die programmatische Nutzung. Ideal, wenn Sie spezifische Felder einer Datenbank zuordnen müssen.

GEBÜNDELT

Stapelverarbeitung

Verarbeiten Sie mehrere URLs gleichzeitig. Ihr Agent verwaltet die Warteschlange und liefert die Ergebnisse in einem Durchgang.

MANUELL

Manuelle Prüfung

Sie entscheiden, welche Dateien behalten werden. Die KI extrahiert die Daten, aber Sie kontrollieren, was tatsächlich in Ihre Wissensdatenbank fließt.

Der Ablauf

Was Ihre KI tut, sobald die URL vorliegt.

Die KI wandelt einen rohen Link in drei Schritten in eine strukturierte Wissensquelle um.

  1. Seite abrufen

    Der Agent besucht die angegebene URL, um den rohen HTML-Inhalt zu laden.

    scrape_url

  2. Aufgabe organisieren

    Wenn Sie viele Seiten crawlen müssen, gruppiert der Agent diese in einem einzigen Job.

    create_batch

  3. Inhalte abrufen

    Sobald das Scraping abgeschlossen ist, stellt der Agent die fertigen Markdown- oder JSON-Dateien bereit.

    get_batch_results

  4. RAG-Formatierung

    Der Agent bereinigt den Text, damit er bereit für Ihre lokale Vektordatenbank ist.

    get_batch_results

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um den Scraping-Prozess sofort auszulösen.

Startpunkte

Ersetzen Sie den Text in den Klammern durch Ihre tatsächlichen Ziel-URLs oder Dateipräferenzen.

Olostep Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Olostep capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "olostep-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp"
    }
  }
}
In den Chat kopieren04

  • Scrape diese URL und gib mir das Ergebnis als Markdown: [URL]

  • Erstelle einen Batch für diese drei Webseiten: [URL 1, URL 2, URL 3]

  • Wandle den Inhalt von [URL] in ein sauberes JSON-Objekt für meine RAG-Pipeline um.

  • Prüfe die Ergebnisse meines letzten Scraping-Batches und fasse die wichtigsten Erkenntnisse zusammen.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Klicken Sie auf den Link, um den MCP mit Ihrem Client zu verbinden. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort mit dem Scraping beginnen.

Olostep mit Ihrer KI verbinden

FAQ

Verhalten dieser Aufgabe.

  • 01

    Kann die KI Seiten scrapen, die einen Login erfordern?

    Nein. Der Scraper greift nur auf öffentlich zugängliche Webseiten zu.

  • 02

    Wird die KI meine Vektordatenbank automatisch aktualisieren?

    Nein. Die KI liefert das saubere Markdown oder JSON, aber Sie müssen diese Dateien selbst in Ihre Datenbank hochladen.

  • 03

    Kann ich eine komplette Website auf einmal scrapen?

    Sie können einen Batch mit spezifischen URLs erstellen, aber das Tool führt kein rekursives Crawling einer gesamten Domain durch.

  • 04

    In welchem Format werden die Daten geliefert?

    Der Agent kann die Daten entweder als sauberes Markdown oder als strukturiertes JSON ausgeben.

  • 05

    Speichert die KI die gescrapten Webseiten?

    Nein. Die KI verarbeitet die Daten nur, um Ihre Anfrage zu erfüllen; sie führt keine dauerhafte Speicherung der gescrapten Seiten.

  • Weitere Fragen zu Olostep? Die Connector-Seite liefert Antworten. Alle Funktionen des Olostep Connectors ansehen

Verbinde Olostep mit Claude, Cursor, ChatGPT & mehr