• DATEN
  • WISSEN
  • KONTROLLE
  • MENSCH

Ganze Websites crawlen mit der Firecrawl KI

Verbinde Firecrawl mit deinem Agenten, um jede Website in einen strukturierten Datensatz zu verwandeln. Nach der Verbindung kann dein Agent ganze Domains durchsuchen und auslesen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich eine ganze Website mit meiner KI crawlen?

Dein Agent nutzt Firecrawl, um jedem Link auf einer Ziel-Domain zu folgen und die Inhalte in ein lesbares Format zu extrahieren. So wird eine Website zu einer strukturierten Quelle für deinen Agenten. Du erhältst eine vollständige Karte der Website-Daten.

Die Ergebnisse.

Wohin die Daten fließen.

Der Crawl-Prozess wandelt rohe Webseiten in organisierte Informationen um.

DATEN

Strukturierte Sitemaps

Die KI erstellt eine Karte jeder URL und Seitenstruktur. Du erhältst eine klare Hierarchie der Website-Inhalte.

WISSEN

Tiefe Wissensbasen

Der Agent verarbeitet den extrahierten Text. So kann deine KI Fragen auf Basis der gesamten Website beantworten, nicht nur einer einzelnen Seite.

KONTROLLE

Aktives Crawl-Management

Du kannst den Fortschritt überwachen oder den Lauf stoppen, falls er zu tief in die Struktur geht. Die KI hält dich über den Status auf dem Laufenden.

MENSCH

Manuelle Prüfung nötig

Die KI kann nicht entscheiden, welche Seiten irrelevant sind. Du musst die finalen Daten prüfen, um sicherzustellen, dass der Scraper keine minderwertigen Seiten erfasst hat.

Der Ablauf

Was deine KI tut, sobald die URL vorliegt.

Die KI übernimmt die Schwerstarbeit beim Navigieren im Web und beim Sammeln der Daten.

  1. Crawl starten

    Dein Agent sendet die Start-URL an Firecrawl, um die rekursive Suche durch die Domain zu beginnen.

    start_crawl

  2. Fortschritt prüfen

    Die KI prüft den Status des Auftrags, um zu sehen, wie viele Seiten bereits verarbeitet wurden und wie viele noch offen sind.

    get_crawl_status

  3. Crawl stoppen

    Wenn der Crawl zu lange dauert oder in falsche Bereiche führt, kann dein Agent die Aufgabe sofort abbrechen.

    cancel_active_crawl

  4. Abschluss bestätigen

    Die KI nutzt das Status-Tool, um zu bestätigen, dass der Job erledigt ist und die Daten bereitstehen.

    get_crawl_status

Probieren Sie es

Kopiere diese Vorlagen zum Start.

Nutze diese Prompts, um einen Crawl mit deinem Agenten auszulösen.

Startpunkte

Dies sind erste Formulierungen. Ersetze die Website-URLs durch die Seiten, die du tatsächlich crawlen möchtest.

Firecrawl Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Firecrawl capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "firecrawl-alternative-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_fc9lRjafM7OLZXZoNzbjhXgbJ3RhOnI5LpERnMdC/mcp"
    }
  }
}
In den Chat kopieren04

  • Starte einen Crawl von https://docs.example.com, damit du meine technischen Fragen beantworten kannst.

  • Prüfe den Status meines aktuellen Crawls, um zu sehen, ob die Daten bereit sind.

  • Stoppe den aktiven Crawl auf der Website, die ich dir gerade gegeben habe; er erfasst zu viele Subdomains.

  • Crawle die gesamte Dokumentationsseite unter https://help.software.com und fasse die wichtigsten Funktionen zusammen.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Du musst den MCP nur einmal verknüpfen. Deine Zugangsdaten bleiben verschlüsselt und du kannst deinem Agenten sofort Web-Crawling-Aufgaben geben.

Firecrawl mit deiner KI verbinden

FAQ

Verhalten des Crawlers

  • 01

    Kann die KI eine Website crawlen, die einen Login erfordert?

    Nein. Die aktuellen Tools unterstützen nur das Crawlen von öffentlich zugänglichen URLs.

  • 02

    Wird die KI Dateien auf der Website löschen?

    Nein. Die Tools dienen ausschließlich dem Lesen und Crawlen von Daten. Sie können Inhalte auf der Zielwebsite weder ändern noch löschen.

  • 03

    Wodurch erkennt die KI, wann der Crawl beendet ist?

    Die KI nutzt das Status-Tool, um den Fortschritt zu prüfen, bis der Job als abgeschlossen markiert wird.

  • 04

    Kann ich begrenzen, wie viele Seiten die KI besucht?

    Nein. Die Tools führen rekursive Crawls basierend auf der Start-URL durch. Du musst den Crawl manuell stoppen, falls er zu tief in die Struktur eindringt.

  • 05

    Speichert die KI die Website-Daten dauerhaft?

    Nein. Die KI nutzt die extrahierten Daten, um deine unmittelbaren Fragen zu beantworten. Sie verwaltet keine permanente Datenbank für dich.

  • Weitere Fragen zu Firecrawl? Die Connector-Seite liefert Antworten. Alle Funktionen des Firecrawl Connectors ansehen

Verbinde Firecrawl mit Claude, Cursor, ChatGPT & mehr