• MAP
  • DATA
  • AUDIT
  • HUMAN

Websites crawlen mit dem Spider MCP für Ihre KI

Verbinden Sie Spider mit Ihrem Agenten, damit dieser eine Domain durch das Folgen interner Links durchwandert. Sobald die Verbindung steht, bildet Ihr Agent die gesamte Seitenstruktur ab.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich meine KI eine ganze Website crawlen lassen?

Nutzen Sie den Spider Connector, damit Ihr Agent von einer Start-URL aus allen internen Links folgt. So wird eine vollständige Karte der Inhalte und der Struktur erstellt. Die Ergebnisse und Datenanalysen finden Sie weiter unten.

Ihre Ergebnisse

Wohin die Daten fließen

Der Agent verarbeitet die Domain und bereitet die Funde in diesen Formaten auf.

MAP

Strukturpläne

Der Agent folgt jedem Link, um eine strukturelle Karte der Domain zu erstellen. So sehen Sie genau, wie die Seiten verknüpft sind.

DATA

Extrahierte Inhalte

Der Agent zieht den Text von jeder gefundenen Seite. Diese Informationen fließen direkt in Ihren Chat-Kontext.

AUDIT

Content-Gap-Analyse

Da der Agent die gesamte Seite sieht, erkennt er fehlende Informationen und zeigt auf, wo Inhalte unvollständig sind.

HUMAN

Manuelle Prüfung

Der Agent markiert spezifische Seiten, die Ihre Aufmerksamkeit erfordern. Sie entscheiden, welche Inhalte eine menschliche Prüfung brauchen.

Der Ablauf

Was Ihre KI tut, sobald die URL vorliegt.

Der Agent übernimmt die Navigation und die Datensammlung über die gesamte Domain.

  1. Entdeckung

    Der Agent startet bei Ihrer URL und findet alle internen Links auf der Seite.

    spider_crawl

  2. Navigation

    Er durchwandert die Website, indem er den Links folgt und jede Unterseite der Domain erreicht.

    spider_crawl

  3. Kartierung

    Der Agent erstellt eine logische Karte der Hierarchie und der Linkstruktur der Website.

    spider_crawl

  4. Zusammenfassung

    Der Agent bereitet die gesammelten Daten so auf, dass Sie sie direkt im Chat nutzen können.

    spider_crawl

Probieren Sie es

Kopieren Sie diese Vorlagen zum Start.

Nutzen Sie diese Prompts, um den Crawl sofort auszulösen.

Startpunkte

Ersetzen Sie die Beispiel-URLs durch die Webseiten, die Sie analysieren möchten.

Spider Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Spider capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "spider-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcp"
    }
  }
}
In den Chat kopieren04

  • Crawl https://example.com und erstelle eine Liste aller Hauptbereiche.

  • Erstelle eine vollständige Struktur von https://docs.example.com, damit ich die Hierarchie sehen kann.

  • Folge allen internen Links auf https://blog.example.com und fasse die behandelten Themen zusammen.

  • Crawl https://shop.example.com, um alle Produktkategorien und Unterkategorien zu finden.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal verbinden, dann fragen.

Klicken Sie auf den Link, um den MCP mit Ihrem Client zu verbinden. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort mit dem Crawlen beginnen.

Spider mit Ihrer KI verbinden

FAQ

Verhalten des Crawlers

  • 01

    Kann die KI externe Websites crawlen?

    Nein. Das Tool folgt nur den internen Links innerhalb der von Ihnen angegebenen Domain.

  • 02

    Wird die KI Änderungen an meiner Website vornehmen?

    Nein. Der Crawler liest nur Daten und folgt Links. Er kann keine Inhalte auf Ihrer Website bearbeiten oder löschen.

  • 03

    Wie tief geht der Crawl?

    Der Agent folgt allen gefundenen internen Links und bildet die gesamte erreichbare Domain ab.

  • 04

    Kann die KI neue Seiten auf meine Website hochladen?

    Nein. Dieser MCP dient zum Lesen und Kartieren von Inhalten, nicht zum Erstellen oder Veröffentlichen.

  • 05

    Speichert die KI meine Website-Daten?

    Die KI nutzt die Daten nur, um Ihre Fragen in der aktuellen Sitzung zu beantworten. Es erfolgt keine dauerhafte Speicherung Ihrer Website-Daten in einer Datenbank.

  • Weitere Fragen zu Spider? Alle Funktionen des Spider Connectors ansehen

Verbinde Spider mit Claude, Cursor, ChatGPT & mehr