- MAPA
- DATOS
- AUDITORÍA
- HUMANO
Respuesta rápida
¿Cómo puedo hacer que mi IA rastree un sitio web completo?
Usa el conector Spider para que tu agente siga los enlaces internos desde una URL inicial. Esto genera un mapa completo del contenido y la estructura del sitio. Verás los mapas y el desglose de datos resultantes a continuación.
Los resultados que obtienes
Dónde se depositan los datos
El agente procesa el dominio y organiza los hallazgos en estos resultados específicos.
MAPA
Mapas de estructura
El agente sigue cada enlace para construir un mapa estructural del dominio. Obtendrás una visión clara de cómo se conectan las páginas.
DATOS
Contenido extraído
El agente extrae el texto de cada página descubierta. Esta información se integra directamente en el contexto de tu chat.
AUDITORÍA
Análisis de brechas
Al analizar el sitio completo, tu agente identifica información faltante y señala dónde el contenido es insuficiente.
HUMANO
Revisión manual
El agente marca páginas específicas que requieren tu atención. Tú decides qué contenido necesita un toque humano.
El flujo
Lo que hace tu IA al recibir la URL.
El agente se encarga de la navegación y la recopilación de datos en todo el dominio.
Descubrimiento
El agente comienza en la URL que proporciones y encuentra todos los enlaces internos de la página.
spider_crawlRecorrido
Se desplaza por el sitio siguiendo esos enlaces, alcanzando cada subpágina del dominio.
spider_crawlMapeo
El agente construye un mapa lógico de la jerarquía y la estructura de enlaces del sitio.
spider_crawlResumen
El agente compila los datos recopilados en un formato que puedes usar en el chat.
spider_crawl
Pruébalo
Copia estos ejemplos para empezar.
Usa estos prompts para iniciar un rastreo de inmediato.
Puntos de partida
Cambia las direcciones web por las que quieras analizar.
Spider Connector
Todo listo. Elige tu cliente MCP y sigue las instrucciones de configuración.
https://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcp
Claude Desktop
Sigue los pasos siguientes para conectarte en segundos.
- 1In Claude Desktop, open Settings → Connectors.
- 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
- 3Click Add and start a new chat — Spider capabilities are ready to use.
{
"mcpServers": {
"spider-mcp": {
"url": "https://edge.vinkius.com/vk_preview_HkRQy811uAcIjdwDKzB8QPk0TYPSWj05dtnMKf3x/mcp"
}
}
}Rastrea https://example.com y dame una lista de todas las secciones principales.
Mapea la estructura completa de https://docs.example.com para que pueda ver la jerarquía.
Sigue todos los enlaces internos de https://blog.example.com y resume los temas tratados.
Rastrea https://shop.example.com para encontrar todas las categorías y subcategorías de productos.
- Claude
ChatGPT
Cursor
VS Code
Windsurf- Claude Code
JetBrains
Cline
Empieza aquí
Conecta Spider una vez y luego pregunta.
Haz clic en el enlace para conectar el MCP a tu cliente. Tus credenciales permanecen cifradas y puedes empezar a rastrear de inmediato.
Conectar Spider a tu IAFAQ
Cómo se comporta el rastreador
- 01
¿Puede la IA rastrear sitios web externos?
No. La herramienta solo sigue enlaces internos dentro del dominio que proporciones.
- 02
¿Cambiará la IA algo en mi sitio web?
No. El rastreador solo lee y sigue enlaces. No puede editar ni eliminar ningún contenido de tu sitio.
- 03
¿Qué tan profundo llega el rastreo?
El agente sigue todos los enlaces internos que encuentra, mapeando todo el dominio accesible.
- 04
¿Puede la IA subir páginas nuevas a mi sitio?
No. Este MCP es para leer y mapear contenido, no para crearlo o publicarlo.
- 05
¿Guarda la IA los datos de mi sitio?
La IA usa los datos para responder a tus preguntas en la sesión actual. No guarda los datos de tu sitio en una base de datos permanente.
¿Tienes más dudas sobre Spider? Ver todo lo que puede hacer el conector Spider
Conecta Spider a Claude, Cursor, ChatGPT y más