• DADOS LIMPOS
  • ESTRUTURADO
  • EM LOTE
  • HUMANO

Como fazer scraping de sites para RAG com sua IA

Conecte o Olostep ao seu cliente de IA para extrair dados da web diretamente para o seu contexto local. Após a conexão, seu agente cuida da extração e da formatação.

Pergunte à IA sobre esta página

Resposta rápida

Como posso extrair dados de sites para a base de conhecimento da minha IA?

Use o Olostep para converter URLs em Markdown ou JSON estruturado. Sua IA pode processar esses dados limpos para melhorar o desempenho do RAG. Você receberá arquivos prontos para seu banco de dados vetorial local.

Formatos de dados

Onde seus dados chegam.

O processo de extração transforma o HTML bagunçado em formatos úteis para seu agente.

DADOS LIMPOS

Arquivos Markdown

A IA converte o conteúdo do site em Markdown. Isso facilita a leitura e a indexação do texto pelo seu agente.

ESTRUTURADO

Objetos JSON

Receba dados em formato JSON para uso programático. Ideal para mapear campos específicos em um banco de dados.

EM LOTE

Processamento em massa

Execute várias URLs de uma vez. Seu agente gerencia a fila e entrega os resultados de uma só vez.

HUMANO

Revisão manual

Você decide quais arquivos manter. A IA extrai os dados, mas você controla o que entra na sua base de conhecimento.

O fluxo

O que sua IA faz quando recebe a URL.

A IA transforma um link bruto em uma fonte de conhecimento estruturada em três etapas.

  1. Buscar a página

    O agente acessa a URL fornecida para extrair o conteúdo HTML bruto.

    scrape_url

  2. Organizar a tarefa

    Se você tiver muitos sites para rastrear, o agente os agrupa em um único trabalho.

    create_batch

  3. Recuperar o conteúdo

    O agente entrega os arquivos Markdown ou JSON finalizados após o término do scraping.

    get_batch_results

  4. Formatar para RAG

    O agente limpa o texto para garantir que ele esteja pronto para seu banco de dados vetorial local.

    get_batch_results

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar o processo de scraping imediatamente.

Pontos de partida

Substitua o texto entre colchetes pelas suas URLs ou preferências de arquivo.

Olostep Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Olostep capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "olostep-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_seIYmeX5wOsif72vmko8hRP1y8NfQ4pfMrD0gu0x/mcp"
    }
  }
}
Copie no chat04

  • Faça o scraping desta URL e me entregue em Markdown: [URL]

  • Crie um lote para estes três sites: [URL 1, URL 2, URL 3]

  • Converta o conteúdo de [URL] em um objeto JSON limpo para meu pipeline de RAG.

  • Verifique os resultados do meu último lote de scraping e resuma os pontos principais.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Olostep uma vez e comece a usar.

Clique no link para conectar o MCP ao seu cliente. Suas credenciais ficam criptografadas e você pode começar o scraping na hora.

Conectar Olostep à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA consegue fazer scraping de sites que exigem login?

    Não. O scraper acessa apenas páginas da web públicas.

  • 02

    A IA atualizará meu banco de dados vetorial automaticamente?

    Não. A IA fornece o Markdown ou JSON limpo, mas você deve fazer o upload desses arquivos para seu banco de dados.

  • 03

    Posso fazer o scraping de um site inteiro de uma vez?

    Você pode criar um lote de URLs específicas, mas a ferramenta não realiza o rastreamento recursivo de um domínio inteiro.

  • 04

    Em qual formato os dados serão entregues?

    O agente pode entregar os dados tanto em Markdown limpo quanto em JSON estruturado.

  • 05

    A IA armazena os sites que ela rastreia?

    Não. A IA apenas processa os dados para atender ao seu pedido; ela não mantém um armazenamento permanente dos sites extraídos.

  • Mais dúvidas sobre o Olostep? A página do Conector responde. Veja tudo o que o Olostep Connector pode fazer

Conecte Olostep ao Claude, Cursor, ChatGPT e outros