• LOCAL
  • VECTOR
  • MODELS
  • HUMAN

Como rodar inferência de modelos locais com seu AI

Conecte seu agente ao Open WebUI para executar comandos e gerar embeddings na sua própria máquina. Com o link feito, sua IA processa tudo localmente.

Pergunte à IA sobre esta página

Resposta rápida

Como posso usar modelos locais do Ollama com minha IA?

Você pode acionar a inferência local dando ao seu agente de IA acesso ao Open WebUI. Ele utiliza sua configuração local do Ollama para gerar textos e criar embeddings. Assim, você tem controle total sobre quais modelos rodam no seu computador.

Onde suas solicitações são processadas.

Resultados da execução local.

Sua IA direciona as tarefas para o seu hardware local com base nos seus comandos.

LOCAL

Inferência no seu hardware

A IA usa seus modelos locais para responder perguntas ou escrever código. Isso mantém seus dados e o processamento na sua própria máquina.

VECTOR

Embeddings de dados

Seu agente cria representações matemáticas do seu texto. Isso permite buscas semânticas e recuperação de dados localmente.

MODELS

Gestão de modelos

A IA verifica quais modelos você tem instalados. Você consegue ver exatamente o que está disponível para rodar localmente.

HUMAN

Seleção manual de modelos

A IA não consegue instalar novos modelos para você. Você precisa baixar os modelos específicos que deseja usar via Ollama primeiro.

O fluxo

O que sua IA faz quando um comando chega.

O agente traduz sua linguagem natural em comandos locais específicos.

  1. Verificar disponibilidade

    O agente consulta sua biblioteca local para ver quais modelos estão prontos para uso. Isso evita que ele tente chamar um modelo que você ainda não baixou.

    list_models

  2. Gerar texto

    Seu agente envia seu comando para o modelo local selecionado. O modelo processa o pedido e retorna a resposta em texto.

    ollama_generate

  3. Criar embeddings

    O agente converte texto em vetores. Isso é útil se você quiser realizar RAG local ou pesquisar em seus documentos.

    ollama_embed

  4. Verificar tags

    O agente checa as tags específicas dos seus modelos para garantir a compatibilidade com a tarefa solicitada.

    ollama_tags

Teste

Copie estes comandos para começar.

Use estes prompts para iniciar tarefas locais.

Pontos de partida

Estes são exemplos iniciais. Altere os nomes dos modelos ou referências de arquivos para corresponder ao que você tem na sua máquina.

Open WebUI Connector

Tudo pronto. Escolha seu cliente MCP e siga as instruções de configuração.

Link do conectorhttps://edge.vinkius.com/vk_preview_YhwRL8adKsCUXpVOwybG0l7vG8Iky4FGyj9DhmOn/mcp

Claude Desktop

Siga os passos abaixo para conectar em segundos.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Open WebUI capabilities are ready to use.
Configuração · claude_desktop_config.jsonCopiar
{
  "mcpServers": {
    "open-webui-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_YhwRL8adKsCUXpVOwybG0l7vG8Iky4FGyj9DhmOn/mcp"
    }
  }
}
Copie no chat04

  • Liste meus modelos Ollama disponíveis para eu saber o que posso usar.

  • Use o modelo llama3 para resumir este texto do meu arquivo local.

  • Gere embeddings para o conteúdo da minha pasta de projeto.

  • Verifique quais tags estão disponíveis para o modelo mistral.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Comece aqui

Conecte o Open WebUI uma vez e comece a usar.

Você só precisa vincular sua instância do Open WebUI uma única vez. Suas credenciais ficam criptografadas e você pode começar a conversar com seus modelos locais imediatamente.

Conectar Open WebUI à sua IA

FAQ

Como esta tarefa funciona.

  • 01

    A IA pode baixar novos modelos para mim?

    Não. A IA só consegue visualizar e usar os modelos que você já baixou através do Ollama.

  • 02

    Meus dados saem do meu computador?

    Não. Como a inferência acontece através da sua instância local do Ollama, o processamento real permanece no seu hardware.

  • 03

    A IA pode deletar meus modelos locais?

    Não. As ferramentas permitem apenas listar, gerar e criar embeddings. A IA não tem capacidade de deletar ou modificar seus arquivos locais.

  • 04

    Como a IA sabe qual modelo usar?

    Ela utiliza a lista de modelos disponíveis para identificar qual deles corresponde ao seu pedido ou qual é o mais adequado para a tarefa.

  • 05

    Posso usar isso com qualquer LLM local?

    Funciona com qualquer modelo que seja compatível com o Ollama e esteja visível na sua configuração do Open WebUI.

  • Mais dúvidas sobre o Open WebUI? Veja tudo o que o conector Open WebUI pode fazer

Conecte Open WebUI ao Claude, Cursor, ChatGPT e outros