• LOKAL
  • SICHER
  • BEREIT
  • MENSCHLICH

Lokale RAG-Pipelines mit Ihrer KI erstellen

Verbinden Sie Ollama mit Ihrem Agenten, um Daten lokal zu verarbeiten. Sobald die Verbindung steht, wandelt Ihre KI Text in durchsuchbare Vektoren um, ohne eine Cloud-API zu nutzen.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie erstelle ich eine lokale RAG-Pipeline mit meiner KI?

Sie nutzen Ihren Agenten, um lokale Texte mithilfe von Ollama in Vektor-Embeddings umzuwandeln. Die gesamte Rechenlast bleibt auf Ihrer Hardware, sodass sensible Dokumente Ihr lokales System nie verlassen. Den Prozess der Embedding-Erstellung sehen Sie weiter unten.

Die Ergebnisse.

Wohin Ihre Daten fließen.

Das Resultat dieser Aufgabe.

LOKAL

Privater Vektorspeicher

Ihr Agent erstellt mathematische Repräsentationen Ihrer Dateien. Diese bleiben auf Ihrem Rechner für eine private semantische Suche.

SICHER

Keine Cloud-Exposition

Der Embedding-Prozess läuft vollständig über Ihre lokale Hardware. Es werden keine Daten zur Verarbeitung an externe Anbieter gesendet.

BEREIT

Durchsuchbares Wissen

Ihr Agent wandelt Rohtext in ein strukturiertes Format um. Das ermöglicht den sofortigen Abruf relevanter Kontexte während des Chats.

MENSCHLICH

Manuelle Prüfung nötig

Sie entscheiden, welche Dokumente indiziert werden sollen. Die KI entscheidet nicht eigenständig über die Wichtigkeit ohne Ihre Anweisung.

Der Ablauf

Was Ihre KI tut, sobald die Daten vorliegen.

Der Agent übernimmt die mathematische Umwandlung Ihres Textes.

  1. Lokale Dateien lesen

    Ihr Agent greift auf die Textdateien oder Dokumente zu, die Sie ihm vorgeben.

    generate_embeddings

  2. Vektoren generieren

    Der Agent wandelt Textabschnitte mithilfe Ihrer lokalen Engine in numerische Vektoren um.

    generate_embeddings

  3. Alternative Embeddings

    Wenn Sie für bestimmte Aufgaben eine Cloud-Lösung bevorzugen, kann der Agent auch einen externen Anbieter nutzen.

    openai_embeddings

  4. Für die Suche indizieren

    Der Agent bereitet die Vektoren so vor, dass sie für die semantische Suche in zukünftigen Prompts genutzt werden können.

    generate_embeddings

Probieren Sie es

Kopieren Sie diese zum Start.

Nutzen Sie diese Prompts, um den Embedding-Prozess zu starten.

Startpunkte

Dies sind Vorlagen. Ersetzen Sie den Text in den Klammern durch Ihre spezifischen Dateipfade oder Ordnernamen.

Ollama Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_hYpu67YLXAzJ2w17TRhdjXKZcyynLB0AY9L4fYBJ/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Ollama capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "ollama-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_hYpu67YLXAzJ2w17TRhdjXKZcyynLB0AY9L4fYBJ/mcp"
    }
  }
}
In den Chat kopieren04

  • Erzeuge Embeddings für den Text in ./docs/project_notes.txt

  • Erstelle Vektor-Embeddings für alle Dateien in meinem Ordner /legal/contracts

  • Nutze lokale Embeddings, um den Inhalt meiner README.md zu indizieren

  • Wandle den Text in diesem PDF in Embeddings um, damit ich Fragen dazu stellen kann

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Ollama einmal verbinden, dann fragen.

Verknüpfen Sie den MCP einfach mit Ihrem Client. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort mit dem Embedding von Dateien beginnen.

Ollama mit Ihrer KI verbinden

FAQ

So funktioniert diese Aufgabe.

  • 01

    Gehen meine Daten in die Cloud, wenn ich lokale Embeddings nutze?

    Nein. Bei der Nutzung des lokalen Embedding-Tools findet die gesamte Verarbeitung auf Ihrer eigenen Hardware statt.

  • 02

    Kann die KI meine Originaldateien löschen?

    Nein. Der Agent liest die Dateien nur, um Embeddings zu erstellen. Er kann Ihre Quelldokumente weder löschen noch verändern.

  • 03

    Kann ich OpenAI-Embeddings statt lokaler Embeddings nutzen?

    Ja. Sie können zwischen der lokalen Erstellung oder der Nutzung eines externen Anbieters wählen.

  • 04

    Wird automatisch meine gesamte Festplatte indiziert?

    Nein. Die KI verarbeitet nur die spezifischen Dateien oder Ordner, die Sie explizit zum Einbetten anweisen.

  • 05

    Muss ich die Vektordatenbank selbst verwalten?

    Der Agent übernimmt die Erstellung der Vektoren, aber Sie verwalten die Dateien, die verarbeitet werden.

  • Weitere Fragen zu Ollama? Alle Funktionen des Ollama Connectors sehen

Verbinde Ollama mit Claude, Cursor, ChatGPT & mehr