• LOKAL
  • VEKTOR
  • MODELLE
  • MENSCH

Lokale Modell-Inferenz mit deiner KI steuern

Verbinde deinen Agenten mit Open WebUI, um Prompts auszuführen und Embeddings auf deinem eigenen Rechner zu generieren. Sobald die Verbindung steht, übernimmt deine KI die gesamte Rechenarbeit lokal.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich lokale Ollama-Modelle mit meiner KI nutzen?

Du kannst lokale Inferenz starten, indem du deinem KI-Agenten Zugriff auf Open WebUI gibst. Er nutzt dein lokales Ollama-Setup, um Texte zu generieren und Embeddings zu erstellen. So behältst du die volle Kontrolle darüber, welche Modelle auf deinem Rechner laufen.

Wohin deine Anfragen geleitet werden.

Ergebnisse der lokalen Ausführung.

Deine KI leitet Aufgaben basierend auf deinen Prompts an deine lokale Hardware weiter.

LOKAL

Inferenz auf deiner Hardware

Die KI nutzt deine lokalen Modelle, um Fragen zu beantworten oder Code zu schreiben. Deine Daten und die gesamte Verarbeitung bleiben auf deinem eigenen Gerät.

VEKTOR

Daten-Embeddings

Dein Agent erstellt mathematische Repräsentationen deiner Texte. Das ermöglicht eine lokale semantische Suche und Datenabfrage.

MODELLE

Modellverwaltung

Die KI prüft, welche Modelle du installiert hast. Du siehst genau, was lokal zur Ausführung bereitsteht.

MENSCH

Manuelle Modellauswahl

Die KI kann keine neuen Modelle für dich installieren. Du musst die gewünschten Modelle vorab selbst über Ollama herunterladen.

Der Ablauf

Was deine KI tut, wenn ein Prompt eingeht.

Der Agent übersetzt deine natürliche Sprache in spezifische lokale Befehle.

  1. Verfügbarkeit prüfen

    Der Agent prüft deine lokale Bibliothek, um zu sehen, welche Modelle einsatzbereit sind. So wird verhindert, dass er versucht, ein nicht heruntergeladenes Modell aufzurufen.

    list_models

  2. Text generieren

    Dein Agent sendet deinen Prompt an das ausgewählte lokale Modell. Das Modell verarbeitet die Anfrage und liefert die Textantwort zurück.

    ollama_generate

  3. Embeddings erstellen

    Der Agent wandelt Text in Vektoren um. Das ist nützlich, wenn du lokales RAG nutzen oder deine Dokumente durchsuchen möchtest.

    ollama_embed

  4. Tags verifizieren

    Der Agent prüft die spezifischen Tags deiner Modelle, um die Kompatibilität mit der angeforderten Aufgabe sicherzustellen.

    ollama_tags

Probieren Sie es

Kopiere diese Beispiele zum Starten.

Nutze diese Prompts, um lokale Aufgaben zu initiieren.

Startpunkte

Dies sind erste Ansätze. Passe die Modellnamen oder Dateireferenzen einfach an die Modelle an, die du auf deinem Rechner hast.

Open WebUI Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_YhwRL8adKsCUXpVOwybG0l7vG8Iky4FGyj9DhmOn/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — Open WebUI capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "open-webui-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_YhwRL8adKsCUXpVOwybG0l7vG8Iky4FGyj9DhmOn/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste meine verfügbaren Ollama-Modelle auf, damit ich weiß, was ich nutzen kann.

  • Nutze das llama3 Modell, um diesen Text aus meiner lokalen Datei zusammenzufassen.

  • Erstelle Embeddings für den Inhalt meines Projektordners.

  • Prüfe, welche Tags für das mistral Modell verfügbar sind.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

Einmal mit Open WebUI verbinden, dann fragen.

Du musst deine Open WebUI Instanz nur einmal verknüpfen. Deine Zugangsdaten bleiben verschlüsselt, und du kannst sofort mit deinen lokalen Modellen kommunizieren.

Open WebUI mit deiner KI verbinden

FAQ

Verhalten der Aufgaben.

  • 01

    Kann die KI neue Modelle für mich herunterladen?

    Nein. Die KI kann nur Modelle sehen und nutzen, die du bereits über Ollama heruntergeladen hast.

  • 02

    Verlassen meine Daten meinen Computer?

    Nein. Da die Inferenz über deine lokale Ollama-Instanz läuft, findet die eigentliche Verarbeitung auf deiner eigenen Hardware statt.

  • 03

    Kann die KI meine lokalen Modelle löschen?

    Nein. Die Tools erlauben der KI lediglich das Auflisten, Generieren und Erstellen von Embeddings. Sie kann keine lokalen Dateien löschen oder verändern.

  • 04

    Wie weiß die KI, welches Modell sie nutzen soll?

    Sie nutzt die Liste der verfügbaren Modelle, um dasjenige zu identifizieren, das am besten zu deiner Anfrage oder der Aufgabe passt.

  • 05

    Kann ich das mit jedem lokalen LLM nutzen?

    Es funktioniert mit jedem Modell, das mit Ollama kompatibel ist und über dein Open WebUI Setup erreichbar ist.

  • Weitere Fragen zu Open WebUI? Alle Funktionen des Open WebUI Connectors ansehen

Verbinde Open WebUI mit Claude, Cursor, ChatGPT & mehr