• INVENTAR
  • KAPAZITÄT
  • AUTOMATISIERUNG
  • MENSCH

Modell-Replikate mit Ihrer KI effizient skalieren

Verbinden Sie NVIDIA NIM einmal mit Ihrem KI-Client. Von dort aus verwaltet Ihr Agent das Verhältnis zwischen Ihrem Modell-Inventar und der Hardware-Kapazität.

Fragen Sie die KI zu dieser Seite

Kurzantwort

Wie kann ich Modell-Replikate mit meiner KI skalieren?

Ihre KI prüft Ihr aktuelles Modell-Inventar und nutzt die verfügbaren Tools, um die Anzahl der Replikate basierend auf Ihrem Kapazitätsbedarf anzupassen. So bleibt Ihre Hardware-Auslastung immer passend zu Ihren aktiven Modellen.

Skalierungs-Ergebnisse

Wo Kapazität auf Bedarf trifft

Was passiert, wenn Ihre KI Ihre Replikate verwaltet.

INVENTAR

Echtzeit-Modellzahlen

Die KI ruft Ihre aktuelle Modellliste ab, um genau zu sehen, was läuft. Sie erhalten eine präzise Übersicht Ihres aktiven Inventars.

KAPAZITÄT

Ausgewogene Hardware-Nutzung

Die KI passt die Replikate so an, dass Sie weder zu viel Kapazität vorhalten noch unterversorgt sind. Ihre Hardware passt sich Ihrer Last an.

AUTOMATISIERUNG

Skalierung ohne Aufwand

Sobald die Logik steht, übernimmt die KI die Berechnungen und die Ausführung. Sie müssen die Replikate nicht mehr manuell kalkulieren.

MENSCH

Manuelle Korrektur

Die KI übernimmt die Routineaufgaben, aber Sie behalten die volle Kontrolle. Sie entscheiden, wann Sie selbst eingreifen und Einstellungen ändern.

Der Ablauf

Was Ihre KI tut, wenn die Anfrage eingeht.

Die KI übernimmt die Arbeit bei der Inventarprüfung und den Skalierungsbefehlen.

  1. Inventar prüfen

    Die KI analysiert Ihr aktuelles Deployment, um zu sehen, welche Modelle aktiv sind und wie viele Replikate laufen.

    nim_list_models

  2. Bedarf berechnen

    Ihr Agent vergleicht die Liste der aktiven Modelle mit Ihren Kapazitätszielen, um die Differenz zu ermitteln.

    nim_list_models

  3. Replikate anpassen

    Die KI führt den Befehl aus, um die Anzahl der Replikate für bestimmte Modelle zu erhöhen oder zu verringern.

    nim_scale_replicas

  4. Status verifizieren

    Die KI prüft das Inventar erneut, um sicherzustellen, dass der Skalierungsbefehl erfolgreich abgeschlossen wurde.

    nim_list_models

Probieren Sie es

Kopieren Sie diese Befehle zum Start.

Nutzen Sie diese Prompts, um die Verwaltung Ihrer Replikate zu beginnen.

Startpunkte

Dies sind Beispiele. Passen Sie die Modellnamen oder Replikatzahlen an Ihr spezifisches Setup an.

NVIDIA NIM Connector

Alles bereit. Wählen Sie Ihren MCP-Client und folgen Sie den Einrichtungsschritten.

Connector-Linkhttps://edge.vinkius.com/vk_preview_70BV0qtRSn6oYi65LbVY4KDoGOvWiulNTIr6cS4G/mcp

Claude Desktop

Folgen Sie den Schritten unten, um sich in Sekunden zu verbinden.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — NVIDIA NIM capabilities are ready to use.
Konfiguration · claude_desktop_config.jsonKopieren
{
  "mcpServers": {
    "nvidia-nim-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_70BV0qtRSn6oYi65LbVY4KDoGOvWiulNTIr6cS4G/mcp"
    }
  }
}
In den Chat kopieren04

  • Liste alle meine aktuellen Modelle auf und sag mir, wie viele Replikate für jedes Modell laufen.

  • Skaliere das Llama-3-70b Modell auf 5 Replikate.

  • Prüfe mein Modell-Inventar und sag mir, ob ich genug Kapazität für ein neues Deployment habe.

  • Reduziere die Anzahl der Replikate für mein Mistral Modell auf 2.

  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Starten Sie hier

NVIDIA NIM einmal verbinden, dann fragen.

Verknüpfen Sie Ihr Konto einfach einmalig. Ihre Zugangsdaten bleiben verschlüsselt und Sie können sofort Befehle an Ihren KI-Client senden.

NVIDIA NIM mit Ihrer KI verbinden

FAQ

Verhalten dieser Aufgabe

  • 01

    Kann die KI meine Modelle löschen?

    Nein. Die KI kann lediglich die Anzahl der Replikate für bestehende Modelle anpassen.

  • 02

    Wird die KI meine Hardware-Konfiguration ändern?

    Nein. Die KI passt nur die Replikate der Modelle an, nicht die zugrunde liegenden Hardware-Einstellungen.

  • 03

    Benötigt die KI jedes Mal meine Login-Daten?

    Nein. Sie verbinden sich einmal, und die Verbindung bleibt über Vinkius aktiv.

  • 04

    Kann ich sehen, welche Modelle gerade laufen?

    Ja. Die KI kann eine vollständige Liste Ihrer aktiven Modelle und deren aktuelle Replikate abrufen.

  • 05

    Kann die KI Modelle skalieren, die ich noch nicht bereitgestellt habe?

    Nein. Die KI kann nur Modelle skalieren, die bereits in Ihrem aktiven Inventar vorhanden sind.

  • Weitere Fragen zu NVIDIA NIM? Die Connector-Seite liefert Antworten. Alle Funktionen des NVIDIA NIM Connectors ansehen

Verbinde NVIDIA NIM mit Claude, Cursor, ChatGPT & mehr