An astronaut overseeing a futuristic data hub
Télécharger le PDFVersion Markdown

Connectez GPU Inference Memory Calculator à votre IA

Configurez-le une fois et il fonctionne avec ChatGPT, Claude, Cursor et n'importe quel autre client que vous aimez. Tout s'exécute en toute sécurité en arrière-plan, pour que vous puissiez vous détendre et vous concentrer sur l'essentiel. Optimisez l'utilisation de votre matériel pour vos modèles LLM.

Demandez à l'IA à propos de ce Connector

Développé, maintenu et hébergé par Vinkius.

MCP VÉRIFIÉ · PRÊT POUR LA PRODUCTION · GARANTIE VINKIUS

Waiting for input…

Works with modern AI clients that support MCP, including ChatGPT, Claude, Cursor, and more.

ChatGPTClaudeCursorPerplexityGeminiMicrosoft CopilotRaycastMeta AI

Votre IA fait le travail. Nous veillons dessus, en toute sécurité.

Aucun autre outil d'IA ne vous offre ça. Votre workflow s'exécute dans le client que vous aimez déjà, votre compte reste protégé, et vous décidez ce que l'agent peut ou ne peut pas faire. C'est la vraie raison de faire le pas.

Chaque Connector vit dans notre infrastructure, là où votre workflow s'exécute. Les trois choses ci-dessous en font déjà partie et travaillent discrètement en arrière-plan pour que vous n'ayez jamais à y penser. Rien à ajouter, rien à configurer, aucune inquiétude à avoir.

A futuristic MCP client docking bay
V8 Isolate01

Chaque Connector s'exécute dans son propre environnement scellé.

Chaque Connector s'exécute dans son propre runtime V8 scellé, sans accès à vos fichiers, à votre système ni aux autres serveurs. Un Connector ne voit jamais au-delà de sa propre requête.

Kill Switch02

Un seul interrupteur arrête tous les agents. Immédiatement.

Une seule action désactive tous les Connectors, révoque tous les tokens et termine toutes les sessions d'un coup. La Gouvernance de l'IA conserve le registre.

FinOps par utilisateur03

Des limites de dépense qui s'interrompent au lieu de surprendre.

Chaque utilisateur garde ses propres connexions et identifiants, isolés de ceux des autres. Ce qui dépasserait votre limite de dépense est stoppé et mis en attente de votre approbation, pas facturé.

Trois contrôles, intégrés à la couche par laquelle votre IA se connecte.

Sélection · 4 capacités

Nous ne livrons que les actions qui comptent.

Ensemble de capacités01 / 01

01-04

4 capacités dans cet ensemble.

Sur 4 disponibles via GPU Inference Memory Calculator.

  1. 01

    Estimer la VRAM totale

    Calcule la quantité totale de VRAM nécessaire pour exécuter une taille de batch spécifique.

  2. 02

    Calculer la capacité de batch maximale

    Détermine la taille de batch la plus élevée possible pour respecter la limite de mémoire de votre GPU.

  3. 03

    Calculer le cache KV par requête

    Évalue l'empreinte mémoire du cache Key-Value pour une seule requête d'inférence.

  4. 04

    Calculer la taille des poids du modèle

    Calcule la VRAM requise uniquement pour charger les paramètres du modèle selon la précision choisie (FP32, FP16, BF16, INT8, INT4).

Travail réel

Ce que les équipes font tourner

01

Hardware Budgeting

Determine if a single A100 or H100 can handle your target model and batch size.

02

Quantization Testing

Compare the memory savings when switching from FP16 to INT4 weights.

03

Scaling Inference

Calculate how many users can be served simultaneously on a specific GPU setup.

04

Architecture Analysis

Estimate how context length increases will impact your total VRAM usage.

Un connector, toutes les IAs

GPU Inference Memory Calculator fonctionne avec les clients IA les plus populaires.

Voici les clients les plus populaires, chacun avec un guide pas à pas : un lien, configuré une fois, avec gouvernance et visibilité intégrées. Et comme tout tourne sur le standard MCP, la même connexion fonctionne aussi dans tout autre client compatible : rien à reconstruire.

ClaudeClaudeChatGPTChatGPTGeminiGeminiPerplexityPerplexityGrokGrokMicrosoft CopilotMicrosoft CopilotCursorCursorVS CodeVS CodeWindsurfWindsurfJetBrainsJetBrainsClineClineLangChainLangChainVercel AI SDKVercel AI SDKLovableLovableZ.aiZ.aiRaycastRaycastQwen CodeQwen CodeKimi CodeKimi CodeLe ChatLe Chat

Vous construisez votre propre app ? Le connector est à vous.

Vous n'avez pas besoin d'un client pour mettre GPU Inference Memory Calculator au travail : la même connexion hébergée se branche sur vos propres applications et le code de votre agent, avec la même gouvernance à chaque requête. Construisez avec lui, discutez avec lui : une connexion pour les deux.

Observée, pas estimée

Moyenne de 708 ms. Rapide en production.

GPU Inference Memory Calculator est vérifié quotidiennement contre le service en production.

Moyenne quotidiennePic à 884 ms
3 oct.Aujourd'hui
Jour le plus rapide
559ms
Jour le plus lent
884ms
Tendance sur 14 jours
En ralentissement+7%

Connectez votre client

Une URL. Tous les clients.

Activez le Connector, copiez votre lien et collez-le dans le client que vous utilisez déjà. 4 capacités arrivent prêtes à l'emploi.

Accès aperçu · pas d’authentification du fournisseur

Le jeton vk_preview_* appartient à l’infrastructure d’aperçu de Vinkius. Il permet à Claude de découvrir et d’afficher les capacités de GPU Inference Memory Calculator, pour que vous voyiez l’expérience dans votre IA.

Il n’authentifie pas votre compte auprès de GPU Inference Memory Calculator. Les actions nécessitant des identifiants ou des données de compte réelles peuvent ne pas s’exécuter tant que vous n’avez pas activé le Connector et autorisé le service.

GPU Inference Memory Calculator Connector

Tout est prêt. Choisissez votre client MCP et suivez les instructions de configuration.

Lien du connecteurhttps://edge.vinkius.com/vk_preview_Po32HLoFfJyACkPs6caCBt7wRipx1gN5av2RafWO/mcp

Claude Desktop

Suivez les étapes ci-dessous pour vous connecter en quelques secondes.

  1. 1In Claude Desktop, open Settings → Connectors.
  2. 2Click “Add custom connector” and paste the connector link above as the remote MCP server URL.
  3. 3Click Add and start a new chat — GPU Inference Memory Calculator capabilities are ready to use.
Configuration · claude_desktop_config.jsonCopier
{
  "mcpServers": {
    "gpu-inference-memory-calculator-mcp": {
      "url": "https://edge.vinkius.com/vk_preview_Po32HLoFfJyACkPs6caCBt7wRipx1gN5av2RafWO/mcp"
    }
  }
}
  • Claude
  • ChatGPT
  • Cursor
  • VS Code
  • Windsurf
  • Claude Code
  • JetBrains
  • Cline

Les instructions pas à pas pour chaque client sont dans le guide. Comment connecter

Configuration guidée pour Claude ? Configurer GPU Inference Memory Calculator avec Claude et les autres IA

Voyez tous les clients IA avec lesquels ce connector fonctionne ↑

Pour qui

Conçu pour le travail que les utilisateurs de GPU Inference Memory Calculator délèguent.

Cet outil s'adresse aux professionnels de l'IA qui doivent dimensionner leurs infrastructures de calcul.

  • 01

    Ingénieur Machine Learning

    Pour planifier le déploiement de modèles sur des serveurs spécifiques.

  • 02

    Architecte Infrastructure Cloud

    Pour optimiser les coûts et choisir les instances GPU adaptées aux charges de travail LLM.

  • 03

    Data Scientist

    Pour tester la faisabilité de l'exécution de modèles volumineux sur du matériel local.

FAQ

Les questions des utilisateurs de GPU Inference Memory Calculator.

  • 01

    What precisions does this MCP support?

    It supports FP32, FP16, BF16, INT8, and INT4 for weight size calculations.

  • 02

    How does it calculate KV cache size?

    It uses model architecture details like the number of layers, number of heads, head dimension, and context length.

  • 03

    Can I use this to prevent OOM errors?

    Yes, you can use the batch capacity capability to find the maximum number of requests that fit within your specific VRAM limit.

  • 04

    Does it account for both weights and cache?

    Yes, the total VRAM estimation capability combines model weight memory and KV cache overhead.

  • 05

    Which AI clients can use this MCP?

    You can connect it to any MCP-compatible client like Claude, Cursor, or Windsurf.

  • 06

    What precision modes are supported?

    The calculator supports FP32, FP16, BF16, INT8, and INT4 precision modes.

  • 07

    How do I calculate the total VRAM for a batch?

    You can use the estimate_total_vram capability by providing the pre-calculated weight memory, KV cache size per request, and your desired batch size.

  • 08

    Can I determine the maximum number of concurrent requests for my GPU?

    Yes, use calculate_max_batch_capacity by providing your total VRAM budget, model weight memory, and KV cache size per request.

Explorer

Plus dans LLM Inference

Suggestions

Connectez GPU Inference Memory Calculator à Claude, Cursor, ChatGPT et d'autres