Açık ağırlıklı LLM'lerin belirli GPU'lara sığıp sığmayacağını belirler, donanım önerileri ve VRAM tahminleri sunar.
Ayrıca bilinen adı nodegrove/vram-mcp, vram-mcp, @nodegrove/vram-mcp
- Yıldızlar
- 0
- Araçlar
- 4
- İndirmeler, 30 gün
- —
- En son sürüm
- 1.1.5
- Son commit
- 3 Kas 2026
- Lisans
- MIT
Nodegrove VRAM MCP nedir?
Açık ağırlıklı LLM'lerin belirli GPU'lara sığıp sığmayacağını belirler, donanım önerileri ve VRAM tahminleri sunar. 4 araç sunar; örneğin can_i_run, what_fits, estimate_vram.
Özet, projenin README dosyasından oluşturuldu
Nodegrove VRAM MCP sunucusu hakkında
Nodegrove VRAM, belirli açık ağırlıklı büyük dil modellerinin kendi donanımlarında çalışıp çalışamayacağını belirlemek isteyen geliştiriciler ve yapay zeka meraklıları için tasarlanmış bir MCP server çözümüdür. Model ağırlıkları, KV cache ve overhead gereksinimlerinin toplamını hesaplayarak hassas VRAM tahminleri sağlar. Sunucu, doğruluğu sağlamak için benchmarklar veya tahminler yerine gerçek model yapılandırma dosyalarını ve donanım özelliklerini kullanır.
Kullanıcılar bu sunucuya uzak bir URL üzerinden bağlanabilir veya Node.js ve stdio kullanarak yerel olarak çalıştırabilirler. Claude, Cursor, VS Code ve LM Studio dahil olmak üzere çeşitli yapay zeka istemcileriyle uyumlu çalışır. Hizmeti kullanmak için hesap veya API anahtarı gerekmez. Sunucu, belirli bağlam uzunlukları için uyumluluğu kontrol etmek amacıyla can_i_run ve belirli bir GPU için en iyi modelleri bulmak için what_fits gibi özelleşmiş araçlar sunar. Ayrıca, herhangi bir Hugging Face deposunu doğrudan config.json dosyasını okuyarak analiz etmek için estimate_vram ve estimate_from_hf_repo özelliklerini içerir.
Neler yapabilirsiniz
- 1Model donanım uyumluluğunu kontrol edinLlama 3.3 70B gibi belirli bir modelin, belirlenen bir bağlam uzunluğuyla RTX 4090'a sığıp sığmayacağını belirleyin.
- 2Donanım için en uygun modelleri bulunBelirli bir ekran kartında çalışabilecek en büyük veya en yüksek performanslı modelleri tanımlayın.
- 3Belirli ayarlar için VRAM tahmini yapınBelirli bir kuantizasyon seviyesindeki bir model için ağırlık ve KV cache gereksinimlerinin dökümünü alın.
Projenin README dosyasından alınmıştır. Her kullanım durumu, oradaki bir alıntı ile kontrol edilir.
Nodegrove VRAM MCP nasıl yüklenir
Biçimler 10 Kas 2026 tarihinde doğrulandıCursor'a ekleGoose'a ekleNodegrove VRAM MCP'yi Claude Code içine yükleyin
$ claude mcp add vram-mcp -- npx -y @nodegrove/vram-mcpNodegrove VRAM MCP'yi Cursor içine yükleyin
~/.cursor/mcp.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Nodegrove VRAM MCP'yi VS Code içine yükleyin
.vscode/mcp.json
{
"servers": {
"vram-mcp": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Nodegrove VRAM MCP'yi VS Code CLI içine yükleyin
$ code --add-mcp '{"name":"vram-mcp","type":"stdio","command":"npx","args":["-y","@nodegrove/vram-mcp"]}'Nodegrove VRAM MCP'yi Claude Desktop içine yükleyin
claude_desktop_config.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Nodegrove VRAM MCP'yi Codex içine yükleyin
$ codex mcp add vram-mcp -- npx -y @nodegrove/vram-mcpNodegrove VRAM MCP'yi Codex config.toml içine yükleyin
~/.codex/config.toml
[mcp_servers.vram-mcp] command = "npx" args = ["-y", "@nodegrove/vram-mcp"]
Nodegrove VRAM MCP'yi Gemini CLI içine yükleyin
$ gemini mcp add -s user vram-mcp npx -- -y @nodegrove/vram-mcpNodegrove VRAM MCP'yi Gemini settings.json içine yükleyin
~/.gemini/settings.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Nodegrove VRAM MCP araçları 4
README dosyasından algılandıcan_i_runwhat_fitsestimate_vramestimate_from_hf_repo
| can_i_run | — | |
| what_fits | — | |
| estimate_vram | — | |
| estimate_from_hf_repo | — |
Otomatik kontroller
Çalıştırıldı 13 Kas 2026Tam rapor →Otomatik kontrollerimizden geçti. Bu bir güvenlik denetimi değildir: kodu okuyun ve sunucuya ihtiyaç duyduğu en dar erişimi verin. Kontroller nasıl çalışır
- Kaynak deposu bağlantılı ve erişilebilirnodegrove/vram-mcp is public and reachablegithub.com/nodegrove/vram-mcp ↗Geçti
- Paket, bu depoyu kaynağı olarak gösteriyor@nodegrove/vram-mcp names nodegrove/vram-mcp as sourcenpmjs.com/package/@nodegrove/vram-mcp ↗Geçti
- Derleme kökeni (Sigstore onayı)No build attestation published for this releaseKontrol edilmedi
- Açık kaynak lisansı (OSI)MITspdx.org/licenses/MIT.html ↗Geçti
- Son bir yıl içinde commit veya sürüm mevcutLast commit or release 2026-11-03github.com/nodegrove/vram-mcp ↗Geçti
- OpenSSF ScorecardKontrol edilmedi
- Paket adı popüler bir pakete yakın değilNo popular package one edit away from @nodegrove/vram-mcpGeçti
- Pakette veya bağımlılıklarında kritik uyarı yok4 resolved dependencies checked; no critical advisoryosv.dev ↗Geçti
- Modele yönelik gizli talimat yok4 tool descriptions and the README read; no override phrases, credential paths or hidden charactersGeçti
- Yıkıcı araçlar etiketlenmişNo tool named like delete, drop or execGeçti
- Uzak uç nokta MCP el sıkışmasına yanıt veriyorinitialize answered with protocol 2025-06-18 in 205 msGeçti
Can my RTX 4090 run Llama 3.3 70B?
No: Llama 3.3 70B at Q4_K_M with 8,192 tokens of context needs 45.8 GB, and the RTX 4090 holds 22.8 GB after headroom. Short by 23 GB. What would work instead:
- No context length helps: the weights alone are 43.1 GB before a single token of conversation.
- RTX 6000 Ada (48 GB) is within a whisker: 45.8 GB against 45.6 GB after headroom. With the KV cache at Q8 it needs 44.4 GB and fits.
- The smallest card here that runs it exactly as asked: A100, 80 GB usable.
- The biggest model your card does run at these settings, counting mixture-of-experts models at their dense equivalent: Gemma 4 31B, 20.9 GB at ~39 tokens/s.
That is the server's own answer, word for word, from the same code as the GPU compatibility checker on nodegrove.io. Every figure is a stated formula over the model's config.json and the card's published specs: no benchmarks, no guesses. It is free, read-only, and needs no account or key.
Connect
Remote: nothing to install
https://mcp.nodegrove.io/mcp
# Claude Code (add --scope user to have it in every project)
claude mcp add --transport http nodegrove-vram https://mcp.nodegrove.io/mcp
# Codex CLI
codex mcp add nodegrove-vram --url https://mcp.nodegrove.io/mcp
# Gemini CLI
gemini mcp add -s user --transport http nodegrove-vram https://mcp.nodegrove.io/mcp
- Claude (claude.ai and the desktop app): Customize → Connectors → Add → Add custom connector. Name it
Nodegrove VRAM, paste the URL, choose No sign-in, then turn it on in a chat from + → Connectors. - ChatGPT: Settings → Security and login → turn on Developer mode. At chatgpt.com/plugins, add the URL with No Authentication, then pick it in a chat from + → Developer mode.
Most other clients take this in their mcp.json. Cline, Zed, Open WebUI, Devin Desktop and the rest are covered step by step at nodegrove.io/mcp.
{ "mcpServers": { "nodegrove-vram": { "url": "https://mcp.nodegrove.io/mcp" } } }
Local: over stdio
Needs Node.js 20 or newer:
{
"mcpServers": {
"nodegrove-vram": {
"command": "npx",
"args": ["-y", "@nodegrove/vram-mcp"]
}
}
}
Tools
| Tool | Ask it | It answers with |
|---|---|---|
can_i_run |
Can my RTX 4090 run Llama 3.3 70B with 32k of context? | Fits, tight or no; the memory split; a speed ceiling; the longest context that fits; and on a no, every change that would make it fit |
what_fits |
What is the best model for my 16 GB card? | Every model checked on one card, with a recommended everyday pick, the largest that fits, the best at Q8 and the first out of reach |
estimate_vram |
How much VRAM does Qwen3 32B need at 64k? | Weights, KV cache and overhead at each quantisation, and the smallest common card that holds each |
estimate_from_hf_repo |
How much memory does Qwen/Qwen3-Next-80B-A3B-Instruct need? |
Any Hugging Face repo, read from its config.json: the attention layout, the cost of each 1,000 tokens of context, and memory at every quantisation |
list_models, list_gpus |
Which GPUs do you know? | The models and cards with their specs, ids and pages |
Models can be named the way people type them ("llama 3.3 70b", Llama-3.3-70B-Instruct) or given as any Hugging Face repo id. Cards can be named ("4090", "M4 Max") or described by their memory and bandwidth. Every answer carries the numbers as fields, links to the model and card pages on nodegrove.io, and the assumptions behind each figure. All six tools are read-only.
How the numbers are made
- Memory is weights + KV cache + overhead. Weights are parameters × bytes per parameter at the quantisation: FP16 2.00, Q8_0 1.06, Q6_K 0.82, Q5_K_M 0.71, Q4_K_M 0.58, Q3_K_M 0.47. Overhead is 0.5 GB plus 4% of the weights.
- The KV cache is counted the way each model caches. Sliding-window layers stop at their window, hybrid models (linear attention or Mamba) grow a cache only on their few full-attention layers, and latent attention stores one compressed vector per layer. A standard-transformer formula would overstate these models several times over at long context.
- Fit means at most 95% of the memory a runtime can address; above 85% it is tight. Apple silicon gives the GPU about 75% of unified memory.
- Speed is 0.7 × memory bandwidth ÷ bytes of active weights read per token. It is a single-stream ceiling, not a measurement, and the faster the figure, the further real runtimes fall below it.
- The model table was read from each model's
config.jsonand checked against Hugging Face. Any other repo is read live by the same rules, which reproduce every row of the table; anything the reader cannot model is named in the answer, never guessed.
The full method, with every constant, is at nodegrove.io/data. The same figures are an open dataset under CC BY 4.0, DOI 10.5281/zenodo.22966137.
The math as a library
The server is a thin layer over @nodegrove/llm-math, the package nodegrove.io's pages and calculators are built on:
npm install @nodegrove/llm-math
import { modelById, estimate } from '@nodegrove/llm-math';
estimate({ ...modelById('llama-3.3-70b')!, quant: 'q4', context: 8192 }).totalGb; // 45.77
Privacy
The remote server runs on Cloudflare Workers. Nodegrove keeps no request logs and no record of what you ask: each request is answered by a fresh, stateless instance and forgotten. Cloudflare keeps standard edge logs for a short period, as for any website. Requests are rate-limited to 120 a minute per address. When you ask about a Hugging Face repo, the server fetches that repo's public config.json and metadata; only the repo name is sent. The local version contacts nothing but huggingface.co, and only when you ask about a repo there. Details: nodegrove.io/privacy.
Run your own
The remote endpoint is mcp/src/worker.ts. To deploy a copy to your Cloudflare account, change the route in mcp/wrangler.jsonc, then:
cd mcp && npm install && npx wrangler deploy
Development
cd llm-math && npm install && npm test
cd mcp && npm install && npm test && npm run build
llm-math/ is the package of formulas and data; mcp/ is the server, with the stdio entry (src/stdio.ts), the Worker (src/worker.ts) and the tools (src/tools.ts). This repository is published from Nodegrove's main repository, where the site uses the same package. Issues and pull requests are welcome here; accepted changes are applied upstream and credited.
Found a figure that disagrees with its source? Open an issue with the model or card and the link. To report a security problem, see SECURITY.md.
Licence
The code is MIT. The model and GPU data, llm-math/src/models.ts and llm-math/src/gpus.ts, is CC BY 4.0: use it for anything, and credit Nodegrove (nodegrove.io).
Model and GPU names are trademarks of their owners.
Nodegrove VRAM MCP soruları
Nodegrove VRAM MCP'yi Claude Code'a nasıl eklerim?
Terminalinizde claude mcp add vram-mcp -- npx -y @nodegrove/vram-mcp komutunu çalıştırın. Her projede kullanılabilir olması için --scope user ekleyin.
Nodegrove VRAM MCP'yi Cursor'a nasıl eklerim?
~/.cursor/mcp.json dosyasını açın ve yukarıdaki yükleme bölümünde gösterilen Cursor yapılandırmasını kullanarak sunucuyu mcpServers altına ekleyin.
Nodegrove VRAM MCP hangi araçları sunar?
4 araç sunar; bunlar arasında can_i_run, what_fits, estimate_vram, estimate_from_hf_repo yer alır.
Sunucu VRAM gereksinimlerini nasıl hesaplıyor?
Belleği; model ağırlıkları, KV cache ve overhead toplamı olarak hesaplar ve sliding-window veya hybrid modeller gibi farklı model mimarileri için özel formüller kullanır.
Sunucuyu kullanmak ücretsiz mi?
Evet, sunucu ücretsizdir, salt okunurdur ve bir hesap veya API anahtarı gerektirmez.