오픈 웨이트 LLM이 특정 GPU에서 구동 가능한지 확인하고, 하드웨어 권장 사양 및 VRAM 추정치를 제공합니다.
다른 이름 nodegrove/vram-mcp, vram-mcp, @nodegrove/vram-mcp
- 스타
- 0
- Tools
- 4
- 다운로드, 30일
- —
- 최신 버전
- 1.1.5
- 마지막 커밋
- 2026년 11월 3일
- 라이선스
- MIT
Nodegrove VRAM MCP란?
오픈 웨이트 LLM이 특정 GPU에서 구동 가능한지 확인하고, 하드웨어 권장 사양 및 VRAM 추정치를 제공합니다. 4개 도구를 제공합니다. 예: can_i_run, what_fits, estimate_vram.
프로젝트 README에서 생성된 요약
Nodegrove VRAM MCP server 정보
Nodegrove VRAM은 특정 오픈 웨이트 대규모 언어 모델을 보유한 하드웨어에서 실행할 수 있는지 확인하려는 개발자와 AI 애호가를 위해 설계된 MCP server입니다. 모델 가중치, KV cache, 오버헤드의 결합된 요구 사항을 계산하여 정밀한 VRAM 추정치를 제공합니다. 이 서버는 정확성을 보장하기 위해 벤치마크나 추측 대신 실제 모델 설정 파일과 하드웨어 사양을 사용합니다.
사용자는 호스팅된 URL을 통해 원격으로 이 서버에 연결하거나 Node.js 및 stdio를 사용하여 로컬에서 실행할 수 있습니다. Claude, Cursor, VS Code, LM Studio를 포함한 다양한 AI 클라이언트와 함께 작동합니다. 서비스를 사용하는 데 계정이나 API key가 필요하지 않습니다. 이 서버는 특정 컨텍스트 길이에 대한 호환성을 확인하는 can_i_run 및 특정 GPU에 가장 적합한 모델을 찾는 what_fits와 같은 특화된 도구를 제공합니다. 또한 config.json 파일을 직접 읽어 Hugging Face 저장소를 분석하는 estimate_vram 및 estimate_from_hf_repo 기능도 포함되어 있습니다.
활용 사례
- 1모델 하드웨어 호환성 확인Llama 3.3 70B와 같은 특정 모델이 설정된 컨텍스트 길이에서 RTX 4090에 적합한지 확인합니다.
- 2하드웨어에 최적화된 모델 찾기특정 그래픽 카드에서 실행 가능한 가장 크거나 성능이 뛰어난 모델을 식별합니다.
- 3특정 설정에 대한 VRAM 추정특정 양자화 수준에서 모델의 가중치 및 KV cache 요구 사항에 대한 상세 내역을 확인합니다.
프로젝트의 README를 바탕으로 작성되었습니다. 모든 활용 사례는 해당 내용의 인용문과 대조하여 확인합니다.
Nodegrove VRAM MCP 설치 방법
형식 확인: 2026년 11월 10일Cursor에 추가Goose에 추가Claude Code에 Nodegrove VRAM MCP 설치
$ claude mcp add vram-mcp -- npx -y @nodegrove/vram-mcpCursor에 Nodegrove VRAM MCP 설치
~/.cursor/mcp.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}VS Code에 Nodegrove VRAM MCP 설치
.vscode/mcp.json
{
"servers": {
"vram-mcp": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}VS Code CLI에 Nodegrove VRAM MCP 설치
$ code --add-mcp '{"name":"vram-mcp","type":"stdio","command":"npx","args":["-y","@nodegrove/vram-mcp"]}'Claude Desktop에 Nodegrove VRAM MCP 설치
claude_desktop_config.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Codex에 Nodegrove VRAM MCP 설치
$ codex mcp add vram-mcp -- npx -y @nodegrove/vram-mcpCodex config.toml에 Nodegrove VRAM MCP 설치
~/.codex/config.toml
[mcp_servers.vram-mcp] command = "npx" args = ["-y", "@nodegrove/vram-mcp"]
Gemini CLI에 Nodegrove VRAM MCP 설치
$ gemini mcp add -s user vram-mcp npx -- -y @nodegrove/vram-mcpGemini settings.json에 Nodegrove VRAM MCP 설치
~/.gemini/settings.json
{
"mcpServers": {
"vram-mcp": {
"command": "npx",
"args": [
"-y",
"@nodegrove/vram-mcp"
]
}
}
}Nodegrove VRAM MCP 도구 4
README에서 감지됨can_i_runwhat_fitsestimate_vramestimate_from_hf_repo
| can_i_run | — | |
| what_fits | — | |
| estimate_vram | — | |
| estimate_from_hf_repo | — |
자동 검사
2026년 11월 13일에 실행됨전체 보고서 →자동 검사를 통과했습니다. 이는 보안 감사가 아닙니다. 코드를 직접 읽고 서버에 필요한 최소한의 권한만 부여하십시오. 검사 방식
- 소스 저장소 연결 및 접근 가능nodegrove/vram-mcp is public and reachablegithub.com/nodegrove/vram-mcp ↗통과
- 패키지가 이 저장소를 소스로 명시@nodegrove/vram-mcp names nodegrove/vram-mcp as sourcenpmjs.com/package/@nodegrove/vram-mcp ↗통과
- 빌드 출처(Sigstore 증명)No build attestation published for this release검사되지 않음
- 오픈 소스 라이선스 (OSI)MITspdx.org/licenses/MIT.html ↗통과
- 최근 1년 내 커밋 또는 릴리스Last commit or release 2026-11-03github.com/nodegrove/vram-mcp ↗통과
- OpenSSF Scorecard검사되지 않음
- 패키지 이름이 인기 패키지와 유사하지 않음No popular package one edit away from @nodegrove/vram-mcp통과
- 패키지 및 해당 종속성에 중요한 보안 권고 없음4 resolved dependencies checked; no critical advisoryosv.dev ↗통과
- 모델에 대한 숨겨진 지침 없음4 tool descriptions and the README read; no override phrases, credential paths or hidden characters통과
- 파괴적인 도구에 라벨 표시됨No tool named like delete, drop or exec통과
- 원격 엔드포인트가 MCP 핸드셰이크에 응답initialize answered with protocol 2025-06-18 in 205 ms통과
README
GitHub에서 보기Can my RTX 4090 run Llama 3.3 70B?
No: Llama 3.3 70B at Q4_K_M with 8,192 tokens of context needs 45.8 GB, and the RTX 4090 holds 22.8 GB after headroom. Short by 23 GB. What would work instead:
- No context length helps: the weights alone are 43.1 GB before a single token of conversation.
- RTX 6000 Ada (48 GB) is within a whisker: 45.8 GB against 45.6 GB after headroom. With the KV cache at Q8 it needs 44.4 GB and fits.
- The smallest card here that runs it exactly as asked: A100, 80 GB usable.
- The biggest model your card does run at these settings, counting mixture-of-experts models at their dense equivalent: Gemma 4 31B, 20.9 GB at ~39 tokens/s.
That is the server's own answer, word for word, from the same code as the GPU compatibility checker on nodegrove.io. Every figure is a stated formula over the model's config.json and the card's published specs: no benchmarks, no guesses. It is free, read-only, and needs no account or key.
Connect
Remote: nothing to install
https://mcp.nodegrove.io/mcp
# Claude Code (add --scope user to have it in every project)
claude mcp add --transport http nodegrove-vram https://mcp.nodegrove.io/mcp
# Codex CLI
codex mcp add nodegrove-vram --url https://mcp.nodegrove.io/mcp
# Gemini CLI
gemini mcp add -s user --transport http nodegrove-vram https://mcp.nodegrove.io/mcp
- Claude (claude.ai and the desktop app): Customize → Connectors → Add → Add custom connector. Name it
Nodegrove VRAM, paste the URL, choose No sign-in, then turn it on in a chat from + → Connectors. - ChatGPT: Settings → Security and login → turn on Developer mode. At chatgpt.com/plugins, add the URL with No Authentication, then pick it in a chat from + → Developer mode.
Most other clients take this in their mcp.json. Cline, Zed, Open WebUI, Devin Desktop and the rest are covered step by step at nodegrove.io/mcp.
{ "mcpServers": { "nodegrove-vram": { "url": "https://mcp.nodegrove.io/mcp" } } }
Local: over stdio
Needs Node.js 20 or newer:
{
"mcpServers": {
"nodegrove-vram": {
"command": "npx",
"args": ["-y", "@nodegrove/vram-mcp"]
}
}
}
Tools
| Tool | Ask it | It answers with |
|---|---|---|
can_i_run |
Can my RTX 4090 run Llama 3.3 70B with 32k of context? | Fits, tight or no; the memory split; a speed ceiling; the longest context that fits; and on a no, every change that would make it fit |
what_fits |
What is the best model for my 16 GB card? | Every model checked on one card, with a recommended everyday pick, the largest that fits, the best at Q8 and the first out of reach |
estimate_vram |
How much VRAM does Qwen3 32B need at 64k? | Weights, KV cache and overhead at each quantisation, and the smallest common card that holds each |
estimate_from_hf_repo |
How much memory does Qwen/Qwen3-Next-80B-A3B-Instruct need? |
Any Hugging Face repo, read from its config.json: the attention layout, the cost of each 1,000 tokens of context, and memory at every quantisation |
list_models, list_gpus |
Which GPUs do you know? | The models and cards with their specs, ids and pages |
Models can be named the way people type them ("llama 3.3 70b", Llama-3.3-70B-Instruct) or given as any Hugging Face repo id. Cards can be named ("4090", "M4 Max") or described by their memory and bandwidth. Every answer carries the numbers as fields, links to the model and card pages on nodegrove.io, and the assumptions behind each figure. All six tools are read-only.
How the numbers are made
- Memory is weights + KV cache + overhead. Weights are parameters × bytes per parameter at the quantisation: FP16 2.00, Q8_0 1.06, Q6_K 0.82, Q5_K_M 0.71, Q4_K_M 0.58, Q3_K_M 0.47. Overhead is 0.5 GB plus 4% of the weights.
- The KV cache is counted the way each model caches. Sliding-window layers stop at their window, hybrid models (linear attention or Mamba) grow a cache only on their few full-attention layers, and latent attention stores one compressed vector per layer. A standard-transformer formula would overstate these models several times over at long context.
- Fit means at most 95% of the memory a runtime can address; above 85% it is tight. Apple silicon gives the GPU about 75% of unified memory.
- Speed is 0.7 × memory bandwidth ÷ bytes of active weights read per token. It is a single-stream ceiling, not a measurement, and the faster the figure, the further real runtimes fall below it.
- The model table was read from each model's
config.jsonand checked against Hugging Face. Any other repo is read live by the same rules, which reproduce every row of the table; anything the reader cannot model is named in the answer, never guessed.
The full method, with every constant, is at nodegrove.io/data. The same figures are an open dataset under CC BY 4.0, DOI 10.5281/zenodo.22966137.
The math as a library
The server is a thin layer over @nodegrove/llm-math, the package nodegrove.io's pages and calculators are built on:
npm install @nodegrove/llm-math
import { modelById, estimate } from '@nodegrove/llm-math';
estimate({ ...modelById('llama-3.3-70b')!, quant: 'q4', context: 8192 }).totalGb; // 45.77
Privacy
The remote server runs on Cloudflare Workers. Nodegrove keeps no request logs and no record of what you ask: each request is answered by a fresh, stateless instance and forgotten. Cloudflare keeps standard edge logs for a short period, as for any website. Requests are rate-limited to 120 a minute per address. When you ask about a Hugging Face repo, the server fetches that repo's public config.json and metadata; only the repo name is sent. The local version contacts nothing but huggingface.co, and only when you ask about a repo there. Details: nodegrove.io/privacy.
Run your own
The remote endpoint is mcp/src/worker.ts. To deploy a copy to your Cloudflare account, change the route in mcp/wrangler.jsonc, then:
cd mcp && npm install && npx wrangler deploy
Development
cd llm-math && npm install && npm test
cd mcp && npm install && npm test && npm run build
llm-math/ is the package of formulas and data; mcp/ is the server, with the stdio entry (src/stdio.ts), the Worker (src/worker.ts) and the tools (src/tools.ts). This repository is published from Nodegrove's main repository, where the site uses the same package. Issues and pull requests are welcome here; accepted changes are applied upstream and credited.
Found a figure that disagrees with its source? Open an issue with the model or card and the link. To report a security problem, see SECURITY.md.
Licence
The code is MIT. The model and GPU data, llm-math/src/models.ts and llm-math/src/gpus.ts, is CC BY 4.0: use it for anything, and credit Nodegrove (nodegrove.io).
Model and GPU names are trademarks of their owners.
Nodegrove VRAM MCP 질문
Nodegrove VRAM MCP를 Claude Code에 추가하려면 어떻게 하나요?
터미널에서 claude mcp add vram-mcp -- npx -y @nodegrove/vram-mcp를 실행합니다. 모든 프로젝트에서 사용할 수 있게 하려면 --scope user를 추가합니다.
Nodegrove VRAM MCP를 Cursor에 추가하려면 어떻게 하나요?
~/.cursor/mcp.json를 열고 mcpServers 아래에 서버를 추가합니다. 위 설치 섹션에 표시된 Cursor 구성을 사용합니다.
Nodegrove VRAM MCP는 어떤 도구를 제공하나요?
4개 도구를 제공합니다. 예: can_i_run, what_fits, estimate_vram, estimate_from_hf_repo.
서버가 VRAM 요구 사항을 어떻게 계산하나요?
모델 가중치, KV cache, 오버헤드의 합계를 계산하며, sliding-window 또는 hybrid 모델과 같은 다양한 모델 아키텍처에 대해 특정 공식을 사용합니다.
서버를 무료로 사용할 수 있나요?
네, 이 서버는 무료이며 읽기 전용으로 제공됩니다. 계정이나 API key가 필요하지 않습니다.