Plugin inference-cache
Inference KV-cache and transport suite — LMCache multiprocess (MP) standalone-server mode (DaemonSet + Deployment K8s pattern, ZMQ connector, L1 + L2 NIXL/POSIX/GDS/HF3FS/fs/s3/mooncake adapters) and NVIDIA NIXL transfer library (UCX/GDS/Mooncake/libfabric/HF3FS/S3 plugins, agent API, telemetry) used by Dynamo/vLLM/SGLang. Pairs with the vllm-caching skill in the `vllm` suite and sglang-hicache in the `sglang` suite.
Cómo instalar el plugin inference-cache
Ejecuta ambos comandos dentro de Claude Code. El primero agrega el marketplace una vez; el segundo instala el plugin.
/plugin marketplace add air-gapped/skills
/plugin install inference-cache@air-gapped-marketplaceQué hay dentro de inference-cache
2 partes leídas de los archivos del propio plugin.
Skills 2
Claude lo carga cuando la tarea coincide- lmcache-mp
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
- nvidia-nixl
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
Usando inference-cache en Claude Code
Las Skills no necesitan comando. Claude las lee cuando tu solicitud coincide con lo que describen.
Actualizar, desactivar o eliminar
- Actualizar el plugin (shell)
- claude plugin update inference-cache@air-gapped-marketplace
- Refrescar el marketplace
- /plugin marketplace update air-gapped-marketplace
- Desactivarlo por ahora
- /plugin disable inference-cache@air-gapped-marketplace
- Eliminarlo
- /plugin uninstall inference-cache@air-gapped-marketplace
Skills en inference-cache
- lmcache-mpair-gapped/skills
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
8 archivos6estrellas - nvidia-nixlair-gapped/skills
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
12 archivos6estrellas
Preguntas sobre el plugin inference-cache
¿Cómo instalo el plugin inference-cache?
En Claude Code ejecuta /plugin marketplace add air-gapped/skills y luego /plugin install inference-cache@air-gapped-marketplace.
¿Qué incluye el plugin inference-cache?
inference-cache agrupa 2 skills.
¿Cómo actualizo o elimino el plugin inference-cache?
Actualízalo con claude plugin update inference-cache@air-gapped-marketplace en tu shell, o desde la pestaña Installed de /plugin. Elimínalo con /plugin uninstall inference-cache@air-gapped-marketplace.
¿Bajo qué licencia está el plugin inference-cache?
MIT, como se indica en el manifiesto del plugin.