Plugin inference-cache
Inference KV-cache and transport suite — LMCache multiprocess (MP) standalone-server mode (DaemonSet + Deployment K8s pattern, ZMQ connector, L1 + L2 NIXL/POSIX/GDS/HF3FS/fs/s3/mooncake adapters) and NVIDIA NIXL transfer library (UCX/GDS/Mooncake/libfabric/HF3FS/S3 plugins, agent API, telemetry) used by Dynamo/vLLM/SGLang. Pairs with the vllm-caching skill in the `vllm` suite and sglang-hicache in the `sglang` suite.
Comment installer le plugin inference-cache
Exécutez les deux commandes dans Claude Code. La première ajoute la marketplace une seule fois ; la seconde installe le plugin.
/plugin marketplace add air-gapped/skills
/plugin install inference-cache@air-gapped-marketplaceContenu de inference-cache
2 parties lues depuis les fichiers du plugin.
Skills 2
Claude le charge quand la tâche correspond- lmcache-mp
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
- nvidia-nixl
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
Utiliser inference-cache dans Claude Code
Les Skills ne nécessitent pas de commande. Claude les lit quand votre requête correspond à leur description.
Mettre à jour, désactiver ou supprimer
- Mettre à jour le plugin (shell)
- claude plugin update inference-cache@air-gapped-marketplace
- Actualiser le marketplace
- /plugin marketplace update air-gapped-marketplace
- Le désactiver pour le moment
- /plugin disable inference-cache@air-gapped-marketplace
- Le supprimer
- /plugin uninstall inference-cache@air-gapped-marketplace
Skills dans inference-cache
- lmcache-mpair-gapped/skills
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
8 fichiers6étoiles - nvidia-nixlair-gapped/skills
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
12 fichiers6étoiles
Questions sur le plugin inference-cache
Comment installer le plugin inference-cache ?
Dans Claude Code, exécutez /plugin marketplace add air-gapped/skills, puis /plugin install inference-cache@air-gapped-marketplace.
Que contient le plugin inference-cache ?
inference-cache regroupe 2 skills.
Comment mettre à jour ou supprimer le plugin inference-cache ?
Mettez-le à jour avec claude plugin update inference-cache@air-gapped-marketplace dans votre shell, ou depuis l'onglet Installed de /plugin. Supprimez-le avec /plugin uninstall inference-cache@air-gapped-marketplace.
Sous quelle licence est le plugin inference-cache ?
MIT, comme indiqué dans le manifeste du plugin.