Плагин inference-cache
Inference KV-cache and transport suite — LMCache multiprocess (MP) standalone-server mode (DaemonSet + Deployment K8s pattern, ZMQ connector, L1 + L2 NIXL/POSIX/GDS/HF3FS/fs/s3/mooncake adapters) and NVIDIA NIXL transfer library (UCX/GDS/Mooncake/libfabric/HF3FS/S3 plugins, agent API, telemetry) used by Dynamo/vLLM/SGLang. Pairs with the vllm-caching skill in the `vllm` suite and sglang-hicache in the `sglang` suite.
Как установить плагин inference-cache
Выполните обе команды в Claude Code. Первая один раз добавляет маркетплейс; вторая устанавливает плагин.
/plugin marketplace add air-gapped/skills
/plugin install inference-cache@air-gapped-marketplaceЧто внутри inference-cache
2 части прочитано из файлов самого плагина.
Skills 2
Claude загружает это при соответствии задачи- lmcache-mp
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
- nvidia-nixl
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
Использование inference-cache в Claude Code
Skills не требуют команд. Claude считывает их, когда ваш запрос соответствует их описанию.
Обновить, выключить или удалить
- Обновить плагин (shell)
- claude plugin update inference-cache@air-gapped-marketplace
- Обновить marketplace
- /plugin marketplace update air-gapped-marketplace
- Временно выключить
- /plugin disable inference-cache@air-gapped-marketplace
- Удалить
- /plugin uninstall inference-cache@air-gapped-marketplace
Навыки в inference-cache
- lmcache-mpair-gapped/skills
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
8 файлов6звёзд - nvidia-nixlair-gapped/skills
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
12 файлов6звёзд
Вопросы о плагине inference-cache
Как установить плагин inference-cache?
В Claude Code выполните /plugin marketplace add air-gapped/skills, затем /plugin install inference-cache@air-gapped-marketplace.
Что включает плагин inference-cache?
inference-cache объединяет 2 навыка.
Как обновить или удалить плагин inference-cache?
Обновите его с помощью claude plugin update inference-cache@air-gapped-marketplace в вашем shell или на вкладке Installed в /plugin. Удалите его с помощью /plugin uninstall inference-cache@air-gapped-marketplace.
Под какой лицензией распространяется плагин inference-cache?
MIT, как указано в манифесте плагина.