inference-cache eklentisi
Inference KV-cache and transport suite — LMCache multiprocess (MP) standalone-server mode (DaemonSet + Deployment K8s pattern, ZMQ connector, L1 + L2 NIXL/POSIX/GDS/HF3FS/fs/s3/mooncake adapters) and NVIDIA NIXL transfer library (UCX/GDS/Mooncake/libfabric/HF3FS/S3 plugins, agent API, telemetry) used by Dynamo/vLLM/SGLang. Pairs with the vllm-caching skill in the `vllm` suite and sglang-hicache in the `sglang` suite.
inference-cache eklentisi nasıl yüklenir
Her iki komutu da Claude Code içinde çalıştırın. Birincisi pazaryerini bir kez ekler; ikincisi eklentiyi yükler.
/plugin marketplace add air-gapped/skills
/plugin install inference-cache@air-gapped-marketplaceinference-cache içinde ne var
Eklentinin kendi dosyalarından okunan 2 parça.
SKILL'ler 2
Görev eşleştiğinde Claude bunu yükler- lmcache-mp
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
- nvidia-nixl
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
Claude Code içinde inference-cache kullanımı
SKILL'ler komut gerektirmez. Claude, isteğiniz tanımladıkları şeyle eşleştiğinde onları okur.
Güncelleyin, kapatın veya kaldırın
- Eklentiyi güncelleyin (shell)
- claude plugin update inference-cache@air-gapped-marketplace
- marketplace'i yenileyin
- /plugin marketplace update air-gapped-marketplace
- Şimdilik kapatın
- /plugin disable inference-cache@air-gapped-marketplace
- Kaldırın
- /plugin uninstall inference-cache@air-gapped-marketplace
inference-cache içindeki beceriler
- lmcache-mpair-gapped/skills
Enables a standalone LMCache server in a separate process or pod that vLLM connects to via ZMQ for shared KV-cache and process isolation.
8 dosya6yıldız - nvidia-nixlair-gapped/skills
Provides a transport abstraction for point-to-point KV-cache and tensor transfers in distributed inference environments.
12 dosya6yıldız
inference-cache eklentisi soruları
inference-cache eklentisini nasıl yüklerim?
Claude Code içinde /plugin marketplace add air-gapped/skills, ardından /plugin install inference-cache@air-gapped-marketplace çalıştırın.
inference-cache eklentisi neleri içerir?
inference-cache şunları içerir: 2 beceri.
inference-cache eklentisini nasıl güncellerim veya kaldırırım?
Shell üzerinde claude plugin update inference-cache@air-gapped-marketplace ile güncelleyin veya /plugin altındaki Yüklü sekmesinden yapın. /plugin uninstall inference-cache@air-gapped-marketplace ile kaldırın.
inference-cache eklentisi hangi lisans altındadır?
Eklentinin manifestosunda belirtildiği üzere MIT.