LMCache 分布式 KV Cache 序列化框架Serde 双层接口设计与自定义扩展实战【免费下载链接】LMCacheLMCache: Supercharge Your LLM with the Fastest KV Cache Layer项目地址: https://gitcode.com/GitHub_Trending/lm/LMCache本指南深入解析 LMCache 分布式存储栈中的序列化/反序列化基础组件lmcache.v1.distributed.serde从同步变换接口 异步事件驱动接口的双层设计到线程池与 eventfd 的默认异步实现、按名注册的工厂机制再到内置的 fp8 量化与 AES-GCM 加密两种序列化方案并给出完整的自定义 serde 扩展路径与多输出扩展契约。读完本文你将能够基于该框架为 L2 存储适配器挂载任意字节变换逻辑量化、加密、压缩等并理解其在存储/预取流水线中的完整调用链。一、包定位通用序列化原语与 L2 适配器解耦serde包docs/design/v1/distributed/serde/README.md是 LMCache 分布式存储栈中负责KV Cache 字节变换的通用基础组件。它的核心设计原则是职责纯粹该包完全不了解任何 L2 适配器文件系统、Redis、Mooncake 等或控制器存储控制器、预取控制器的具体实现只定义四类东西一对同步接口Serializer/Deserializer由用户实现承载真正的字节变换逻辑一个异步接口SerdeProcessor与 L2 适配器保持一致的submit → eventfd → query形态让下游消费者可以统一轮询一个默认实现AsyncSerdeProcessor把任意一对同步实现通过线程池包装成异步接口并在完成时通过 eventfd 通知一套工厂/注册机制让适配器可以在 JSON 配置中按名引用 serde如{type: fp8, ...}内置序列化方案fp8 量化、AES-GCM 加密以及从源码结构看还包含 turboquant、asym_k16_v8 等扩展见下文。异步接口如何真正接入 L2 路径由 SerdeL2AdapterWrapper 设计文档 描述——wrapper 是SerdeProcessoreventfd 的唯一消费者这是理解整个架构的关键入口。二、模块布局从仓库源码结构lmcache/v1/distributed/serde/可以看到完整的模块划分与设计文档一一对应lmcache/v1/distributed/serde/ base.py # Serializer, Deserializer同步 ABC # SerdeProcessor异步 ABC # SerdeConfig, SerdeTaskId async_processor.py # AsyncSerdeProcessor线程池 eventfd 包装 factory.py # register_serde_factory / create_serde_processor fp8.py # Fp8QuantizationSerializer / Deserializer aesgcm.py # AES-GCM 加密 serde面向 L2 静态数据加密 key_provider.py # KeyProvider / HkdfKeyProvideraesgcm 密钥供给 turboquant/ # TurboQuant 量化 serdeturboquant.py 内核文件 asym_k16_v8.py # 非对称 K16/V8 混合精度 serde multi.py # MultiSerializer / MultiDeserializer元组形态扩展 utils.py # serialized_layout_desc, make_temp_key所有公共符号通过 serde/init.py 统一导出包括Serializer、Deserializer、SerdeProcessor、AsyncSerdeProcessor、SerdeConfig、SerdeTaskId、工厂函数register_serde_factory/create_serde_processor/get_registered_serde_types、fp8 与 AES-GCM 的序列化/反序列化类、KeyProvider/HkdfKeyProvider、多输出扩展MemoryObjGroup/LayoutDescGroup/MultiSerializer/MultiDeserializer/single_to_multi_serializer/single_to_multi_deserializer/validate_group_size以及工具函数make_temp_key/serialized_layout_desc。三、双层接口架构同步写逻辑异步跑流水线设计文档给出了一个非常清晰的双层抽象这是整个 serde 框架的灵魂┌────────────────────────────────┐ user writes → │ Serializer / Deserializer │ sync transform │ (pure: src MemoryObj → dst) │ └──────────────┬─────────────────┘ │ wrapped by AsyncSerdeProcessor ▼ ┌────────────────────────────────┐ wrapper uses → │ SerdeProcessor │ async: │ submit_serialize(...) → id │ submit / eventfd / │ query_serialize_result(id) │ query │ get_serialize_event_fd() │ │ (plus deserialize pair) │ └────────────────────────────────┘同步层是用户真正关心的纯 Python或 torch代码不涉及线程、不涉及 fd。实现两个抽象方法即可serialize(src, dst, key)和estimate_serialized_size(layout_desc)。异步层是SerdeL2AdapterWrapper打交道的地方它持有两个必须互不相同的 eventfd一个用于 serialize、一个用于 deserialize并把已完成任务缓存在字典中供 wrapper 消费。从源码看base.py同步接口的定义非常精简Serializer.serialize(src, dst, key) - int从 KV 形态数据变换到字节Serializer.estimate_serialized_size(layout_desc) - int在变换之前预算临时缓冲区大小Deserializer.deserialize(src, dst, key) - None从字节还原回 KV 形态数据。AsyncSerdeProcessor是异步层的默认且目前唯一的实现——大多数自定义 serde 只需要提供同步类并注册工厂异步的线程调度、eventfd 通知全部由它代劳async_processor.py 的类注释明确说明了这一点。四、核心接口契约Contracts设计文档为每个接口方法定义了严格契约源码 base.py 的 docstring 与之完全对应。这些契约是正确实现自定义 serde 的关键4.1Serializer.serialize(src, dst, key) - intsrc是持有 KV 数据的MemoryObj由调用方持有读锁read-lockeddst是字节缓冲区MemoryObj由调用方持有写锁write-locked其容量必须 ≥estimate_serialized_size(layout_of_src)的返回值key是该src/dst对的ObjectKey与批处理中的对象位置对齐。按对象变换字节的 serde如基于cache_salt派生密钥的加密 serde会读取它与内容无关的 serdefp8、turboquant忽略它必须返回实际写入dst的字节数必须是确定性的给定相同src必须产生相同结果——wrapper 依赖 serialize 步骤在重试时可复现写入裸字节的正确姿势memoryview(dst.byte_array).cast(B)。因为byte_array是格式为B的 ctypes 视图CPython 不支持对非原生格式做切片赋值直接dst[i:j] ...会抛出NotImplementedError: memoryview: unsupported format B。aesgcmserde 正是走这条路径而基于张量的 serdefp8、turboquant通过dst.tensor写入从不触碰byte_array。4.2Serializer.estimate_serialized_size(layout_desc) - int每个批次在做任何工作之前调用一次用于为临时缓冲区定大小返回值必须是实际序列化输出的上界upper bound——任何安全余量都要包含在这个方法内部只能依赖layout_descshapes dtypes。因为 wrapper 用批内第一个对象的 layout 为整个批次分配临时空间数据相关的估算会破坏全有或全无all-or-nothing的分配策略。需要特别指出一个设计与实现的差异设计文档以fp8 序列化器返回1.5 × num_elements作为安全余量的示例但当前仓库中 fp8 的实际实现fp8.py返回的是精确的total_elementsfp8 固定 1 字节/元素确定性映射无需余量并在注释中说明如果虚增估算会同步虚增 L2 适配器持久化的字节数它存储整个 MemoryObj反而侵蚀 fp8 的存储节省。这正是余量放进 estimate设计意图的活例子——该值直接决定 L2 侧落盘大小。4.3Deserializer.deserialize(src, dst, key) - Nonesrc是 L2 load 填充的字节缓冲区MemoryObjdst是 KV 形态的MemoryObjwrite-locked形状和 dtype 已经就绪key语义与serialize相同按对象变换的 serde 读取无返回值——调用方通过异步层的事件 fd 感知完成裸字节写入规则与serialize相同memoryview(dst.byte_array).cast(B)。4.4SerdeProcessor异步接口submit_serialize(src_objs, dst_objs, keys) → SerdeTaskId必须非阻塞keys与src_objs/dst_objs位置对齐wrapper 总是提供实际变换异步执行query_serialize_result(task_id) → bool | None是非幂等的每个 task id 恰好返回一次非None值None表示任务仍在飞行中get_serialize_event_fd()返回每个完成的 serialize 任务都会触发一次信号的 eventfd且必须与 deserialize fd 区分deserialize 侧形状完全一致close()必须释放两个 eventfd 及所有工作线程。五、AsyncSerdeProcessor默认实现线程池 eventfd 的工程细节设计文档剖析了AsyncSerdeProcessor的内部设计async_processor.py 是它的直接实现一个共享的ThreadPoolExecutor(max_workersN)同时运行 serialize 和 deserialize 任务——两者相互独立因此共享线程池一个受单一锁保护的任务 ID 计数器以及两个受同一把锁保护的_completed_*字典每个方向一个两个os.eventfd(0, EFD_NONBLOCK | EFD_CLOEXEC)文件描述符——每个方向一个在结果写入完成字典之后触发信号。为什么用线程池而不是 asyncio executor因为 fp8 / 加密这类 CPU 密集型变换在 torch / 原生调用下会释放 GIL所以真正的线程池是有收益的。N1是安全默认值同一时刻只允许一个变换在途fp8 工厂接受max_workers参数按需调大。源码中还隐藏着一个重要的实现细节_run_task在 serialize 完成后会把实际写入字节数通过dst.set_used_size(n)回填到目标MemoryObjasync_processor.py。原因正如注释所述dst是按estimate_serialized_size上界分配的超量缓冲区若不把逻辑大小收窄为n下游通过obj.get_size()/obj.byte_array读取大小的 L2 适配器就会把整个超量估算一并落盘。代码还以isinstance(n, int) and hasattr(dst, set_used_size)做了防御兼容不实现该接口的测试替身。生命周期上close()依次执行pool.shutdown(waitTrue)并关闭两个 event notifierasync_processor.py。值得注意的是event notifier 来自lmcache.v1.platform.create_event_notifier因此同一套代码在 Linuxeventfd和其他 POSIX 平台pipe 回退上都能运行。六、工厂与注册机制配置驱动、进程级单例设计文档给出了注册工厂的最小示例源码 factory.py 完全对应from lmcache.v1.distributed.serde import ( AsyncSerdeProcessor, Deserializer, Serializer, register_serde_factory, ) def _create_my_serde(kwargs: dict[str, object]) - SerdeProcessor: return AsyncSerdeProcessor(MySerializer(...), MyDeserializer(...)) register_serde_factory(mine, _create_my_serde)关键行为工厂接收 JSON 配置中除去type之外的所有类型专属 kwargs注册表是进程级全局的拒绝重名注册register_serde_factory对已存在名称抛ValueError与已有的register_l2_adapter_type模式一致create_serde_processor(config)根据SerdeConfig查表并调用工厂未知类型会抛出包含已注册清单的ValueErrorfactory.py工厂每个SerdeL2AdapterWrapper构造时恰好调用一次——每个被包装的适配器拥有自己独立的SerdeProcessor实例SerdeConfigbase.py是一个极简 dataclass只含type: str与kwargs: dict[str, object]角色与EvictionConfig对应从 L2 适配器 spec 的serdeJSON 子字典解析而来。七、内置序列化方案7.1 fp8 量化默认内置Fp8QuantizationSerializer/Fp8QuantizationDeserializerfp8.py是开箱即用的内置方案序列化将每个元素 cast 为torch.float8_e4m3fn默认或torch.float8_e5m2将字节 reinterpret 为uint8后拷入临时缓冲区src_tensor.to(fp8_dtype).contiguous()→view(torch.uint8).flatten()→copy_返回字节数numel()反序列化从src读取dst_tensor.numel()个字节reinterpret 为所选 fp8 dtypereshape 回原始 KV 形状再 cast 到目标张量的 dtype 后copy_完成还原有损性模块 docstring 明确标注Lossy: precision below fp8s representable range is lost——低于 fp8 可表示范围的精度会丢失估算返回精确的total_elements1 字节/元素如 4.2 节所述不引入虚增余量。工厂函数_create_fp8_serde接受fp8_dtype如float8_e5m2通过getattr(torch, ...)解析并校验与max_workers两个 kwargs最终返回AsyncSerdeProcessor实例并在模块导入时执行register_serde_factory(fp8, _create_fp8_serde)。7.2 AES-GCM 加密L2 静态数据加密AesGcmSerializer/AesGcmDeserializeraesgcm.py面向L2 at-rest 机密性存储时L1→L2加密、加载时L2→L1解密按每个cache_salt派生密钥使不同租户的密文彼此区分。内容被视为不透明字节流而非张量类型是精确的往返变换。加密范围仅限 L2 层L1 与 L0 保存明文。线上帧格式为[1B version][IV_LEN12B IV][ciphertext || TAG_LEN16B tag]_FRAME_OVERHEAD 1 12 16 29字节。由于 AES-GCM 密文长度等于明文加 16 字节 tag无填充estimate_serialized_size返回的是精确值而非上界明文总字节 29。反序列化时密文长度取自dst的大小即明文长度而非src可能被填充得比实际帧更大帧头/版本非法抛ValueError篡改或错键则通过InvalidTag异常表现为一次 load miss。密钥供给由 key_provider.py 的KeyProvider/HkdfKeyProvider承担工厂 kwargs 支持key_provider目前仅hkdf实现keyring预留但未实现、aes_bits128 或 256默认 128、master_key_pathhkdf 必需的主密钥文件、max_workers。密钥通过带域分隔前缀blmcache-l2-aesgcm-v1的 HKDF 从主密钥按cache_salt派生。7.3 更多内置方案源码结构可见从 serde 包目录 的结构看除 fp8 与 aesgcm 外还有两类方案turboquantturboquant/包含turboquant.py与decode_kernel.py、store_kernel.py内核文件__init__.py导出TurboQuantSerializer/TurboQuantDeserializer/TurboQuantSerdeConfigasym_k16_v8.py从命名可以推断是非对称 K 用 16 位、V 用 8 位的混合精度 serde对应多输出扩展中K/V 不同 dtype的应用场景。这两类方案未在本文主体设计文档中展开属于配套实现如需深入了解可继续阅读对应模块源码与 examples/serde 下的示例。八、接入 L2 路径SerdeL2AdapterWrapper设计文档明确指出serde 异步接口的唯一消费者是SerdeL2AdapterWrapper详见 serde_wrapper.md。该 wrapper 通过组合一个内部 L2 适配器、一个SerdeProcessor和一个L1Manager来实现L2AdapterInterface调用方只看到 wrapper 的公开 APIwrapper 内部线程是内部适配器与 serde 两个 eventfd 集合的唯一消费者。存储路径Store调用顺序调用方submit_store_task(keys, objs)wrapper 通过L1Manager.reserve_write申请临时字节缓冲区标记is_temporaryTruewrappersubmit_serialize(objs, tmp_objs)serde 线程池完成变换后触发serialize_efdwrapper 内部线程轮询到信号后query_serialize_result将临时缓冲区转为读锁调用inner.submit_store_task(keys, tmp_objs)内部适配器完成落盘后触发store_efdwrapper 线程finish_read由于is_temporaryTrue自动删除临时缓冲区并触发 wrapper 自己的store_efd调用方pop_completed_store_tasks()拿到{wrapped_id: L2StoreResult(successTrue, bytes_transferredN)}。加载路径Load顺序对称submit_load_task(keys, dst_objs)→ 申请临时缓冲 →inner.submit_load_task(keys, tmp_objs)→ 内部适配器加载 →load_efd触发 → wrapper 线程submit_deserialize(tmp_objs, dst_objs)→deserialize_efd触发 →query_deserialize_result→ 释放并删除临时缓冲 → 触发 wrapper 的load_efd→ 调用方query_load_result()得到按 key 的位图结果。若内部位图全零所有 key 加载失败则直接跳过反序列化环节。失败策略每次提交全有或全无。任一 key 的临时分配失败、或submit_serialize/submit_deserialize/inner.submit_*抛异常整个被包装任务失败存储任务返回L2StoreResult(successFalse, bytes_transferred0)加载任务返回全零Bitmap。这保持了L2AdapterInterface粗粒度成功语义——存储是任务级is_successful()标志加载是 key 级位图从而让存储控制器与预取控制器无需任何改动。同质性不变量_alloc_temp_buffers以objects[0]的 shapes/dtypes 为整个批次分配临时空间假设同一 submit 内所有MemoryObj共享单一 layout存储控制器在调用前已按 shape 分组 key预取控制器每次请求对全部写预留使用单个layout_descwrapper 用显式的raise ValueError兜底捕获未来回归。线程模型每个 wrapper 实例一个后台线程__init__启动轮询四个 fdinner.store_efd、inner.load_efd、serde.serialize_efd、serde.deserialize_efd单一threading.Lock保护任务 ID 计数器、四个反向查找字典、两个完成字典及存储任务的阶段翻转close()设置停止标志并 join 线程500ms 轮询超时约束了关闭延迟_finalize_store/_finalize_load向 wrapper 自己的 eventfd 写 1 以唤醒上游控制器的轮询循环。查找/解锁/淘汰路径不做变换wrapper 直接透传给内部适配器——甚至查找 eventfd 本身也透传避免每次查找多一次线程跳转get_usage()不做自己的字节核算原样上报内部适配器的统计使L2EvictionController与 per-cache_salt配额逻辑保持不变。九、配置实战在 L2 适配器上挂载 serdeserde 通过--l2-adapterJSON 中可选的serde子字典按适配器独立挂载examples/serde/fp8/README.md。省略serde字段即表示该适配器不做变换{ type: fs, base_path: /tmp/lmcache_serde_disk, serde: {type: fp8, fp8_dtype: float8_e4m3fn} }加密场景的示例配置摘自 examples/serde/aesgcm/README.md{ type: fs, base_path: /tmp/lmcache_serde_disk, serde: { type: aesgcm, key_provider: hkdf, aes_bits: 128, master_key_path: /path/to/master.key } }端到端验证仓库提供了完整的 fp8 端到端示例脚本 run_serde_fp8_example.sh流程为启动带lmcache serverL1 为 20GB CPU 缓存 LRUL2 为挂载 fp8 serde 的文件系统适配器→ 启动 vLLMLMCacheMPConnector接入→ 发送推理请求KV 写入 L1 后异步 fp8 序列化落盘 L2→ 调用 HTTP API强制清空 L1→ 重发相同请求L1 未命中触发 L2 预取磁盘字节反序列化还原为 KV 缓冲区vLLM 从缓存续跑。示例还支持MODEL、GPU_DEVICE、L1_SIZE_GB、LMCACHE_PORT、VLLM_PORT、TMP_DIR等环境变量覆盖默认值。如需快速冒烟无需 vLLM示例文档给出了文件系统后端的 L1 → 磁盘 → L1 往返测试命令pytest tests/v1/distributed/serde/test_serde_fs_e2e.py -xvsfp8 方案对硬件有前提需要支持 fp8 的 GPUHopper / Ada / RTX 40且 PyTorch 需编译 fp8 支持。十、扩展指南三步接入自定义 serde设计文档给出了一条极简的扩展路径仓库 examples/serde/fp8/README.md 又补充了同样的三步法实现Serializer与Deserializer两个类来自lmcache.v1.distributed.serde在导入时注册工厂from lmcache.v1.distributed.serde import ( AsyncSerdeProcessor, register_serde_factory, ) def _create_my_serde(config: dict): return AsyncSerdeProcessor(MySerializer(), MyDeserializer()) register_serde_factory(mine, _create_my_serde)在适配器配置中引用serde: {type: mine, ...}。除此之外的一切——临时缓冲区分配、eventfd 管道、锁与生命周期转换、全有或全无的失败处理——都由AsyncSerdeProcessor与 wrapper 提供。用户永远不需要触碰控制器、eventfds 或 L1 锁。十一、多输出扩展Multi-output突破单张量限制单张量Serializer/Deserializer在两端各操作一个类型化张量序列化一端进一个张量、出一个字节缓冲区反序列化则相反。这在K 和 V 共享单一 dtype时工作良好serde 把它们看作一个合并张量但在两种情况下失效K 和 V dtype 不同类型化张量只有一个 dtype一个想把 K 放在 fp16/bf16、V 放在 fp8 的 serde 无法同时携带两者——其中一方只能按字节 reinterpret破坏其他消费者依赖的类型化张量契约一侧缺席在分层放置tier-split场景中K 或 V 被保存在该 serde 数据路径之外——例如 K 留在 L1CPU 固定主机内存、V 流向 L2持久存储——序列化输入没有缺席槽位的张量反序列化输出也没有它的目标。multi.py 为此定义了纯增量additive契约MemoryObjGroup Tuple[Optional[MemoryObj], ...]定长可选 MemoryObj 元组LayoutDescGroup Tuple[Optional[MemoryLayoutDesc], ...]供大小估算使用的并行 layout 描述元组MultiSerializer.serialize(src: MemoryObjGroup, dst: MemoryObj, key: ObjectKey)输入元组长度必须等于MultiSerializer.group_sizeMultiDeserializer.deserialize(src: MemoryObj, dst: MemoryObjGroup, key: ObjectKey)输出元组长度等于MultiDeserializer.group_sizesingle_to_multi_serializer(s)/single_to_multi_deserializer(d)把既有单张量对适配为长度为 1 的元组接口布局等价——线上字节与直接调用完全一致。单张量 ABC 及所有既有调用方AsyncSerdeProcessor、工厂注册表、L2 适配器 wrapper、内置 fp8 serde全部保持不变。需要多张量端点的实现改为实现MultiSerializer/MultiDeserializer。围绕多接口的异步接线元组感知的AsyncSerdeProcessor类比实现与 wrapper 上的元组感知submit_*形态将在具体多输出 serde 落地后的后续改动中加入。11.1 每槽位语义Per-slot semantics实现方必须至少文档化三点group_size的固定值每个槽位的语义如slot 0 K、slot 1 V哪些槽位必填、哪些可为None——可为None的槽位其estimate_serialized_size必须在对应索引收到Nonelayout 描述符时正常工作。None语义镜像序列化输入与反序列化输出序列化输入None槽位表示调用方不提供该张量如 V-only 写K 在此 serde 数据路径之外。实现方在必填槽位为None时必须抛ValueError反序列化输出None槽位表示调用方不想物化该张量如 V-only 读K 从别处获取。实现方绝不能触碰缺失槽位。11.2 单元素桥接Single-element bridge长度为 1 的MemoryObjGroup是通往既有单张量 API 的天然桥梁multi.py 中_SingleAsMultiSerializer的group_size恒为 1from lmcache.v1.distributed.serde import ( single_to_multi_serializer, single_to_multi_deserializer, ) multi_s single_to_multi_serializer(existing_serializer) multi_d single_to_multi_deserializer(existing_deserializer) n multi_s.serialize((src,), dst_buffer) # length-1 group multi_d.deserialize(src_buffer, (dst,)) # length-1 groupwrapper 的行为非单位组抛ValueErrorNone的 src 槽位被拒绝单张量序列化器不允许缺席None的 dst 槽位视为刻意跳过而非错误。线上字节与直接调用底层单张量 serde逐字节相同multi.py 的_SingleAsMultiDeserializer对唯一槽位为None的长度 1 组直接返回不报错。辅助函数validate_group_size(group, expected, *, role)提供纯元数校验供调用方与实现方共同使用。十二、辅助工具utils.py 提供两个被 wrapper 直接使用的工具serialized_layout_desc(layout_desc, serde)调用 serde 的estimate_serialized_size已含安全余量返回一个单一torch.uint8组的扁平字节缓冲区MemoryLayoutDesc用于临时缓冲区预留make_temp_key(original_key)在原 chunk hash 后追加 16 字节随机数128 位熵碰撞概率约 1/2^64实际规模下可忽略并传播cache_salt使临时缓冲区在 per-tenant L1 字节核算与配额/淘汰逻辑中仍归属原始 key 所在桶。十三、小结与已知限制lmcache.v1.distributed.serde以同步变换 异步事件驱动的双层抽象把字节变换逻辑fp8 量化、AES-GCM 加密、turboquant 等与分布式存储流水线L2 适配器、控制器、L1 锁彻底解耦变换作者只写纯函数流水线作者只消费统一的submit → eventfd → query异步接口。工厂注册机制让配置驱动成为可能多输出扩展则为 K/V 异构 dtype 与分层放置预留了清晰的演进路径。同时serde_wrapper.md 的 Known Limitations / Follow-ups 也如实记录了三项已知限制供后续贡献者参考每次 submit 都分配临时缓冲区每次 store/load 都向L1Manager.reserve_write申请全新临时 key一个按(shape, dtype)键控的空闲列表可以跳过热路径上的分配器初期版本未做正确性优先簿记字典重复现有 6 个 L2 适配器各自维护_next_task_id lock completion_dict eventfd四件套AsyncSerdeProcessor是第 7 个、wrapper 是第 8 个一个EventfdTaskQueue基础助手可以跨树去重独立清理 PR无 wrapper 级指标report_status委托内部适配器并附加{serde_wrapped: True}按 serde 步骤的延迟直方图需要AsyncSerdeProcessor暴露新指标或在 wrapper 的 drain 中加计时钩子。这些限制共同构成了该框架当前的能力边界与后续优化方向。【免费下载链接】LMCacheLMCache: Supercharge Your LLM with the Fastest KV Cache Layer项目地址: https://gitcode.com/GitHub_Trending/lm/LMCache创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考