Perplexity Lily

Perplexity 于 2026 年 9 月 3 日开源的本地推理引擎，代码在 GitHub 的 perplexityai/pplx-garden 仓库下的 lily 子目录，采用 Rust 实现，Apache 2.0 协议。

它的设计思路是「把 Apple 芯片当作独立推理平台」，把 Qwen 的算子直接映射到其计算与内存架构上，完全绕开 PyTorch 和 MLX。核心优化包括：把 4-bit 反量化折进矩阵乘（prefill 提升 77.4%），路由不下放 CPU（再提升 89%），decode 时把选中的 token 直接写入下一步的 GPU 常驻输入槽，消除每 token 的 CPU 往返。

官方数据：在 M5 Max 上 prefill 吞吐是 MLX-LM 的 1.23 倍，decode 是 1.35 倍。

但限制非常明确，用之前务必看清：只支持 Apple GPU family 10+（即 M5 及更新）与 macOS 26+，M4 及更早的 Mac 完全跑不了；只针对 Qwen3.6-35B-A3B 这一个模型（MLX affine 4-bit 权重）；只做贪心解码，temperature、top_p 等采样参数会被拒绝；不支持流式输出、工具调用、多模态和推测解码。

一句话：这不是用来替代 Ollama 的通用工具，而是「在这块硬件上把这个模型跑到最快」的专用机器。有 M5 Max 级别 Mac 且长期批量跑这个模型的场景才能吃到红利。