为什么 Strata 这么快？有什么问题吗？地层测试！

原文作者：Weights & Wonders

原文来源：https://www.youtube.com/embed/8kzSGQzGigc

一位朋友让我为他托管 Qwen 3.8 Flash Next：一个 1250 亿参数的模型，在一台带有 RTX 4070 (12 GB) 的机器上。所以我尝试了 Strata，人们称之为“比 llama.cpp 快 6 倍”的免费引擎。有用。写入速度约为每秒 35 个令牌，而 llama.cpp 为 15 个，读取 100,000 个令牌的代码库只需 2 分 22 秒，而不是 24 分钟。然后日志显示出一些奇怪的东西：显卡几乎没有尝试。该视频解释了原因。同样的原因使得这个设置对于一个人来说非常出色，并且一旦第二个人加入，不会比 llama.cpp 更快。章节 0:00 一张 12 GB 卡上的 125B 模型 1:16 请求 2:18 Strata 如何分割模型 4:07 机器 5:28 一个人，一个聊天 6:39 长篇阅读 8:41 几乎没有尝试的卡 9:56 两个人 11:05 判决 结果（相同的模型文件，相同的卡，两个引擎） • 简短聊天：Strata 32.5–38.1 tok/s vs llama.cpp 15.3–16.5 tok/s（stock llama.cpp，无 MTP 草案） • 读取 100,000 个令牌的 C++ 代码库：Strata 2 分钟 22 秒 vs llama.cpp 24 分钟（~71 tok/s） • 100K 读取后写入：Strata 47 tok/s（代码接受的 404 个起草令牌中的 373 个）与 llama.cpp 15.5 相比。 • 235,000 个令牌文档：在 5 分 5 秒内读取；发现隐藏密码。后续问题：11.5 秒（从缓存中重用了 229,376 个令牌，6,054 个新令牌） • 随着聊天的增长而写入：30.0 tok/s (~1K) → 25.7 (120K) → 24.6 (235K) • GPU 功率：200 W 限制的平均 93 W（峰值 117 W），全速时钟(~2,865 MHz) • 所需专家运行的位置（单用户）：58% 已在卡上，4% 已复制到卡上，38% 在 CPU 上 • 两个用户（并行）：~18 tok/s 组合 vs llama.cpp ~19。四个用户：24.2 vs 23.2 • 两个用户同时粘贴约 90,000 个令牌的文档：23 分钟 45 秒 • 四次简短聊天：并行 66.5 秒，连续 49.8 秒 设置 • GPU：NVIDIA RTX 4070，12 GB • CPU：2× Intel Xeon E5-2680 v4 (2016) • RAM：约 170 GB 可用（该模型的专家需要约 50 GB；总共 64 GB 是此大小的实际最小值） • 型号：OrcaRouter 的 Qwen 3.8 Flash Next Uncensored，IQ3_XXS GGUF (85 GB)；从 SSD 读取的 n-gram 表（~29 GB） • 引擎：Strata 0.1.40（262K 上下文，来自原始 Qwen 模型的 MTP 草案）与 llama.cpp（库存） • 所有数字均来自我们自己在 2026 年 10 月 7 日记录的运行。 成本 2026 年 10 月 7 日左右，二手 RTX 4070 约为 600 美元，64 GB DDR4 套件约为 600 美元490 美元。 RAM 价格变动很快，因此请查看当前列表。 RAM 按型号大小（来自 Strata 文档） 32 GB：编码器版本 · 48 GB：2 位版本 · 64 GB：3 位版本（此处使用） · 96 GB+：~4 位 #LocalAI #Qwen #Strata #LocalLLM #llamacpp #RTX4070 #AI #LLM #NVIDIA #GPU #SelfHosted #HomeLab #OpenSourceAI #MoE #AIServer #strata #strataai