為什麼 Strata 這麼快？有什麼問題嗎？地層測試！

原文作者：Weights & Wonders

原文來源：https://www.youtube.com/embed/8kzSGQzGigc

一位朋友請我為他託管 Qwen 3.8 Flash Next：一個 1250 億參數的模型，在一台帶有 RTX 4070 (12 GB) 的機器上。所以我嘗試了 Strata，人們稱之為「比 llama.cpp 快 6 倍」的免費引擎。有用。寫入速度約為每秒 35 個令牌，而 llama.cpp 為 15 個，讀取 100,000 個令牌的程式碼庫只需 2 分 22 秒，而不是 24 分鐘。然後日誌顯示出一些奇怪的東西：顯示卡幾乎沒有嘗試。該影片解釋了原因。同樣的原因使得這個設定對一個人來說非常出色，一旦第二個人加入，不會比 llama.cpp 更快。章節 0:00 一張 12 GB 卡上的 125B 模型 1:16 請求 2:18 Strata 如何分割模型 4:07 機器 5:28 一個人，一個聊天 6:39 長篇閱讀 8:41 幾乎沒有嘗試的卡 9:56 兩個聊天卡 11:41 的相同模型，Strata 結果32.5–38.1 tok/s vs llama.cpp 15.3–16.5 tok/s（stock llama.cpp，無 MTP 草案） • 讀取 100,000 個令牌的 C++ 程式碼庫：Strata 2 分鐘 22 秒 vs llama.cpp 24 分鐘（PStrata 4 tok/s（代碼接受的 404 個起草令牌中的 373 個）與 llama.cpp 15.5 相比。 • 235,000 個令牌文件：在 5 分 5 秒內讀取；發現隱藏密碼。後續問題：11.5 秒（從快取中重用了 229,376 個令牌，6,054 個新令牌） • 隨著聊天的增長而寫入：30.0 tok/s (~1K) → 25.7 (120K) → 24.6 (235K) → 25.7 (120K) → 24.6 (235K) • GPU 1932003 W 193（峰值 W 1935K) • GPU W 1935（峰值 W 1935K) • GPU W 1935（峰值 W 1935K）。 W），全速時鐘(~2,865 MHz) • 所需專家運行的位置（單用戶）：58% 已在卡上，4% 已復製到卡上，38% 在 CPU 上 • 兩個用戶（並行）：~18 tok/s 組合 vs llama.cpp ~19。四个用户：24.2 vs 23.2 • 两个用户同时粘贴约 90,000 个令牌的文档：23 分钟 45 秒 • 四次简短聊天：并行 66.5 秒，连续 49.8 秒 设置 • GPU：NVIDIA RTX 4070，12 GB • CPU：2× Intel Xeon E5-2680 v4 (2016) • RAM：约 170 GB可用（此模型的專家需要約 50 GB；總共 64 GB 是此大小的實際最小值） • 型號：OrcaRouter 的 Qwen 3.8 Flash Next Uncensored，IQ3_XXS GGUF (85 GB)；從 SSD 讀取的 n-gram 表（59 GB） • 引擎：來自上下文模型的原始版本，來自 20120 月 20120 月 2012020205 月的原始型號，502030 月 2012020 月的原始型號，50333 月 20533333333個 [5033 如果型號。草案）與 llama.cpp（庫存） • 所有數字均來自我們自己在 2026 年 10 月 7 日記錄的運行。 成本 2026 年 10 月 7 日左右，二手 RTX 4070 約為 600 美元，64 GB DDR4 套件約為 600 美元490 美元。 RAM 價格變動很快，因此請查看當前清單。 RAM 依型號大小（來自 Strata 文件） 32 GB：編碼器版本 · 48 GB：2 位元版本 · 64 GB：3 位元版本（此處使用） · 96 GB+：~4 位元 #LocalAI #Qwen #Strata #LocalLLM #llamacpp #RTX4070 #AIpen​​APERID #Strata #OpenLLM #llamacpp #RTX4070 #OpenPUV​​F #OVJ3ASource #strata #strataai