发布: 2026/10/31 10:53 阅读: 0
原文作者:Ignis Inference
原文来源:https://www.youtube.com/embed/DrSSAkaLQqM
专家混合解释:125B 参数的 LLM 如何在 32 GB GPU 上以每秒约 100 个令牌的速度运行。每个令牌唤醒每层 512 个专家中的 10 个;专家在主机 RAM 中等待,VRAM 专家缓存保存正在使用的专家,而代价是在 PCIe 上支付的。完整文章:https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub 上的 ignis:https://github.com/gpillon/ignis (Apache-2.0) 章节 0:00 125B 在 32 GB 卡上 0:20 512 个专家,每个代币 10 个 0:37 只阅读您使用的内容 0:52 让它们变小 1:11 专家在哪里live 1:30 缓存命中的频率 1:47 价格:链接 2:08 正确的问题 本视频中的数字 Qwen3.8-Flash-Next(125B 专家混合,48 层,每层 512 个路由专家,每个令牌 10 个,大约 6B 活动),由 ignis 在 PCIe 3.0 x16 主机上的一个 RTX 5090 (32 GB) 上提供服务(大约 12 个) GB/s): - 专家存储在网格代码中,每个专家 2、2.5、3 或 4 位,平均权重 2.5 位:37.7 GB 中的 120.8B 专家参数,固定在主机 RAM 中。 - 一条通道,贪婪,重复一个提示,专家缓存 15.70 GB:101.5 tok/s(一个令牌 9.85 毫秒),专家命中率 96.59%,链接上一个令牌 51.6 MB,每个令牌等待副本 1.84 毫秒 (19%)。 - 三个通道,三种不同的提示,相同的服务器:命中率91.05%,27.5毫秒的回合中链路繁忙23.8毫秒(87%),等待副本的回合15.0毫秒(55%)。来源:存储库中的 docs/findings/ (flash-next-decode-headroom)、docs/adr/0044(网格中的专家,每个专家有一个 K)和 docs/user/concepts/models-and-artifacts.md。该视频是如何制作的 仅动态图形,每个数字均来自上述测量。旁白:Qwen3-TTS(AI语音)。音乐:ACE-Step 1.5(AI 生成)。使用超框架构建。 #LLM #MixtureOfExperts #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
选择货币
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
选择货币
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿