發布: 2026/10/31 10:53 閱讀: 0
原文作者:Ignis Inference
原文來源:https://www.youtube.com/embed/DrSSAkaLQqM
專家混合解釋:125B 參數的 LLM 如何在 32 GB GPU 上以每秒約 100 個令牌的速度運作。每個代幣喚醒每層 512 個專家中的 10 個;專家在主機 RAM 中等待,VRAM 專家快取保存正在使用的專家,而代價是在 PCIe 上支付的。完整文章:https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub 上的 ignis:https://github.com/gpillon/ignis (Apache-2.0) 章節 0:00 125B 在 32 GB 卡上 0:20 512 代幣的內容 125B 在 32 GB 卡上 0:20 512 筆者使用 50 12 20 20 120 20 20 12 的內容。讓它們變小 1:11 專家在哪裡live 1:30 緩存命中的頻率 1:47 價格:鏈接 2:08 正確的問題 本視頻中的數字 Qwen3.8-Flash-Next(125B 專家混合,48 層,每層 512 個路由專家,每個令牌 10 個,大約在每個主機上由 x. RTX 5090 (32 GB) 上提供服務(約 12 個) GB/s): - 專家儲存在網格程式碼中,每位專家 2、2.5、3 或 4 位,平均權重 2.5 位:37.7 GB 中的 120.8B 專家參數,固定在主機 RAM 中。 - 一條通道,貪婪,重複一個提示,專家快取 15.70 GB:101.5 tok/s(一個令牌 9.85 毫秒),專家命中率 96.59%,連結上一個令牌 51.6 MB,每個令牌等待副本 1.84 毫秒 (19%)。 - 三個通道,三種不同的提示,相同的伺服器:命中率91.05%,27.5毫秒的回合中鏈路繁忙23.8毫秒(87%),等待副本的回合15.0毫秒(55%)。來源:儲存庫中的 docs/findings/ (flash-next-decode-headroom)、docs/adr/0044(網格中的專家,每個專家有一個 K)和 docs/user/concepts/models-and-artifacts.md。該影片是如何製作的 僅動態圖形,每個數字均來自上述測量。旁白:Qwen3-TTS(AI語音)。音樂:ACE-Step 1.5(AI 生成)。使用超框架建構。 #LLM #MixtureOfExperts #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
選擇貨幣
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
選擇貨幣
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿