價格: $0.05495 -0.0616%
市值: $8.62B 0.4151%
成交額 (24h): 395.07M 0%
統治力: 0.4151%
Price: $0.05495 -0.0616%
市值: $8.62B 0.4151%
成交額 (24h): 395.07M 0%
統治力: 0.4151% 0.4151%
  • 價格: $0.05495 -0.0616%
  • 市值: 8.62B 0.4151%
  • 成交額 (24h): 395.07M 0%
  • 統治力: 0.4151% 0.4151%
  • 價格: $0.05495 -0.0616%
首頁 > 视频 > 混合專家解釋:32 GB GPU 上的 125B LLM

混合專家解釋:32 GB GPU 上的 125B LLM

發布: 2026/10/31 10:53 閱讀: 0

原文作者:Ignis Inference

原文來源:https://www.youtube.com/embed/DrSSAkaLQqM

專家混合解釋:125B 參數的 LLM 如何在 32 GB GPU 上以每秒約 100 個令牌的速度運作。每個代幣喚醒每層 512 個專家中的 10 個;專家在主機 RAM 中等待,VRAM 專家快取保存正在使用的專家,而代價是在 PCIe 上支付的。完整文章:https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub 上的 ignis:https://github.com/gpillon/ignis (Apache-2.0) 章節 0:00 125B 在 32 GB 卡上 0:20 512 代幣的內容 125B 在 32 GB 卡上 0:20 512 筆者使用 50 12 20 20 120 20 20 12 的內容。讓它們變小 1:11 專家在哪裡live 1:30 緩存命中的頻率 1:47 價格:鏈接 2:08 正確的問題 本視頻中的數字 Qwen3.8-Flash-Next(125B 專家混合,48 層,每層 512 個路由專家,每個令牌 10 個,大約在每個主機上由 x. RTX 5090 (32 GB) 上提供服務(約 12 個) GB/s): - 專家儲存在網格程式碼中,每位專家 2、2.5、3 或 4 位,平均權重 2.5 位:37.7 GB 中的 120.8B 專家參數,固定在主機 RAM 中。 - 一條通道,貪婪,重複一個提示,專家快取 15.70 GB:101.5 tok/s(一個令牌 9.85 毫秒),專家命中率 96.59%,連結上一個令牌 51.6 MB,每個令牌等待副本 1.84 毫秒 (19%)。 - 三個通道,三種不同的提示,相同的伺服器:命中率91.05%,27.5毫秒的回合中鏈路繁忙23.8毫秒(87%),等待副本的回合15.0毫秒(55%)。來源:儲存庫中的 docs/findings/ (flash-next-decode-headroom)、docs/adr/0044(網格中的專家,每個專家有一個 K)和 docs/user/concepts/models-and-artifacts.md。該影片是如何製作的 僅動態圖形,每個數字均來自上述測量。旁白:Qwen3-TTS(AI語音)。音樂:ACE-Step 1.5(AI 生成)。使用超框架建構。 #LLM #MixtureOfExperts #MoE

精選專題

  • 狗狗幣鯨魚活動
    狗狗幣鯨魚活動
    透過我們的綜合分析,了解狗狗幣鯨魚活動的最新見解。了解趨勢、模式以及這些鯨魚對狗狗幣市場的影響。隨時了解我們的專家分析,並在您的加密貨幣之旅中保持領先。
  • 狗狗幣挖礦
    狗狗幣挖礦
    狗狗幣挖礦是為狗狗幣區塊鏈添加新交易區塊的過程。礦工因其工作而獲得新的狗狗幣獎勵。本主題提供與狗狗幣挖礦相關的文章,包括如何挖礦狗狗幣、最好的挖礦硬體和軟體以及狗狗幣挖礦的獲利能力。
  • SpaceX 星艦發射
    SpaceX 星艦發射
    本主題提供與 SpaceX 星艦發射相關的文章,包括發射日期、任務詳細資訊和發射狀態。透過此資訊豐富且全面的資源,了解最新的 SpaceX 星際飛船發射情況。
  • 迷因之王:狗狗幣
    迷因之王:狗狗幣
    本主題提供與最受歡迎的迷因相關的文章,包括「迷因之王:狗狗幣」。 Memecoin 已成為加密貨幣領域的主導者。這些數位資產之所以受歡迎有許多原因。他們推動了區塊鏈最具創新性的方面。