价格: $0.05495 -0.0616%
市值: $8.62B 0.4151%
成交额 (24h): 395.07M 0%
统治地位: 0.4151%
Price: $0.05495 -0.0616%
市值: $8.62B 0.4151%
成交额 (24h): 395.07M 0%
统治地位: 0.4151% 0.4151%
  • 价格: $0.05495 -0.0616%
  • 市值: 8.62B 0.4151%
  • 成交额 (24h): 395.07M 0%
  • 统治地位: 0.4151% 0.4151%
  • 价格: $0.05495 -0.0616%
首页 > 视频 > 混合专家解释:32 GB GPU 上的 125B LLM

混合专家解释:32 GB GPU 上的 125B LLM

发布: 2026/10/31 10:53 阅读: 0

原文作者:Ignis Inference

原文来源:https://www.youtube.com/embed/DrSSAkaLQqM

专家混合解释:125B 参数的 LLM 如何在 32 GB GPU 上以每秒约 100 个令牌的速度运行。每个令牌唤醒每层 512 个专家中的 10 个;专家在主机 RAM 中等待,VRAM 专家缓存保存正在使用的专家,而代价是在 PCIe 上支付的。完整文章:https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub 上的 ignis:https://github.com/gpillon/ignis (Apache-2.0) 章节 0:00 125B 在 32 GB 卡上 0:20 512 个专家,每个代币 10 个 0:37 只阅读您使用的内容 0:52 让它们变小 1:11 专家在哪里live 1:30 缓存命中的频率 1:47 价格:链接 2:08 正确的问题 本视频中的数字 Qwen3.8-Flash-Next(125B 专家混合,48 层,每层 512 个路由专家,每个令牌 10 个,大约 6B 活动),由 ignis 在 PCIe 3.0 x16 主机上的一个 RTX 5090 (32 GB) 上提供服务(大约 12 个) GB/s): - 专家存储在网格代码中,每个专家 2、2.5、3 或 4 位,平均权重 2.5 位:37.7 GB 中的 120.8B 专家参数,固定在主机 RAM 中。 - 一条通道,贪婪,重复一个提示,专家缓存 15.70 GB:101.5 tok/s(一个令牌 9.85 毫秒),专家命中率 96.59%,链接上一个令牌 51.6 MB,每个令牌等待副本 1.84 毫秒 (19%)。 - 三个通道,三种不同的提示,相同的服务器:命中率91.05%,27.5毫秒的回合中链路繁忙23.8毫秒(87%),等待副本的回合15.0毫秒(55%)。来源:存储库中的 docs/findings/ (flash-next-decode-headroom)、docs/adr/0044(网格中的专家,每个专家有一个 K)和 docs/user/concepts/models-and-artifacts.md。该视频是如何制作的 仅动态图形,每个数字均来自上述测量。旁白:Qwen3-TTS(AI语音)。音乐:ACE-Step 1.5(AI 生成)。使用超框架构建。 #LLM #MixtureOfExperts #MoE

精选专题

  • 狗狗币鲸鱼活动
    狗狗币鲸鱼活动
    通过我们的综合分析,了解狗狗币鲸鱼活动的最新见解。了解趋势、模式以及这些鲸鱼对狗狗币市场的影响。随时了解我们的专家分析,并在您的加密货币之旅中保持领先。
  • 狗狗币挖矿
    狗狗币挖矿
    狗狗币挖矿是向狗狗币区块链添加新交易块的过程。矿工因其工作而获得新的狗狗币奖励。本主题提供与狗狗币挖矿相关的文章,包括如何挖矿狗狗币、最好的挖矿硬件和软件以及狗狗币挖矿的盈利能力。
  • SpaceX 星舰发射
    SpaceX 星舰发射
    本主题提供与 SpaceX 星舰发射相关的文章,包括发射日期、任务详细信息和发射状态。通过此信息丰富且全面的资源,了解最新的 SpaceX 星际飞船发射情况。
  • 模因之王:狗狗币
    模因之王:狗狗币
    本主题提供与最流行的模因相关的文章,包括“模因之王:狗狗币”。 Memecoin 已成为加密货币领域的主导者。这些数字资产之所以受欢迎有多种原因。他们推动了区块链最具创新性的方面。