MTP + Ngram 堆叠在 llama.cpp 中 - Qwen3.6 27B，本地速度为 56 tok/s

发布: 2026/05/19 21:00 阅读: 0

原文作者：Fahd Mirza

原文来源：https://www.youtube.com/embed/71T4aQiwZ_I

在主线 llama.cpp 中将 MTP 和 ngram-mod 堆叠在一起，Qwen3.6-27B 从每秒 22 个令牌跃升至 56 个令牌，无需额外模型，也无需自定义构建。 🔥 租赁任何 A6000 或 A5000 GPU 均可享受 50% 折扣，请使用以下链接和优惠券：https://bit.ly/fahd-mirza 优惠券代码：FahdMirza 🔥 给我买杯咖啡来支持频道：https://ko-fi.com/fahdmirza #llamacpp #mtp #multitokenprediction #speculativedecoding #ngrammod 请关注我： ▶ LinkedIn： https://www.linkedin.com/in/fahdmirza/ ▶ YouTube：https://www.youtube.com/@fahdmirza ▶ 博客：https://www.fahdmirza.com 资源： ▶ https://github.com/ggml-org/llama.cpp/pull/22673 保留所有权利 © Fahd Mirza

上一篇：Developer Keynote (Google I/O '26) - American Sign Language 下一篇：CRUSH

近期新闻

更多>>

精选专题

狗狗币鲸鱼活动

通过我们的综合分析，了解狗狗币鲸鱼活动的最新见解。了解趋势、模式以及这些鲸鱼对狗狗币市场的影响。随时了解我们的专家分析，并在您的加密货币之旅中保持领先。
狗狗币挖矿

狗狗币挖矿是向狗狗币区块链添加新交易块的过程。矿工因其工作而获得新的狗狗币奖励。本主题提供与狗狗币挖矿相关的文章，包括如何挖矿狗狗币、最好的挖矿硬件和软件以及狗狗币挖矿的盈利能力。
SpaceX 星舰发射

本主题提供与 SpaceX 星舰发射相关的文章，包括发射日期、任务详细信息和发射状态。通过此信息丰富且全面的资源，了解最新的 SpaceX 星际飞船发射情况。
模因之王：狗狗币

本主题提供与最流行的模因相关的文章，包括“模因之王：狗狗币”。 Memecoin 已成为加密货币领域的主导者。这些数字资产之所以受欢迎有多种原因。他们推动了区块链最具创新性的方面。

精选文章

更多>>