在 PyTorch 中从头开始实现 Kimi K3

原文作者：Prasoon Mahawar

原文来源：https://www.youtube.com/embed/U6sobPCsdaY

Kimi K3 是一个 2.8 万亿参数的开放权重模型，具有 100 万个令牌上下文窗口，在本视频中，我们在 @PyTorch 中从头开始实现其背后的每个核心架构思想。论文链接：https://arxiv.org/abs/2607.24653 博客：https://www.kimi.ai/blog/kimi-k3 代码库：https://github.com/prasoonmhwr/fromScratch/blob/main/KimiK3/kimiK3.py 有关更多此类内容，请订阅我的频道：(https://www.youtube.com/@prasoonmahawarYT) X (Twitter)： https://www.x.com/prasoonmahawar Instagram: (https://www.instagram.com/prasoonmahawar) 👇评论你的想法╔═╦╗╔╦╗╔═╦═╦╦╦╦╗╔═╗ ║╚╣║║║╚╣╚╣╔╣╔╣║╚╣═╣╠╗║╚╝║║╠╗║╚╣║║║║║═╣ ╚═╩══╩═╩═╩═╩╝╚╩═╩═╝ #ai #airesearch #python #pytorch #moonshotai #kimik3 #llm #llms 00:00 — 介绍和挂钩 00:05 — 架构概述 05:12 — 11新颖贡献：我们的路线图 07:03 — Kimi Delta 注意力 13:03 — 门控 MLA + NoPE 16:21 — 注意力残差（完整 + 块） 20:10 — 稳定 LatentMoE 概述 22:27 — SiTU-GLU 24:44 — 分位数平衡 26:58 — 每头 Muon 29:14 — 模型配置36:31 — 构建模块：RMSNorm、ShortConv、SiTU-GLU 49:48 — 分位数平衡实现 1:01:32 — 稳定 LatentMoE 实现 1:16:36 — KDA：循环前向 + 分块前向 1:39:04 — 门控 MLA 实现 1:40:49 — 块注意力残差实现 1:42:20 — 每头Muon 优化器 1:43:59 — 完整的 KimiK3Block + KimiK3 模型 1:45:31 — 所有 11 项贡献回顾 1:47:14 — 结论