在 PyTorch 中從頭開始實現 Kimi K3

原文作者：Prasoon Mahawar

原文來源：https://www.youtube.com/embed/U6sobPCsdaY

Kimi K3 是一個 2.8 兆參數的開放權重模型，具有 100 萬個令牌上下文窗口，在本影片中，我們在 @PyTorch 中從頭開始實現其背後的每個核心架構思想。論文連結：https://arxiv.org/abs/2607.24653 部落格：https://www.kimi.ai/blog/kimi-k3 程式庫：https://github.com/prasoonmhwr/fromScratch/blob/main/KimiK3/kimiK3.pyhttps 有關更多此類內容，請訂閱我的youtube. (Twitter): https://www.x.com/prasoonmahawar Instagram: (https://www.instagram.com/prasoonmahawar) 👇評論你的想法╔═╦╗╔╦╗╔═╦═ ║╚╣║║║╚╣╚╣╔╣╔╣║╚╣═╣╠╗║╚╝║║ ╚╩╩══╩═╩═╩═╩╝╚╩═╩═╝ #ai #airesearch #python #pytorch #moonshotai #kimik3 #llm #ai #airesearch #python #pytorch #moonshotai #kimik3 #llm # 11新穎貢獻：我們的路線圖 07:03 — Kimi Delta 注意力 13:03 — 門控 MLA + NoPE 16:21 — 注意力殘差（完整 + 塊） 20:10 — 穩定 LatentMoE 概述 22:27 — SiTU-GLU 24:44 — 分數 —模型配置36:31 — 建構模組：RMSNorm、ShortConv、SiTU-GLU 49:48 — 分位數平衡實作 1:01:32 — 穩定 LatentMoE 實作 1:16:36 — KDA：循環前向 + 分塊前向 1:39:04 — 門控注意力實現 40:40:00每頭Muon 優化器 1:43:59 — 完整的 KimiK3Block + KimiK3 模型 1:45:31 — 所有 11 項貢獻回顧 1:47:14 — 結論