Kimi K3 von Grund auf in PyTorch implementieren

Ursprünglicher Autor：Prasoon Mahawar

Originalquelle：https://www.youtube.com/embed/U6sobPCsdaY

Kimi K3 ist ein Open-Weight-Modell mit 2,8 Billionen Parametern und einem Kontextfenster von 1 Million Token. In diesem Video implementieren wir jede grundlegende Architekturidee dahinter von Grund auf in @PyTorch. Paper-Link: https://arxiv.org/abs/2607.24653 Blog: https://www.kimi.ai/blog/kimi-k3 Code-Repo: https://github.com/prasoonmhwr/fromScratch/blob/main/KimiK3/kimiK3.py Für weitere Inhalte wie diesen abonnieren Sie meinen Kanal: (https://www.youtube.com/@prasoonmahawarYT) X (Twitter): https://www.x.com/prasoonmahawar Instagram: (https://www.instagram.com/prasoonmahawar) 👇 Kommentieren Sie Ihre Gedanken ╔═╦╗╔╦╗╔═╦═╦╦╦╦╗╔═╗ ║╚╣║║║╚╣╚╣╔╣╔╣║╚╣═╣ ╠╗║╚╝║║╠╗║╚╣║║║║║═╣ ╚═╩══╩═╩═╩═╩╝╚╩═╩═╝ #ai #airesearch #python #pytorch #moonshotai #kimik3 #llm #llms 00:00 – Intro & Hook 00:05 – Überblick über Architektur 05:12 – The 11 neuartige Beiträge: Unsere Roadmap 07:03 – Kimi Delta Attention 13:03 – Gated MLA + NoPE 16:21 – Attention Residuals (Full + Block) 20:10 – Stabile LatentMoE-Übersicht 22:27 – SiTU-GLU 24:44 – Quantilausgleich 26:58 – Per-Head-Muon 29:14 – Modellkonfiguration 36:31 – Bausteine: RMSNorm, ShortConv, SiTU-GLU 49:48 – Quantile Balancing-Implementierung 1:01:32 – Stabile LatentMoE-Implementierung 1:16:36 – KDA: Recurrent Forward + Chunkwise Forward 1:39:04 – Gated MLA-Implementierung 1:40:49 – Block Attention Residuals-Implementierung 1:42:20 – Per-Head-Muon-Optimierer 1:43:59 – Komplettes KimiK3Block + KimiK3-Modell 1:45:31 – Zusammenfassung aller 11 Beiträge 1:47:14 – Fazit