法學碩士的培訓和服務背後的數學——Reiner Pope

原文作者：Dwarkesh Patel

原文來源：https://www.youtube.com/embed/xmkSf5IS-zw

與 Reiner Pope 進行了一種截然不同的形式——黑板講座，他介紹了前沿法學碩士的培訓和服務方式。令人震驚的是，你可以從一些方程式、公共 API 價格和一些粉筆推斷實驗室正在做的事情。這有點技術性，但我鼓勵您堅持下去 - 這真的很值得。很少有人像 Reiner 一樣了解人工智慧的全棧，從硬體設計到模型架構。向他學習真的很高興。 Reiner 是新晶片新創公司 MatX 的執行長（全面揭露 - 我是天使投資人）。他之前在 Google 工作，負責軟體效率、編譯器和 TPU 架構。在此下載成績單的 Markdown 以便與 LLM 聊天：https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – 批量大小如何影響令牌成本和速度 0:31:59 – MoE 佈局如何影響令牌機架上模型管道並行性如何跨機架移動模型層1:03:27 – 為什麼 Ilya 說：「正如我們現在所知，流水線並不明智。」1:18:49 – 由於強化學習，模型可能會過度訓練 100 倍，超出 Chinchilla 最優值 1:32:52 – 從 API 定價中推導出 25:525 – 1:32:52 – 從 API 定價 203:5251752 – 從 API 定價的神經學長