法学硕士的培训和服务背后的数学——Reiner Pope

原文作者：Dwarkesh Patel

原文来源：https://www.youtube.com/embed/xmkSf5IS-zw

与 Reiner Pope 进行了一种截然不同的形式——黑板讲座，他介绍了前沿法学硕士的培训和服务方式。令人震惊的是，你可以从一些方程、公共 API 价格和一些粉笔中推断出实验室正在做的事情。这有点技术性，但我鼓励您坚持下去 - 这真的很值得。很少有人像 Reiner 一样了解人工智能的全栈，从硬件设计到模型架构。向他学习真的很高兴。 Reiner 是新芯片初创公司 MatX 的首席执行官（全面披露 - 我是天使投资人）。他之前在 Google 工作，负责软件效率、编译器和 TPU 架构。在此处下载成绩单的 Markdown 以便与 LLM 聊天：https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – 批量大小如何影响令牌成本和速度 0:31:59 – MoE 模型如何在 GPU 机架上布局 0:47:02 – 管道并行性如何跨机架移动模型层1:03:27 – 为什么 Ilya 说：“正如我们现在所知，流水线并不明智。” 1:18:49 – 由于强化学习，模型可能会过度训练 100 倍，超出 Chinchilla 最优值 1:32:52 – 从 API 定价中推导出长上下文内存成本 2:03:52 – 神经网络和密码学之间的收敛演化