LLM のトレーニングとサービスの背後にある数学 – Reiner Pope

原作者：Dwarkesh Patel

オリジナルソース：https://www.youtube.com/embed/xmkSf5IS-zw

Reiner Pope とはまったく異なる形式で、辺境の LLM がどのように訓練され、奉仕されるのかを説明する黒板講義を行いました。いくつかの方程式、公開 API の価格、チョークから、研究所が何を行っているかをどれほど推測できるかは衝撃的です。少し専門的ですが、頑張って取り組むことをお勧めします。本当に価値があります。 Reiner ほどハードウェア設計からモデル アーキテクチャに至るまで、AI の完全なスタックを理解している人は数えるほどしかいません。彼から学ぶことができて本当にうれしかったです。 Reiner は、新しいチップのスタートアップである MatX の CEO です (完全に開示します - 私はエンジェル投資家です)。以前は Google に勤務し、ソフトウェアの効率化、コンパイラ、TPU アーキテクチャに取り組んでいました。 LLM とチャットするには、トランスクリプトのマークダウンをここからダウンロードしてください: https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – バッチ サイズがトークンのコストと速度にどのように影響するか 0:31:59 – MoE モデルが GPU ラック全体にどのように配置されるか 0:47:02 – パイプラインの並列処理がどのようにモデル レイヤーを移動するかラック 1:03:27 – イリヤが「今わかっているように、パイプライン化は賢明ではない」と言った理由。 1:18:49 – RL により、モデルはチンチラ最適を超えて 100 倍オーバートレーニングされる可能性がある 1:32:52 – API の価格設定から長いコンテキスト メモリのコストを推定する 2:03:52 – ニューラル ネットと暗号化の間の収束進化