Die Mathematik hinter der Ausbildung und Betreuung von LLMs – Reiner Pope

Ursprünglicher Autor：Dwarkesh Patel

Originalquelle：https://www.youtube.com/embed/xmkSf5IS-zw

Habe mit Reiner Pope ein ganz anderes Format durchgeführt – eine Tafelvorlesung, in der er erläutert, wie LLMs im Grenzbereich ausgebildet und bedient werden. Es ist schockierend, wie viel man aus einer Handvoll Gleichungen, öffentlichen API-Preisen und etwas Kreide über die Arbeit der Labore schließen kann. Es ist ein bisschen technisch, aber ich ermutige Sie, durchzuhalten – es lohnt sich wirklich. Es gibt weniger als eine Handvoll Menschen, die den gesamten Bereich der KI vom Hardware-Design bis zur Modellarchitektur so gut verstehen wie Reiner. Es war eine wahre Freude, von ihm zu lernen. Reiner ist CEO von MatX, einem neuen Chip-Startup (vollständige Offenlegung: Ich bin ein Angel-Investor). Zuvor war er bei Google tätig, wo er sich mit Softwareeffizienz, Compilern und TPU-Architektur beschäftigte. Laden Sie hier den Markdown des Transkripts herunter, um mit einem LLM zu chatten: https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – Wie sich die Stapelgröße auf Token-Kosten und -Geschwindigkeit auswirkt 0:31:59 – Wie MoE-Modelle über GPU-Racks verteilt werden 0:47:02 – Wie Pipeline-Parallelität Modellebenen verschiebt Racks 1:03:27 – Warum Ilya sagte: „Wie wir jetzt wissen, ist Pipelining nicht klug.“ 1:18:49 – Aufgrund von RL sind Modelle möglicherweise 100-mal übertrainiert über Chinchilla-optimal 1:32:52 – Ableitung der Kosten für langen Kontextspeicher aus API-Preisen 2:03:52 – Konvergente Entwicklung zwischen neuronalen Netzen und Kryptographie