Les mathématiques derrière la façon dont les LLM sont formés et servis – Reiner Pope

Auteur original：Dwarkesh Patel

Source originale：https://www.youtube.com/embed/xmkSf5IS-zw

A fait un format très différent avec Reiner Pope – une conférence au tableau où il explique comment les LLM frontaliers sont formés et servis. Il est choquant de voir tout ce que l'on peut déduire sur ce que font les laboratoires à partir d'une poignée d'équations, des prix publics des API et de quelques craies. C'est un peu technique, mais je vous encourage à accrocher, ça vaut vraiment le coup. Il y a moins d’une poignée de personnes qui comprennent l’ensemble de l’IA, de la conception matérielle à l’architecture des modèles en passant par Reiner. C'était un vrai plaisir d'apprendre de lui. Reiner est PDG de MatX, une nouvelle startup de puces (divulgation complète – je suis un investisseur providentiel). Il travaillait auparavant chez Google, où il a travaillé sur l'efficacité des logiciels, les compilateurs et l'architecture TPU. Téléchargez la transcription de la transcription ici pour discuter avec un LLM : https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – Comment la taille du lot affecte le coût et la vitesse des jetons 0:31:59 – Comment les modèles MoE sont disposés sur des racks GPU 0:47:02 – Comment le parallélisme du pipeline déplace les couches de modèles entre les racks 1:03:27 – Pourquoi Ilya a dit : "Comme nous le savons maintenant, le pipeline n'est pas judicieux." 1:18:49 – En raison de RL, les modèles peuvent être 100 fois surentraînés au-delà de l'optimal Chinchilla 1:32:52 – Déduire les coûts de mémoire de contexte long à partir du prix des API 2:03:52 – Evolution convergente entre les réseaux neuronaux et la cryptographie