LLM 교육 및 서비스 방법에 대한 수학 – Reiner Pope

원저자：Dwarkesh Patel

원본 소스：https://www.youtube.com/embed/xmkSf5IS-zw

Reiner Pope와 함께 매우 다른 형식을 진행했습니다. 칠판 강의에서는 개척자 LLM의 교육 및 봉사 방법을 안내했습니다. 몇 가지 방정식, 공개 API 가격 및 일부 분필을 통해 실험실에서 수행하는 작업에 대해 얼마나 많은 것을 추론할 수 있는지는 충격적입니다. 다소 기술적인 부분이 있지만, 참고해 보시기 바랍니다. 정말 그럴만한 가치가 있습니다. 라이너는 물론 하드웨어 설계부터 모델 아키텍처까지 AI의 전체 스택을 이해하는 사람은 소수에 불과합니다. 그에게서 배울 수 있어서 정말 기뻤습니다. Reiner는 새로운 칩 스타트업인 MatX의 CEO입니다(전체 공개 - 저는 엔젤 투자자입니다). 그는 이전에 Google에서 소프트웨어 효율성, 컴파일러 및 TPU 아키텍처를 담당했습니다. LLM과 채팅하려면 여기에서 성적표 마크다운을 다운로드하세요. https://gist.github.com/dwarkeshsp/79100f0fdeed69d76241903bb0604dbe 0:00:00 – 배치 크기가 토큰 비용과 속도에 미치는 영향 0:31:59 – MoE 모델이 GPU 랙에 걸쳐 배치되는 방식 0:47:02 – 파이프라인 병렬 처리가 랙 간에 모델 레이어를 이동하는 방식 1:03:27 – Ilya가 "우리가 지금 알고 있듯이 파이프라인은 현명하지 않습니다."라고 말한 이유. 1:18:49 – RL로 인해 모델은 Chinchilla 최적을 넘어 100배 과도하게 훈련될 수 있습니다. 1:32:52 – API 가격 책정에서 긴 컨텍스트 메모리 비용 추론 2:03:52 – 신경망과 암호화 간의 수렴적 진화