풀어 주다: 2026/11/17 12:09 읽다: 0
원저자:Ohmhytte
원본 소스:https://www.youtube.com/embed/HePsdhmLf_A
최신 AI 칩은 초당 약 1000조 번의 계산을 수행할 수 있습니다. 하나의 질문을 하면 한 번에 한 단어씩 답이 나오는 반면, 연산을 수행하는 칩 부분은 대부분의 시간을 기다리며 보냅니다. 무엇을 기다리고 있나요? 우리는 칩을 통해 "하늘은 왜 파란색인가?"라는 하나의 질문을 따라갑니다. 텍스트는 토큰이 되고 정수가 됩니다. 각 숫자는 수천 개의 숫자 목록이 됩니다. 모델의 모든 레이어는 대부분 행렬 곱셈이며 타일로 자르고 칩의 텐서 코어에서 공유됩니다. 문제가 한꺼번에 읽혀집니다. 답은 한 번에 하나의 토큰만 쓸 수 있으며 모든 새 토큰에는 거의 모든 모델 가중치를 메모리에서 다시 읽어야 합니다. 즉, 80억 개의 16비트 가중치가 있는 모델의 경우 토큰당 약 15GB입니다. NVIDIA H100의 초당 3.35테라바이트에서는 약 4.5,000분의 1초가 소요되는 반면, 연산 자체는 약 1,500만분의 1이 소요됩니다. KV 캐시, 모든 이전 토큰에 대해 유지된 키 및 값을 추가하면 AI 칩이 메모리를 중심으로 구축된 이유와 데이터 센터가 많은 대화를 하나의 읽기로 일괄 처리하고 더 적은 비트로 가중치를 저장하며 여러 칩에 걸쳐 큰 모델을 분할하는 이유를 알 수 있습니다. 표시된 토큰 ID와 다음 토큰 확률은 실제입니다. 이는 이 영화에 대해 동일한 질문을 한 소규모 개방형 모델에서 나온 것입니다. H100 수치는 NVIDIA가 게시한 최고 사양입니다. 화면의 칩은 실제 칩의 레이아웃이 아니라 이 영화를 위해 그려진 일반적이고 양식화된 가속기입니다. 타이밍은 이상적인 개수(최고 속도, 오버헤드 없음)이므로 실제 시스템은 더 느립니다. 80억 중량 모델은 Meta의 Llama 3 8B 형태로 공개되었습니다. 챕터 0:00 숫자로 된 하나의 질문 1:15 숫자 목록 2:15 타일의 산술 3:34 메모리 벽 5:06 하나의 토큰, 하나의 레이어, 하나의 선택 6:31 더 많은 사람, 더 적은 비트, 더 많은 칩 8:01 한 번에 하나씩 답변 출처 - NVIDIA 기술 블로그, "NVIDIA Hopper Architecture In-Depth"(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-length/ - NVIDIA, H100 Tensor Core GPU 사양: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 기술 블로그, "NVIDIA Ampere Architecture In-Depth"(2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-length/ - NVIDIA 기술 블로그, "Nvidia Triton 추론 서버 및 FasterTransformer를 사용하여 대형 변압기 모델에 대한 가속 추론": https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 기술 블로그, "LLM 기법 익히기: 추론 최적화": https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 딥 러닝 성능 가이드, "행렬 곱셈 배경": https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani 외, "주의가 전부입니다" 필요합니다", NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich, B. Haddow, A. Birch, "하위 단어 단위를 사용하는 희귀 단어의 신경 기계 번역", ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan 외, "신경 언어에 대한 확장 법칙 모델"(2020): https://arxiv.org/abs/2001.08361 - R. Pope 외, "Efficiently Scaling Transformer Inference", MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon 외, "PagedAttention을 사용한 대규모 언어 모델 제공을 위한 효율적인 메모리 관리", SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie 외, "GQA: 다중 헤드 체크포인트에서 일반화된 다중 쿼리 변환기 모델 교육", EMNLP 2023: https://arxiv.org/abs/2305.13245 - Llama 팀, AI @ Meta, "Llama 3 모델 무리" (2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al., "LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale", NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al., "GPTQ: Accurate Post-Training Quantization" for Generative Pre-trained Transformers", ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024: https://arxiv.org/abs/2306.00978 - SK하이닉스 뉴스룸, "SK하이닉스 업계 최초의 12레이어 HBM3 개발: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 음악 및 음향 효과: 이 영화를 위해 제작된 원본. 글꼴: Source Sans 3(Adobe) 및 Figtree(Erik Kennedy), SIL Open Font License 1.1. #AI #기술 #과학 #엔지니어링 #컴퓨팅
子敬.轮回珠宝
2026-11-22 23:55
kumis patiler
2026-11-22 23:55
Ha Ms
2026-11-22 23:55
CRYPTO_BEN
2026-11-22 23:55
CryptoMetric
2026-11-22 23:55
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
통화 선택
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
통화 선택
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿