發布: 2026/11/17 12:09 閱讀: 0
原文作者:Ohmhytte
原文來源:https://www.youtube.com/embed/HePsdhmLf_A
現代人工智慧晶片每秒可以進行大約一千萬億次計算。問它一個問題,答案仍然一次到達一個單字的片段,而晶片中進行算術運算的部分大部分時間都在等待。还等什么?我們透過晶片來回答一個問題:「為什麼天空是藍色的?」。文字變成標記,然後變成整數;每個數字都變成了數千個數字的列表;模型的每一層主要是矩陣乘法,切成區塊並在晶片的張量核心之間共享。問題是一次讀完的。答案只能一次寫入一個 token,而每個新 token 都需要再次從記憶體中讀取模型的幾乎所有權重:對於具有 80 億個 16 位元權重的模型,每個 token 大約需要 15 GB。以 NVIDIA H100 每秒 3.35 TB 的速度計算,大約需要千分之 4.5 秒,而算術本身大約需要百萬分之 15。添加 KV 快取(為每個早期令牌保留的鍵和值),您就會明白為什麼 AI 晶片是圍繞內存構建的,以及為什麼數據中心將許多對話批量化為一次讀取、以更少的位元存儲權重以及將大模型拆分到多個芯片上。顯示的令牌 ID 和下一個令牌機率是真實的:它們來自一個小型開放權重模型,該模型對這部電影提出了相同的問題。 H100 數據是 NVIDIA 公佈的峰值規格。螢幕上的晶片是為這部電影繪製的通用的、程式化的加速器,而不是任何真實的晶片佈局;計時是理想化的計數(峰值速率,無開銷),因此實際系統速度較慢;重量為80億的模型具有Meta的Llama 3 8B的公開形狀。章節 0:00 一個問題,如數字 1:15 數字列表 2:15 塊中的算術 3:34 內存牆 5:06 一個令牌,一層,一個選擇 6:31 更多的人,更少的比特,更多的芯片 8:01 答案,一次一點 資料來源 - NVIDIA 部落格,“NVIDIA 架構:深度剖析” https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-deep/ - NVIDIA、H100 Tensor Core GPU 規格:https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 技術博客,「NVIDIA Ampere 架構深入架構」(年):https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-deep/ - NVIDIA 技術博客,「使用 NVIDIA Triton 推理伺服器和 FasterTransformer加速大型變壓器模型的推理」:https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 技術博客,「掌握 LLM 技術:推理最佳化」 https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 深度學習效能指南,「矩陣乘法背景」:https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -P. https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch,“帶有子詞單元的稀有詞的神經機器翻譯”,ACL 2016:https://arxiv.org/abs/1508.07909 - J. Kaplan 等人,“神經語言模型的縮放法則https://arxiv.org/abs/2001.08361 - R. Pope 等人,“高效擴展 Transformer 推理”,MLSys 2023:https://arxiv.org/abs/2211.05102 - W. Kwon 等人,“通過 PagedAttention 實現大型語言模型服務的高效能管理模型服務https://arxiv.org/abs/2309.06180 - J. Ainslie 等人,“GQA:從多頭檢查點訓練通用多查詢變壓器模型”,EMNLP 2023:https://arxiv.org/abs/2305.13245 - Llama 團隊,AI24 https://arxiv.org/abs/2407.21783 - T. Dettmers 等人,“LLM.int8():大規模 Transformers 的 8 位元矩陣乘法”,NeurIPS 2022:https://arxiv.org/abs/2208.07339 - E. FrantarSers,「準確訓練後產生,ICGLR Transformers,準確訓練後式,」準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後產生「準確訓練後式2023:https://arxiv.org/abs/2210.17323 - J. Lin 等人,“AWQ:LLM 壓縮和加速的激活感知權重量化”,MLSys 2024:https://arxiv.org/abs/2306.00978 - SK hSKynroom,“業界首款 12306.00978 - SK hSKyniroom,”業界首款 12 層首款HBM3」:https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音樂與音效:原創,為本部電影製作。字體:Source Sans 3 (Adobe) 和 Figtree (Erik Kennedy),SIL 開放字體授權 1.1。 #AI #技術 #科學 #工程 #計算
子敬.轮回珠宝
2026-11-22 23:55
kumis patiler
2026-11-22 23:55
Ha Ms
2026-11-22 23:55
CRYPTO_BEN
2026-11-22 23:55
CryptoMetric
2026-11-22 23:55
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
選擇貨幣
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
選擇貨幣
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿