发布: 2026/11/17 12:09 阅读: 0
原文作者:Ohmhytte
原文来源:https://www.youtube.com/embed/HePsdhmLf_A
现代人工智能芯片每秒可以进行大约一千万亿次计算。问它一个问题,答案仍然一次到达一个单词的片段,而芯片中进行算术运算的部分大部分时间都在等待。还等什么?我们通过芯片来回答一个问题:“为什么天空是蓝色的?”。文本变成标记,然后变成整数;每个数字都变成了数千个数字的列表;模型的每一层主要是矩阵乘法,切成块并在芯片的张量核心之间共享。问题是一次性读完的。答案只能一次写入一个 token,并且每个新 token 都需要再次从内存中读取模型的几乎所有权重:对于具有 80 亿个 16 位权重的模型,每个 token 大约需要 15 GB。以 NVIDIA H100 每秒 3.35 TB 的速度计算,大约需要千分之 4.5 秒,而算术本身大约需要百万分之 15。添加 KV 缓存(为每个早期令牌保留的键和值),您就会明白为什么 AI 芯片是围绕内存构建的,以及为什么数据中心将许多对话批量化为一次读取、以更少的位存储权重以及将大模型拆分到多个芯片上。显示的令牌 ID 和下一个令牌概率是真实的:它们来自一个小型开放权重模型,该模型对这部电影提出了相同的问题。 H100 数据是 NVIDIA 公布的峰值规格。屏幕上的芯片是为这部电影绘制的通用的、程式化的加速器,而不是任何真实的芯片布局;计时是理想化的计数(峰值速率,无开销),因此实际系统速度较慢;重量为80亿的模型具有Meta的Llama 3 8B的公开形状。章节 0:00 一个问题,如数字 1:15 数字列表 2:15 块中的算术 3:34 内存墙 5:06 一个令牌,一层,一个选择 6:31 更多的人,更少的比特,更多的芯片 8:01 答案,一次一点 资料来源 - NVIDIA 技术博客,“NVIDIA Hopper 架构深度剖析”(2022 年): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-deep/ - NVIDIA、H100 Tensor Core GPU 规格:https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 技术博客,“NVIDIA Ampere 架构深入”(2020 年):https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-deep/ - NVIDIA 技术博客,“使用 NVIDIA Triton 推理服务器和 FasterTransformer 加速大型变压器模型的推理”:https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 技术博客,“掌握 LLM 技术:推理优化”: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 深度学习性能指南,“矩阵乘法背景”:https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani 等人,“注意力就是您所需要的”,NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch,“带有子词单元的稀有词的神经机器翻译”,ACL 2016:https://arxiv.org/abs/1508.07909 - J. Kaplan 等人,“神经语言模型的缩放法则”(2020): https://arxiv.org/abs/2001.08361 - R. Pope 等人,“高效扩展 Transformer 推理”,MLSys 2023:https://arxiv.org/abs/2211.05102 - W. Kwon 等人,“通过 PagedAttention 实现大型语言模型服务的高效内存管理”,SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie 等人,“GQA:从多头检查点训练通用多查询变压器模型”,EMNLP 2023:https://arxiv.org/abs/2305.13245 - Llama 团队,AI @ Meta,“The Llama 3 Herd of Models”(2024 年): https://arxiv.org/abs/2407.21783 - T. Dettmers 等人,“LLM.int8():大规模 Transformers 的 8 位矩阵乘法”,NeurIPS 2022:https://arxiv.org/abs/2208.07339 - E. Frantar 等人,“GPTQ:生成式的准确训练后量化预训练 Transformers”,ICLR 2023:https://arxiv.org/abs/2210.17323 - J. Lin 等人,“AWQ:LLM 压缩和加速的激活感知权重量化”,MLSys 2024:https://arxiv.org/abs/2306.00978 - SK hynix Newsroom,“SK hynix开发业界首款 12 层 HBM3”:https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音乐和音效:原创,为本部电影制作。字体:Source Sans 3 (Adobe) 和 Figtree (Erik Kennedy),SIL 开放字体许可证 1.1。 #AI #技术 #科学 #工程 #计算
子敬.轮回珠宝
2026-11-22 23:55
kumis patiler
2026-11-22 23:55
Ha Ms
2026-11-22 23:55
CRYPTO_BEN
2026-11-22 23:55
CryptoMetric
2026-11-22 23:55
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
选择货币
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
选择货币
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿