リリース: 2026/11/17 12:09 読む: 0
原作者:Ohmhytte
オリジナルソース:https://www.youtube.com/embed/HePsdhmLf_A
最新の AI チップは 1 秒間に約 1,000 兆回の計算を実行できます。 1 つの質問をしても、答えは一度に単語の断片ずつ届きますが、演算を行うチップの部分はほとんどの時間を待機に費やします。何を待っているのですか? 「空はなぜ青いの?」という 1 つの質問をチップを通して追跡します。テキストはトークンになり、その後整数になります。それぞれの数字は何千もの数字のリストになります。モデルの各層はほとんどが行列乗算であり、タイルに分割され、チップのテンソル コア全体で共有されます。質問は一気に読み上げられます。答えは一度に 1 つのトークンしか書き込めず、新しいトークンごとに、ほぼすべてのモデルの重みをメモリから再度読み取る必要があります。80 億の 16 ビット重みを持つモデルの場合、トークンあたり約 15 GB になります。 NVIDIA の H100 の 1 秒あたり 3.35 テラバイトでは、計算自体には約 1,500 万分の 1 秒かかりますが、それには約 4.5 千分の 1 秒かかります。 KV キャッシュ (以前のトークンごとに保持されるキーと値) を追加すると、AI チップがメモリを中心に構築されている理由、およびデータ センターが多くの会話を 1 回の読み取りにまとめて、より少ないビットで重みを保存し、大きなモデルを複数のチップに分割している理由がわかります。表示されているトークン ID と次のトークンの確率は本物です。これらは、この映画で同じ質問をした小さな無重力モデルから得られています。 H100 の数値は、NVIDIA が公開しているピーク時の仕様です。画面上のチップは、この映画のために描かれた一般的な様式化されたアクセラレータであり、実際のチップのレイアウトではありません。タイミングは理想的なカウント (ピーク レート、オーバーヘッドなし) であるため、実際のシステムはさらに遅くなります。そして、重量 80 億のモデルは、Meta の Llama 3 8B の公開された形状を持っています。章 0:00 数字としての 1 つの質問 1:15 数字のリスト 2:15 タイルでの算術 3:34 メモリの壁 5:06 1 つのトークン、1 つのレイヤー、1 つの選択肢 6:31 より多くの人、より少ないビット、より多くのチップ 8:01 答えは一度に 1 つずつ 出典 - NVIDIA テクニカル ブログ、「NVIDIA Hopper Architecture In-Depth」(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in- Depth/ - NVIDIA、H100 Tensor コア GPU 仕様: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA テクニカル ブログ、「NVIDIA Ampere Architecture In-Depth」 (2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in- Depth/ - NVIDIA テクニカル ブログ、「NVIDIA Triton Inference Server と FasterTransformer を使用した大規模トランス モデルの推論の高速化」: https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA テクニカル ブログ、「LLM テクニックの習得: 推論の最適化」: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA Deep学習パフォーマンス ガイド、「行列乗算の背景」: https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani et al.、「Attending Is All You Need」、NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch、 「サブワード単位を使用したレアワードのニューラル機械翻訳」、ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan et al.、「Neural Language Models のスケーリング則」(2020): https://arxiv.org/abs/2001.08361 - R. Pope et al.、「Efficiently Scaling」 Transformer Inference」、MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon et al.、「Padtention を使用した大規模言語モデルの効率的なメモリ管理」、SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie et al.、「GQA: Training Generalized」 「マルチヘッド チェックポイントからのマルチクエリ トランスフォーマー モデル」、EMNLP 2023: https://arxiv.org/abs/2305.13245 - ラマ チーム、AI @ Meta、「ラマ 3 モデルの群れ」(2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al.、 「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」、NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al.、「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」、ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al.、「AWQ: LLM 圧縮および加速のためのアクティベーションを意識した重み量子化」、MLSys 2024: https://arxiv.org/abs/2306.00978 - SK hynix ニュースルーム、「SK hynix が業界初の 12 層を開発」 HBM3」: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音楽と効果音: この映画のために作られたオリジナル。フォント: Source Sans 3 (Adobe) および Figtree (Erik Kennedy)、SIL オープン フォント ライセンス 1.1。 #AI #テクノロジー #科学 #エンジニアリング #コンピューティング
子敬.轮回珠宝
2026-11-22 23:55
kumis patiler
2026-11-22 23:55
Ha Ms
2026-11-22 23:55
CRYPTO_BEN
2026-11-22 23:55
CryptoMetric
2026-11-22 23:55
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
通貨を選択してください
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
通貨を選択してください
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿