価格: $0.05526 0.295%
市場価値: $8.67B 0.417%
ひっくり返す (24h): 407.79M 0%
優位性: 0.417%
Price: $0.05526 0.295%
市場価値: $8.67B 0.417%
ひっくり返す (24h): 407.79M 0%
優位性: 0.417% 0.417%
  • 価格: $0.05526 0.295%
  • 市場価値: 8.67B 0.417%
  • ひっくり返す (24h): 407.79M 0%
  • 優位性: 0.417% 0.417%
  • 価格: $0.05526 0.295%
フロントページ > 视频 > 1 つの質問をすると AI チップの中で何が起こるか

1 つの質問をすると AI チップの中で何が起こるか

リリース: 2026/11/17 12:09 読む: 0

原作者:Ohmhytte

オリジナルソース:https://www.youtube.com/embed/HePsdhmLf_A

最新の AI チップは 1 秒間に約 1,000 兆回の計算を実行できます。 1 つの質問をしても、答えは一度に単語の断片ずつ届きますが、演算を行うチップの部分はほとんどの時間を待機に費やします。何を待っているのですか? 「空はなぜ青いの?」という 1 つの質問をチップを通して追跡します。テキストはトークンになり、その後整数になります。それぞれの数字は何千もの数字のリストになります。モデルの各層はほとんどが行列乗算であり、タイルに分割され、チップのテンソル コア全体で共有されます。質問は一気に読み上げられます。答えは一度に 1 つのトークンしか書き込めず、新しいトークンごとに、ほぼすべてのモデルの重みをメモリから再度読み取る必要があります。80 億の 16 ビット重みを持つモデルの場合、トークンあたり約 15 GB になります。 NVIDIA の H100 の 1 秒あたり 3.35 テラバイトでは、計算自体には約 1,500 万分の 1 秒かかりますが、それには約 4.5 千分の 1 秒かかります。 KV キャッシュ (以前のトークンごとに保持されるキーと値) を追加すると、AI チップがメモリを中心に構築されている理由、およびデータ センターが多くの会話を 1 回の読み取りにまとめて、より少ないビットで重みを保存し、大きなモデルを複数のチップに分割している理由がわかります。表示されているトークン ID と次のトークンの確率は本物です。これらは、この映画で同じ質問をした小さな無重力モデルから得られています。 H100 の数値は、NVIDIA が公開しているピーク時の仕様です。画面上のチップは、この映画のために描かれた一般的な様式化されたアクセラレータであり、実際のチップのレイアウトではありません。タイミングは理想的なカウント (ピーク レート、オーバーヘッドなし) であるため、実際のシステムはさらに遅くなります。そして、重量 80 億のモデルは、Meta の Llama 3 8B の公開された形状を持っています。章 0:00 数字としての 1 つの質問 1:15 数字のリスト 2:15 タイルでの算術 3:34 メモリの壁 5:06 1 つのトークン、1 つのレイヤー、1 つの選択肢 6:31 より多くの人、より少ないビット、より多くのチップ 8:01 答えは一度に 1 つずつ 出典 - NVIDIA テクニカル ブログ、「NVIDIA Hopper Architecture In-Depth」(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in- Depth/ - NVIDIA、H100 Tensor コア GPU 仕様: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA テクニカル ブログ、「NVIDIA Ampere Architecture In-Depth」 (2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in- Depth/ - NVIDIA テクニカル ブログ、「NVIDIA Triton Inference Server と FasterTransformer を使用した大規模トランス モデルの推論の高速化」: https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA テクニカル ブログ、「LLM テクニックの習得: 推論の最適化」: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA Deep学習パフォーマンス ガイド、「行列乗算の背景」: https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani et al.、「Attending Is All You Need」、NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch、 「サブワード単位を使用したレアワードのニューラル機械翻訳」、ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan et al.、「Neural Language Models のスケーリング則」(2020): https://arxiv.org/abs/2001.08361 - R. Pope et al.、「Efficiently Scaling」 Transformer Inference」、MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon et al.、「Padtention を使用した大規模言語モデルの効率的なメモリ管理」、SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie et al.、「GQA: Training Generalized」 「マルチヘッド チェックポイントからのマルチクエリ トランスフォーマー モデル」、EMNLP 2023: https://arxiv.org/abs/2305.13245 - ラマ チーム、AI @ Meta、「ラマ 3 モデルの群れ」(2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al.、 「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」、NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al.、「GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers」、ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al.、「AWQ: LLM 圧縮および加速のためのアクティベーションを意識した重み量子化」、MLSys 2024: https://arxiv.org/abs/2306.00978 - SK hynix ニュースルーム、「SK hynix が業界初の 12 層を開発」 HBM3」: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音楽と効果音: この映画のために作られたオリジナル。フォント: Source Sans 3 (Adobe) および Figtree (Erik Kennedy)、SIL オープン フォント ライセンス 1.1。 #AI #テクノロジー #科学 #エンジニアリング #コンピューティング

注目のトピック

  • ドージコインクジラの活動
    ドージコインクジラの活動
    包括的な分析により、Dogecoin クジラの活動に関する最新の洞察を得ることができます。ドージコイン市場におけるこれらのクジラの傾向、パターン、影響を発見してください。私たちの専門家による分析で最新情報を入手し、暗号通貨への取り組みを前進させてください。
  • ドージコインマイニング
    ドージコインマイニング
    Dogecoin マイニングは、Dogecoin ブロックチェーンに新しいトランザクション ブロックを追加するプロセスです。マイナーはその仕事に対して新しいドージコインを受け取ります。このトピックでは、Dogecoin のマイニング方法、最高のマイニング ハードウェアとソフトウェア、Dogecoin マイニングの収益性など、Dogecoin マイニングに関連する記事を提供します。
  • スペースXスターシップの打ち上げ
    スペースXスターシップの打ち上げ
    このトピックでは、打ち上げ日、ミッションの詳細、打ち上げステータスなど、SpaceX Starship の打ち上げに関連する記事を提供します。この有益で包括的なリソースを利用して、最新の SpaceX Starship の打ち上げに関する最新情報を入手してください。
  • ミームの王様: ドージコイン
    ミームの王様: ドージコイン
    このトピックでは、「ミームの王様: ドージコイン」など、最も人気のあるミームに関連する記事を提供します。 Memecoin は暗号通貨分野で支配的なプレーヤーとなっています。これらのデジタル資産はさまざまな理由で人気があります。これらはブロックチェーンの最も革新的な側面を推進します。