價格: $0.05526 0.295%
市值: $8.67B 0.417%
成交額 (24h): 407.79M 0%
統治力: 0.417%
Price: $0.05526 0.295%
市值: $8.67B 0.417%
成交額 (24h): 407.79M 0%
統治力: 0.417% 0.417%
  • 價格: $0.05526 0.295%
  • 市值: 8.67B 0.417%
  • 成交額 (24h): 407.79M 0%
  • 統治力: 0.417% 0.417%
  • 價格: $0.05526 0.295%
首頁 > 视频 > 當你問一個問題時,人工智慧晶片內部會發生什麼

當你問一個問題時,人工智慧晶片內部會發生什麼

發布: 2026/11/17 12:09 閱讀: 0

原文作者:Ohmhytte

原文來源:https://www.youtube.com/embed/HePsdhmLf_A

現代人工智慧晶片每秒可以進行大約一千萬億次計算。問它一個問題,答案仍然一次到達一個單字的片段,而晶片中進行算術運算的部分大部分時間都在等待。还等什么?我們透過晶片來回答一個問題:「為什麼天空是藍色的?」。文字變成標記,然後變成整數;每個數字都變成了數千個數字的列表;模型的每一層主要是矩陣乘法,切成區塊並在晶片的張量核心之間共享。問題是一次讀完的。答案只能一次寫入一個 token,而每個新 token 都需要再次從記憶體中讀取模型的幾乎所有權重:對於具有 80 億個 16 位元權重的模型,每個 token 大約需要 15 GB。以 NVIDIA H100 每秒 3.35 TB 的速度計算,大約需要千分之 4.5 秒,而算術本身大約需要百萬分之 15。添加 KV 快取(為每個早期令牌保留的鍵和值),您就會明白為什麼 AI 晶片是圍繞內存構建的,以及為什麼數據中心將許多對話批量化為一次讀取、以更少的位元存儲權重以及將大模型拆分到多個芯片上。顯示的令牌 ID 和下一個令牌機率是真實的:它們來自一個小型開放權重模型,該模型對這部電影提出了相同的問題。 H100 數據是 NVIDIA 公佈的峰值規格。螢幕上的晶片是為這部電影繪製的通用的、程式化的加速器,而不是任何真實的晶片佈局;計時是理想化的計數(峰值速率,無開銷),因此實際系統速度較慢;重量為80億的模型具有Meta的Llama 3 8B的公開形狀。章節 0:00 一個問題,如數字 1:15 數字列表 2:15 塊中的算術 3:34 內存牆 5:06 一個令牌,一層,一個選擇 6:31 更多的人,更少的比特,更多的芯片 8:01 答案,一次一點 資料來源 - NVIDIA 部落格,“NVIDIA 架構:深度剖析” https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-deep/ - NVIDIA、H100 Tensor Core GPU 規格:https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 技術博客,「NVIDIA Ampere 架構深入架構」(年):https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-deep/ - NVIDIA 技術博客,「使用 NVIDIA Triton 推理伺服器和 FasterTransformer加速大型變壓器模型的推理」:https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 技術博客,「掌握 LLM 技術:推理最佳化」 https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 深度學習效能指南,「矩陣乘法背景」:https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -learning/performance/dl-performance-matrix-multiplication/index.html -P. https://arxiv.org/abs/1706.03762 - R. Sennrich、B. Haddow、A. Birch,“帶有子詞單元的稀有詞的神經機器翻譯”,ACL 2016:https://arxiv.org/abs/1508.07909 - J. Kaplan 等人,“神經語言模型的縮放法則https://arxiv.org/abs/2001.08361 - R. Pope 等人,“高效擴展 Transformer 推理”,MLSys 2023:https://arxiv.org/abs/2211.05102 - W. Kwon 等人,“通過 PagedAttention 實現大型語言模型服務的高效能管理模型服務https://arxiv.org/abs/2309.06180 - J. Ainslie 等人,“GQA:從多頭檢查點訓練通用多查詢變壓器模型”,EMNLP 2023:https://arxiv.org/abs/2305.13245 - Llama 團隊,AI24 https://arxiv.org/abs/2407.21783 - T. Dettmers 等人,“LLM.int8():大規模 Transformers 的 8 位元矩陣乘法”,NeurIPS 2022:https://arxiv.org/abs/2208.07339 - E. FrantarSers,「準確訓練後產生,ICGLR Transformers,準確訓練後式,」準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後的準確訓練可量化,ICGLR Transformers,準確訓練後產生「準確訓練後式2023:https://arxiv.org/abs/2210.17323 - J. Lin 等人,“AWQ:LLM 壓縮和加速的激活感知權重量化”,MLSys 2024:https://arxiv.org/abs/2306.00978 - SK hSKynroom,“業界首款 12306.00978 - SK hSKyniroom,”業界首款 12 層首款HBM3」:https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 音樂與音效:原創,為本部電影製作。字體:Source Sans 3 (Adobe) 和 Figtree (Erik Kennedy),SIL 開放字體授權 1.1。 #AI #技術 #科學 #工程 #計算

精選專題

  • 狗狗幣鯨魚活動
    狗狗幣鯨魚活動
    透過我們的綜合分析,了解狗狗幣鯨魚活動的最新見解。了解趨勢、模式以及這些鯨魚對狗狗幣市場的影響。隨時了解我們的專家分析,並在您的加密貨幣之旅中保持領先。
  • 狗狗幣挖礦
    狗狗幣挖礦
    狗狗幣挖礦是為狗狗幣區塊鏈添加新交易區塊的過程。礦工因其工作而獲得新的狗狗幣獎勵。本主題提供與狗狗幣挖礦相關的文章,包括如何挖礦狗狗幣、最好的挖礦硬體和軟體以及狗狗幣挖礦的獲利能力。
  • SpaceX 星艦發射
    SpaceX 星艦發射
    本主題提供與 SpaceX 星艦發射相關的文章,包括發射日期、任務詳細資訊和發射狀態。透過此資訊豐富且全面的資源,了解最新的 SpaceX 星際飛船發射情況。
  • 迷因之王:狗狗幣
    迷因之王:狗狗幣
    本主題提供與最受歡迎的迷因相關的文章,包括「迷因之王:狗狗幣」。 Memecoin 已成為加密貨幣領域的主導者。這些數位資產之所以受歡迎有許多原因。他們推動了區塊鏈最具創新性的方面。