GPU 能力之後是什麼？ AI代理時代CPU需求會增加的原因【Zettai Noia】

原文作者：あ　みつけたわよ。旧・成れの果て戦

原文來源：https://www.youtube.com/embed/HympcQeB38g

#remotion #codex #ai 這是一個粗略的解釋。請告訴我故事的一半。音訊是用irodoriTTS創建的，用sbv2.7訓練並與aivisspeech一起使用。使用Remotion透過codex建立影片。影像的特徵是PixAIsunflower模型，GPTImage2.0.kv快取是Key-Value Cache的縮寫。我讀錯了。參考論文： https://arxiv.org/abs/2511.00739 文章：https://note.com/atom_/n/n1a3ae798251c AI 代理時代 CPU 需求會增加 當看待生成式 AI 的發展時，很多人首先想到的是 GPU 為什麼。它訓練龐大的AI模型，產生圖像、生成視頻，並高速處理大量矩陣運算。 GPU是現代人工智慧核心的半導體，可以說是人工智慧基礎設施投資的象徵。然而，在思考未來的人工智慧基礎設施時，重要的是要明白，它不再是「GPU強大，所以我們只需要看GPU」那麼簡單。事實上，GPU越強大，圍繞它的CPU、記憶體、網路、儲存和調度器就變得越重要。這是因為無論您擁有多麼高效能的 GPU，如果將工作傳遞給 GPU 的機制很慢，GPU 都將不得不等待。人工智慧基礎設施成功的關鍵是超越單一晶片的效能，轉向能夠實現龐大運算資源高效運作的整體設計。 GPU的本質是大規模平行運算。它在 Transformer、Attention、圖像生成、視訊生成和模擬等一次性處理大量相同類型計算的應用中非常強大。 GPU 在矩陣運算方面展現出壓倒性的效能，而矩陣運算是 AI 模型的核心。因此，GPU將繼續在人工智慧學習和大規模推理中發揮核心作用。這並不是 GPU 需求的終結。事實上，人工智慧變得越重要，GPU 就會變得越重要。然而，整個AI服務不僅僅是由矩陣運算組成的。在實際的AI服務中，會發生大量的細節控制處理，例如API接收、使用者認證、請求分發、標記化、佇列管理、批次、日誌記錄、計費、安全性、錯誤處理等。這些不是GPU擅長的龐大平行運算，而是CPU擅長的分支與控制領域。尤其是在人工智慧代理時代，這種CPU端處理的要求將會變得更高。人工智慧代理的作用不僅僅是回答問題。它執行搜尋、開啟瀏覽器、瀏覽資料庫、執行 Python、讀取檔案、呼叫外部 API，如果失敗，則重試。這更像是現實世界的文書工作，而不是模型內的計算。換句話說，人工智慧代理變得越智能，在模型之外的控制、連接、決策和重新執行就越多。在這種情況下，CPU就不僅僅是一個配角了。 CPU 是指揮中心，它將下一步工作傳遞給模型，檢查返回的結果，必要時調用其他工具，並使整個過程繼續前進。如果說GPU是一座巨大的熔爐，那麼CPU就是管理者，負責運送物料、確定訂單、管理流程、出現問題時現場回應。 GPU的效能越高，CPU維持GPU空閒的能力就越重要。當深入了解法學碩士推理時，這種結構是清晰的。推理包括預先填充（一次處理所有輸入句子）和解碼（逐字產生延續）。預填相對容易並行化，是 GPU 擅長的過程。另一方面，解碼是順序的，需要先前的結果來產生下一個令牌，因此 GPU 不能始終以最高效率運行。這裡，推理平台的效能很大程度上取決於請求的混合方式、批次時間以及記憶體的使用方式。更重要的是KV緩存。 KV 快取是一個巨大的工作內存，用於在生成過程中保存上下文。 KV 快取將隨著長文本上下文、多個使用者同時使用、多個候選生成和代理內部循環的增加而擴展。根據需要分配、釋放、重複使用和管理這些記憶體主要是作業系統的工作。這裡再次測試了包括CPU、DRAM、HBM、CXL、SSD和NIC在內的整體設計。換句話說，人工智慧推理正在從僅進行GPU運算的世界演變成CPU、GPU、記憶體、網路和儲存協同工作的分層系統。如果你只看GPU，你會忽略堵塞的管道。無論GPU叢集多強大，如果CPU側調度能力弱、記憶體頻寬不足、網路堵塞、儲存速度慢，整體效能也不會提升。人工智慧基礎設施需要被視為一個整體系統，而不僅僅是一個晶片。 CPU的本質是分支和控制。中斷、異常、特權模式、虛擬記憶體、上下文切換、I/O。 CPU 是一個處理器，它管理著一個我們不知道即將發生什麼的世界。雖然在一次性處理大量相同計算的效率上不如GPU，但在不規則處理、外部連接、細節判斷、故障響應等方面卻很強。這種靈活性對於像人工智慧代理這樣的系統非常重要，因為情況每次都會改變。另一方面，TPU是用於張量計算的專用ASIC。它在大型程式化矩陣運算、雲端大規模推理以及可由編譯器固化的計算圖方面具有優勢。在像 Google 這樣的環境中，模型、編譯器、雲端和硬體可以垂直集成，TPU 成為非常高效的專用工廠。然而，在動態形狀較多、分支詳細、計算獨特的領域，它不如 GPU 靈活。雖然標準化處理能力較強，但在研究、開發、現場回應等方面有其限制，且容易受到快速變化的影響。 LPU 是一種專門用於語言推理的引擎，特別是用於低延遲令牌產生。憑藉人工等待聊天、語音人工智慧、簡短的重新推理以及代理內部的快速思維循環，反應速度具有巨大的價值。快速響應的人工智慧使用戶體驗感覺自然。然而，LPU 不太可能在影像生成、視訊生成、3D、機器人和大規模學習中發揮核心作用。雖然它在低延遲語言推理方面很強，但它的定位並不是萬能的人工智慧工廠。這樣組織起來，CPU負責控制，GPU負責靈活的大規模並行，TPU負責固定張量計算，LPU負責低延遲的語言推理。重要的不是哪一個最偉大。問題是哪個工作應該委託給哪個半導體。人工智慧基礎設施正在朝著按用例進行分工的方向發展，而不是由單一贏家主宰一切。在AI代理時代，CPU將負責行為管理、RAG、DB、API、安全、日誌、計費和重試。 GPU 負責大規模推理和生成，TPU 有效率地處理大量程式化推理，LPU 加速短思維循環和會話回應。如果這裡的CPU很弱，代理每次呼叫工具都會卡住。即使GPU很強，如果搜尋等待、API等待和DB等待增加，人類和GPU都將不得不等待。此外，在實體人工智慧時代，這種結構將蔓延到現實世界。在機器人和 VLA 中，人工智慧需要實際看到、抓取、行走、避免和糾正錯誤，而不僅僅是在螢幕上。在這裡，CPU負責控制車身側的OS、ROS、感測器、馬達、I/O、安全停止、權限管理、日誌等。即使 VLA 決定“抓住杯子”，CPU 也負責實際安全地移動手臂。 GPU 在實體人工智慧方面也保持強勁。作為學習現實的虛擬世界生成引擎，它非常重要，包括視覺理解、VLA 學習、影片生成、世界模型、3D 模擬、合成資料和數位孿生。故障範例和邊緣情況在機器人訓練中​​非常重要。讓學生在現實生活中反覆失敗是危險且昂貴的，因此我們讓他們在虛擬空間中進行大量練習。因此，GPU 不僅僅是一個聊天晶片，而是一個可以讓你創造和練習世界的裝置。綜上所述，頂級GPU的故事並沒有結束，反而進入了第二篇章。 GPU 將繼續成為人工智慧的核心。然而，隨著人工智慧代理和實體人工智慧的普及，CPU、DRAM、HBM、CXL、NIC、SSD 和調度器等外圍層變得越來越大。人工智慧將不再是單一晶片，而是一個文明規模的執行系統。其中，CPU以GPU為中心連接動作，TPU支援常規運算，LPU加速響應。在審視未來的人工智慧基礎設施時，重要的是不僅要專注於 GPU，還要了解圍繞 GPU 展開的半導體領域的巨大分工。