這個AI模型的設定檔的每一行都是一張紙

原文作者：CloudAICode

原文來源：https://www.youtube.com/embed/KridVjxKMdo

#qwen #deepseek #flashattention 沒有人能跟上人工智慧研究的步伐，人們給你的閱讀清單是根據論文的有趣程度而不是你的花費來排名的。相反，打開前沿開放模型的配置文件，排名會自動寫入：其中的每一行都是某人必須首先發表的論文，只有其中的少數人決定您的服務賬單是否需要支付。該影片逐行讀取一個配置文件，並根據其實際購買的內容對後面的 11 篇論文進行排名。它從一個 2.4 兆個參數檔開始，其中每個代幣有 512 名專家，旁邊有 10 名專家，因此 950 億個參數打開，其餘參數處於睡眠狀態，並追溯到 Shazeer 2017 年的稀疏門控專家混合，以及其聲稱的 1370 億個參數的 1000 倍容量增益。然後是 FlashAttention，其中的見解是 IO 意識而不是更好的數學：第一篇論文中 GPT-2 的利用率為 3 倍，版本 3 中 Hopper 的利用率為 35% 到 75%，版本 4 中每秒 1,613 teraflops，B200 的利用率為 71%，加上四年前的論文，加上了四個星期內發布了四個星期內的論文，加上四個星期內發布。旋轉嵌入是由Jianlin Su在RoFormer前四個星期發表的一篇中文博客文章，在Qwen中以1000萬繩索θ的形式出現，在GLM中以800萬繩索θ的形式出現，在DeepSeek中以縮放塊形式出現10,000的繩索θ。快取沿襲從 2019 年的多查詢注意力，到 64 個查詢頭到 4 個鍵值頭的分組查詢注意力，分頁注意力和 vLLM 的 2 到 4 倍吞吐量，到 DeepSeek 的潛在註意力削減了 93.3% 的緩存，從 65,536 計算出 1,048 倍緩存的價格。其他七個也被閱讀：思想鍊和德克薩斯大學審計發現符號任務獲得了 14.2 分，數學獲得了 12.3 分，但在其他地方幾乎沒有獲得什麼，ReAct 及其三種已知的故障模式，GraphRAG 和同一作者在七個月後發布的更便宜的方法，MCP 和 A2A，CLIP 和 BLIP，以及隱藏在文件中作為稀疏的第一個索引文件的第一個學習索引文件。該排名是為那些為推理付費的人而寫的，如果你不這樣做，那麼它的價值就會降低。將模型視為已解決的商品，在呼叫和訂單翻轉之間的空間中解決您的難題，首先進行 ReAct 和檢索工作，效率四可以等待一個月。 FlashAttention 4 的數字也來自測試版標籤，但尚未發布穩定版本。 ⏱️ TIMEST？ vLLM 06:31 - 潛在註意力減少 93% 07:26 - 思想鏈，經過審核 08:28 - ReAct 和代理循環 09:12 - GraphRAG 及其更便宜的續集 10:54 - 排名，未對沖 12:20 - 第 12 篇論文和一個賭注支付租金的四個：驚人的大型神經網路（稀疏門控專家混合體，2017） https://arxiv.org/abs/1701.06538 FlashAttention（IO 感知精確注意力）https://arxiv.org/abs/2205.14135 flash-attention（您固定的儲存庫RoFormer（旋轉位置嵌入） https://arxiv.org/abs/2104.09864 蘇建林的博客，旋轉首先出現 https://kexue.fm Fast Transformer Decoding（多查詢注意力，2019） https://arxiv.org/abs/1911.02150 Gtenivtionals75025121502521215032021509362136936 月）202139936 月和 vLLM https://arxiv.org/abs/2309.06180 vLLM（服務引擎） https://github.com/vllm-project/vllm DeepSeek-V2（多頭潛在註意力） https://arxiv.org/abs/2405.04434 ⚡ 其他，第十二個十二個 •思想鏈提示https://arxiv.org/abs/2201.11903 • To CoT or not to CoT（德克薩斯大學薈萃分析） • ReAct（原因與行動） https://arxiv.org/abs/2210.03629 • GraphRAG（微軟研究院） https://arxiv.org/abab 104/ab160162162163/ab LazyGraphRAG（同一作者的更便宜的後續產品） •模型上下文協議 https://modelcontextprotocol.io • A2A 協議（Linux 基金會） • CLIP（學習可轉移視覺模型） https://arxiv.org/abs/2103.00020 • BLIP（標題、過濾器、引導程式設計/12012012020 月 #20620201320xwen/2012020202020 月。 #flashattention #mixtureofexperts #kvcache #vllm #aipapers #llm #machinelearning 👇 訂閱並觀看下一篇 每週訂閱一個新的深入研究：https://www.youtube.com/@CloudAICode 用戶查詢：llm 配置文件中有哪些論文 qwen 緩存文件解釋了youtube配置文件 緩存解釋了分頁注意力如何運作是思想鏈仍然有用最好的人工智慧論文閱讀