この AI モデルの構成ファイルのすべての行は紙です

原作者：CloudAICode

オリジナルソース：https://www.youtube.com/embed/KridVjxKMdo

#qwen #deepseek #flashattention AI 研究についていく人は誰もいませんし、人々から渡される読書リストは、論文の価格ではなく、論文の面白さによってランク付けされます。代わりに、フロンティア オープン モデルの構成ファイルを開くと、ランキングが自動的に書き込まれます。その中のすべての行は、誰かが最初に出版しなければならなかった論文であり、そのうちの少数の論文だけが、あなたのサービス料金が支払われるかどうかを決定します。このビデオでは、1 つの構成ファイルを 1 行ずつ読み取り、その背後にある 11 の論文を実際に購入する内容に基づいてランク付けします。それは、トークンあたり 512 人のエキスパートが 10 人のエキスパートの横に座る 2 兆 4,000 億のパラメータ ファイルから始まり、950 億のパラメータのスイッチがオンになり、残りのパラメータはスリープ状態になります。その線引きは、Shazeer の 2017 年のまばらにゲートされたエキスパートの混合と、1,370 億のパラメータで 1,000 倍のキャパシティー ゲインが得られたと主張しているところまで遡ります。次に、FlashAttendant では、優れた数学よりも IO の認識が洞察されました。最初の論文では GPT-2 で 3 倍、バージョン 3 では Hopper で 35 ～ 75 パーセントの使用率、バージョン 4 では 1,613 テラフロップス/秒、B200 の 71 パーセントに達し、さらに 4 年前の論文と比較して 4 週間で 4 回のリリースが行われました。ロータリーのエンベディングは、RoFormer の 4 週間前に Jianlin Su からの中国語のブログ投稿として到着し、Qwen では 1,000 万、GLM では 800 万、DeepSeek ではスケーリング ブロックで 10,000 のロープ シータとして現れます。キャッシュの系統は、2019 年のマルチクエリ アテンションから、64 のクエリ ヘッドから 4 つのキーバリュー ヘッドのグループ化されたクエリ アテンション、ページ アテンションと vLLM の 2 ～ 4 倍のスループットを経て、キャッシュの 93.3 パーセントを削減する DeepSeek の潜在的なアテンション、65,536 から 16 倍に計算された 1,048,576 のトークン コンテキスト、および 31 分の 1 でキャッシュされた入力に至るまで続きます。冷たい価格。残りの 7 つも読まれています。思考の連鎖と、記号タスクで 14.2 ポイント、数学では 12.3 ポイントの向上が見られたが他の部分ではほとんど上昇しなかったテキサス大学の監査、ReAct とその 3 つの既知の失敗モード、GraphRAG と同じ作成者が 7 か月後に出荷した安価な方法、MCP と A2A、CLIP と BLIP、そしてファイル内にインデックス topk として隠蔽された学習されたスパース インデックスに関する 12 番目のエントリです。このランキングは、推論にお金を払う人のために書かれたものであり、そうでない人には価値が低くなります。モデルを、呼び出しと注文の切り替えの間の難しい問題を解決した商品として扱います。最初に ReAct と検索作業を実行し、効率性を高めるには 1 か月待つことができます。 FlashAttendant 4 の数値も、安定版リリースがまだないベータ タグから取得されたものです。 ⏱️ タイムスタンプ: 00:00 - 設定ファイルを開く 00:21 - 512 人の専門家、10 人が起きている 00:37 - 2017 年のスパーシティ論文 01:45 - IO を意識したフラッシュの注目 03:22 - ブログ投稿からのロータリーの埋め込み 04:43 - 奉仕金の行き先 05:42 - グループ化されたクエリの注目06:04 - ページ化された注意と vLLM 06:31 - 潜在的な注意が 93 パーセント削減 07:26 - 思考の連鎖、監査済み 08:28 - ReAct とエージェント ループ 09:12 - GraphRAG とその安価な続編 10:54 - ヘッジなしのランキング 12:20 - 紙 12 と賭け 🔗 家賃を払う 4 人: 法外に大規模ニューラル ネットワーク (まばらにゲートされた専門家の混合、2017 年) https://arxiv.org/abs/1701.06538 FlashAttend (IO を認識する正確な注意) https://arxiv.org/abs/2205.14135 flash-attention (引用ではなく固定するリポジトリ) https://github.com/Dao-AILab/flash-attention RoFormer (回転位置の埋め込み) https://arxiv.org/abs/2104.09864 Jianlin Su のブログ (ロータリーが最初に登場した場所) https://kexue.fm Fast Transformer Decoding (マルチクエリ アテンション、2019) https://arxiv.org/abs/1911.02150 GQA (グループ化クエリ アテンション) https://arxiv.org/abs/2305.13245 PagedAttendance と vLLM https://arxiv.org/abs/2309.06180 vLLM (サービング エンジン) https://github.com/vllm-project/vllm DeepSeek-V2 (マルチヘッド潜在的注意) https://arxiv.org/abs/2405.04434 ⚡ 他の 7 つと 12 つ目: • 思考連鎖プロンプトhttps://arxiv.org/abs/2201.11903 • To CoT or not to CoT (テキサス大学メタ分析) • ReAct (理由と行動) https://arxiv.org/abs/2210.03629 • GraphRAG (Microsoft Research) https://arxiv.org/abs/2404.16130 • LazyGraphRAG (同じものからのより安価なフォローアップ)著者) • モデル コンテキスト プロトコル https://modelcontextprotocol.io • A2A プロトコル (Linux Foundation) • CLIP (転送可能なビジュアル モデルの学習) https://arxiv.org/abs/2103.00020 • BLIP (キャプション、フィルター、ブートストラップ) https://arxiv.org/abs/2201.12086 #qwen #deepseek #flashattention #mixtureofexperts #kvcache #vllm #aipapers #llm #machinelearning 👇 購読して次の動画を視聴 毎週新しいディープダイブを購読してください: https://www.youtube.com/@CloudAICode ユーザー クエリ: llm 設定ファイルに含まれる論文 qwen 設定ファイルの説明 専門家の混合によるフラッシュ アテンションの仕組みの説明 llms の kv キャッシュとは グループ化されたクエリ アテンションとマルチ クエリ アテンション ロープシータは、ページング アテンションがどのように機能するかを説明しました。思考の連鎖は今でも役に立ちます。読むべき最高の AI 論文です。