リリース: 2026/10/31 10:53 読む: 0
原作者:Ignis Inference
オリジナルソース:https://www.youtube.com/embed/DrSSAkaLQqM
さまざまな専門家が、125B パラメータの LLM が 32 GB GPU 上で毎秒約 100 トークンでどのように動作するかを説明しました。各トークンは、レイヤーごとに 512 人のエキスパートのうち 10 人を目覚めさせます。エキスパートはホスト RAM で待機し、VRAM エキスパート キャッシュは使用中のキャッシュを保持し、価格は PCIe で支払われます。全文: https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub の ignis: https://github.com/gpillon/ignis (Apache-2.0) 章 0:00 32 GB カードに 125B 0:20 512 人の専門家、トークンごとに 10 人 0:37 使用するものだけを読み取る 0:52 小さくする1:11 専門家がいる場所 1:30 キャッシュがヒットする頻度 1:47 価格: リンク 2:08 正しい質問 このビデオの数字 Qwen3.8-Flash-Next (125B のエキスパートの混合、48 レイヤー、レイヤーあたり 512 のルーティングされたエキスパート、トークンごとに 10、約 6B アクティブ)、PCIe 3.0 上の 1 つの RTX 5090 (32 GB) で ignis によって提供されます。 x16 ホスト (約 12 GB/秒): - エキスパートは、エキスパートあたり 2、2.5、3、または 4 ビットでトレリス コードに保存され、スケールでの重みは平均 2.5 ビット: 37.7 GB に 120.8B のエキスパート パラメーターがホスト RAM に固定されます。 - 1 レーン、グリーディ、1 つのプロンプトの繰り返し、エキスパート キャッシュ 15.70 GB: 101.5 トークン/秒 (トークンあたり 9.85 ミリ秒)、エキスパート ヒット率 96.59%、リンク上のトークンあたり 51.6 MB、コピーを待機する各トークンの 1.84 ミリ秒 (19%)。 - 3 つのレーン、3 つの異なるプロンプト、同じサーバー: ヒット率 91.05%、リンク ビジーは 27.5 ミリ秒のラウンドのうち 23.8 ミリ秒 (87%)、コピーを待機しているラウンドの 15.0 ミリ秒 (55%)。ソース: リポジトリの docs/findings/ (flash-next-decode-headroom)、docs/adr/0044 (エキスパートあたり K を持つトレリスのエキスパート)、および docs/user/concepts/models-and-artifacts.md。このビデオの制作方法 モーション グラフィックスのみ、すべての図は上記の測定結果からのものです。ナレーション:Qwen3-TTS(AI音声)音楽: ACE-Step 1.5 (AI 生成)。 HyperFrame で構築されています。 #LLM #専門家の混合 #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
通貨を選択してください
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
通貨を選択してください
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿