libérer: 2026/10/31 10:53 lire: 0
Auteur original:Ignis Inference
Source originale:https://www.youtube.com/embed/DrSSAkaLQqM
Un mélange d'experts a expliqué : comment un LLM à 125 B de paramètres fonctionne sur un GPU de 32 Go à environ 100 jetons par seconde. Chaque jeton réveille 10 des 512 experts par couche ; les experts attendent dans la RAM hôte, un cache expert VRAM contient ceux utilisés et le prix est payé sur PCIe. Rédaction complète : https://gpillon.github.io/ignis/why-ignis/flash-next/ ignis sur GitHub : https://github.com/gpillon/ignis (Apache-2.0) Chapitres 0:00 125 Go sur une carte de 32 Go 0:20 512 experts, 10 par jeton 0:37 Lisez uniquement ce que vous utilisez 0:52 Faites-les petits 1:11 Où vivent les experts 1:30 À quelle fréquence le cache atteint 1:47 Le prix : le lien 2:08 La bonne question Les chiffres dans cette vidéo Qwen3.8-Flash-Next (mélange de 125 B d'experts, 48 couches, 512 experts routés par couche, 10 par jeton, environ 6B actifs), servi par ignis sur un RTX 5090 (32 Go) sur un PCIe 3.0 Hôte x16 (environ 12 Go/s) : - Experts stockés dans un code treillis à 2, 2,5, 3 ou 4 bits par expert, 2,5 bits le poids en moyenne avec balances : 120,8B de paramètres experts dans 37,7 Go, épinglés dans la RAM hôte. - Une voie, gourmande, une invite répétée, cache expert 15,70 Go : 101,5 tok/s (9,85 ms par jeton), un taux de réussite expert de 96,59 %, 51,6 Mo par jeton sur le lien, 1,84 ms de chaque jeton en attente de copies (19 %). - Trois voies, trois invites différentes, même serveur : taux de réussite 91,05 %, la liaison occupée 23,8 ms d'un tour de 27,5 ms (87 %), 15,0 ms du tour en attente de copies (55 %). Sources : docs/findings/ dans le repo (flash-next-decode-headroom), docs/adr/0044 (experts en treillis avec un K par expert) et docs/user/concepts/models-and-artifacts.md. Comment cette vidéo a été réalisée Graphiques animés uniquement, chaque figure des mesures ci-dessus. Narration : Qwen3-TTS (voix IA). Musique : ACE-Step 1.5 (générée par l'IA). Construit avec HyperFrames. #LLM #MixtureOfExperts #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
Sélectionnez la devise
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
Sélectionnez la devise
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿