prix: $0.05495 -0.0616%
Valeur marchande: $8.62B 0.4151%
Chiffre d’affaires (24h): 395.07M 0%
Dominance: 0.4151%
Price: $0.05495 -0.0616%
Valeur marchande: $8.62B 0.4151%
Chiffre d’affaires (24h): 395.07M 0%
Dominance: 0.4151% 0.4151%
  • prix: $0.05495 -0.0616%
  • Valeur marchande: 8.62B 0.4151%
  • Chiffre d’affaires (24h): 395.07M 0%
  • Dominance: 0.4151% 0.4151%
  • prix: $0.05495 -0.0616%
première page > 视频 > Mélange d'experts expliqué : un LLM de 125 B sur un GPU de 32 Go

Mélange d'experts expliqué : un LLM de 125 B sur un GPU de 32 Go

libérer: 2026/10/31 10:53 lire: 0

Auteur original:Ignis Inference

Source originale:https://www.youtube.com/embed/DrSSAkaLQqM

Un mélange d'experts a expliqué : comment un LLM à 125 B de paramètres fonctionne sur un GPU de 32 Go à environ 100 jetons par seconde. Chaque jeton réveille 10 des 512 experts par couche ; les experts attendent dans la RAM hôte, un cache expert VRAM contient ceux utilisés et le prix est payé sur PCIe. Rédaction complète : https://gpillon.github.io/ignis/why-ignis/flash-next/ ignis sur GitHub : https://github.com/gpillon/ignis (Apache-2.0) Chapitres 0:00 125 Go sur une carte de 32 Go 0:20 512 experts, 10 par jeton 0:37 Lisez uniquement ce que vous utilisez 0:52 Faites-les petits 1:11 Où vivent les experts 1:30 À quelle fréquence le cache atteint 1:47 Le prix : le lien 2:08 La bonne question Les chiffres dans cette vidéo Qwen3.8-Flash-Next (mélange de 125 B d'experts, 48 couches, 512 experts routés par couche, 10 par jeton, environ 6B actifs), servi par ignis sur un RTX 5090 (32 Go) sur un PCIe 3.0 Hôte x16 (environ 12 Go/s) : - Experts stockés dans un code treillis à 2, 2,5, 3 ou 4 bits par expert, 2,5 bits le poids en moyenne avec balances : 120,8B de paramètres experts dans 37,7 Go, épinglés dans la RAM hôte. - Une voie, gourmande, une invite répétée, cache expert 15,70 Go : 101,5 tok/s (9,85 ms par jeton), un taux de réussite expert de 96,59 %, 51,6 Mo par jeton sur le lien, 1,84 ms de chaque jeton en attente de copies (19 %). - Trois voies, trois invites différentes, même serveur : taux de réussite 91,05 %, la liaison occupée 23,8 ms d'un tour de 27,5 ms (87 %), 15,0 ms du tour en attente de copies (55 %). Sources : docs/findings/ dans le repo (flash-next-decode-headroom), docs/adr/0044 (experts en treillis avec un K par expert) et docs/user/concepts/models-and-artifacts.md. Comment cette vidéo a été réalisée Graphiques animés uniquement, chaque figure des mesures ci-dessus. Narration : Qwen3-TTS (voix IA). Musique : ACE-Step 1.5 (générée par l'IA). Construit avec HyperFrames. #LLM #MixtureOfExperts #MoE

Sujets en vedette

  • Activité des baleines Dogecoin
    Activité des baleines Dogecoin
    Obtenez les dernières informations sur les activités des baleines Dogecoin grâce à notre analyse complète. Découvrez les tendances, les modèles et l'impact de ces baleines sur le marché Dogecoin. Restez informé grâce à notre analyse d’experts et gardez une longueur d’avance dans votre parcours de crypto-monnaie.
  • Extraction de Dogecoins
    Extraction de Dogecoins
    Le minage de Dogecoin est le processus d'ajout de nouveaux blocs de transactions à la blockchain Dogecoin. Les mineurs sont récompensés par un nouveau Dogecoin pour leur travail. Cette rubrique propose des articles liés au minage de Dogecoin, notamment sur la manière d'exploiter du Dogecoin, les meilleurs matériels et logiciels de minage et la rentabilité du minage de Dogecoin.
  • Lancement du vaisseau Spacex
    Lancement du vaisseau Spacex
    Cette rubrique fournit des articles relatifs aux lancements de SpaceX Starship, notamment les dates de lancement, les détails de la mission et l'état du lancement. Restez au courant des derniers lancements de SpaceX Starship avec cette ressource informative et complète.
  • Roi des mèmes : Dogecoin
    Roi des mèmes : Dogecoin
    Cette rubrique propose des articles liés aux mèmes les plus populaires, notamment « Le roi des mèmes : Dogecoin ». Memecoin est devenu un acteur dominant dans l’espace crypto. Ces actifs numériques sont populaires pour diverses raisons. Ils pilotent les aspects les plus innovants de la blockchain.