freigeben: 2026/10/31 10:53 lesen: 0
Ursprünglicher Autor:Ignis Inference
Originalquelle:https://www.youtube.com/embed/DrSSAkaLQqM
Expertenmischung erklärt: Wie ein 125B-Parameter-LLM auf einer 32-GB-GPU mit etwa 100 Token pro Sekunde läuft. Jeder Token weckt 10 von 512 Experten pro Schicht; Die Experten warten im Host-RAM, ein VRAM-Experten-Cache speichert die verwendeten, und der Preis wird über PCIe gezahlt. Vollständiger Bericht: https://gpillon.github.io/ignis/why-ignis/flash-next/ ignis auf GitHub: https://github.com/gpillon/ignis (Apache-2.0) Kapitel 0:00 125B auf einer 32-GB-Karte 0:20 512 Experten, 10 pro Token 0:37 Lesen Sie nur, was Sie verwenden 0:52 Machen Sie sie klein 1:11 Wo die Experten leben 1:30 Wie oft der Cache zutrifft 1:47 Der Preis: der Link 2:08 Die richtige Frage Die Zahlen in diesem Video Qwen3.8-Flash-Next (125B-Expertenmischung, 48 Schichten, 512 geroutete Experten pro Schicht, 10 pro Token, etwa 6B aktiv), bereitgestellt von ignis auf einer RTX 5090 (32 GB) auf einem PCIe 3.0 x16-Host (ca. 12 GB/s): – Experten werden in einem Trellis-Code mit 2, 2,5, 3 oder 4 Bit pro Experte gespeichert, durchschnittlich 2,5 Bit Gewicht mit Skalen: 120,8 B Expertenparameter in 37,7 GB, im Host-RAM fixiert. – Eine Spur, gierig, eine Eingabeaufforderung wiederholt, Experten-Cache 15,70 GB: 101,5 Token/s (9,85 ms pro Token), eine Expertentrefferrate von 96,59 %, 51,6 MB pro Token über die Verbindung, 1,84 ms jedes Tokens warten auf Kopien (19 %). - Drei Lanes, drei verschiedene Eingabeaufforderungen, derselbe Server: Trefferquote 91,05 %, die Verbindung ist 23,8 ms einer 27,5 ms-Runde ausgelastet (87 %), 15,0 ms der Runde wartet auf Kopien (55 %). Quellen: docs/findings/ im Repo (flash-next-decode-headroom), docs/adr/0044 (Experten für Trellis mit einem K pro Experte) und docs/user/concepts/models-and-artifacts.md. Wie dieses Video erstellt wurde. Nur Bewegungsgrafiken, jede Abbildung stammt aus den oben genannten Maßen. Erzählung: Qwen3-TTS (KI-Stimme). Musik: ACE-Step 1.5 (KI-generiert). Gebaut mit HyperFrames. #LLM #MixtureOfExperts #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
Währung auswählen
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
Währung auswählen
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿