Preis: $0.05495 -0.0616%
Marktwert: $8.62B 0.4151%
Umsatz (24h): 395.07M 0%
Dominanz: 0.4151%
Price: $0.05495 -0.0616%
Marktwert: $8.62B 0.4151%
Umsatz (24h): 395.07M 0%
Dominanz: 0.4151% 0.4151%
  • Preis: $0.05495 -0.0616%
  • Marktwert: 8.62B 0.4151%
  • Umsatz (24h): 395.07M 0%
  • Dominanz: 0.4151% 0.4151%
  • Preis: $0.05495 -0.0616%
Titelseite > 视频 > Expertenmischung erklärt: ein 125-B-LLM auf einer 32-GB-GPU

Expertenmischung erklärt: ein 125-B-LLM auf einer 32-GB-GPU

freigeben: 2026/10/31 10:53 lesen: 0

Ursprünglicher Autor:Ignis Inference

Originalquelle:https://www.youtube.com/embed/DrSSAkaLQqM

Expertenmischung erklärt: Wie ein 125B-Parameter-LLM auf einer 32-GB-GPU mit etwa 100 Token pro Sekunde läuft. Jeder Token weckt 10 von 512 Experten pro Schicht; Die Experten warten im Host-RAM, ein VRAM-Experten-Cache speichert die verwendeten, und der Preis wird über PCIe gezahlt. Vollständiger Bericht: https://gpillon.github.io/ignis/why-ignis/flash-next/ ignis auf GitHub: https://github.com/gpillon/ignis (Apache-2.0) Kapitel 0:00 125B auf einer 32-GB-Karte 0:20 512 Experten, 10 pro Token 0:37 Lesen Sie nur, was Sie verwenden 0:52 Machen Sie sie klein 1:11 Wo die Experten leben 1:30 Wie oft der Cache zutrifft 1:47 Der Preis: der Link 2:08 Die richtige Frage Die Zahlen in diesem Video Qwen3.8-Flash-Next (125B-Expertenmischung, 48 Schichten, 512 geroutete Experten pro Schicht, 10 pro Token, etwa 6B aktiv), bereitgestellt von ignis auf einer RTX 5090 (32 GB) auf einem PCIe 3.0 x16-Host (ca. 12 GB/s): – Experten werden in einem Trellis-Code mit 2, 2,5, 3 oder 4 Bit pro Experte gespeichert, durchschnittlich 2,5 Bit Gewicht mit Skalen: 120,8 B Expertenparameter in 37,7 GB, im Host-RAM fixiert. – Eine Spur, gierig, eine Eingabeaufforderung wiederholt, Experten-Cache 15,70 GB: 101,5 Token/s (9,85 ms pro Token), eine Expertentrefferrate von 96,59 %, 51,6 MB pro Token über die Verbindung, 1,84 ms jedes Tokens warten auf Kopien (19 %). - Drei Lanes, drei verschiedene Eingabeaufforderungen, derselbe Server: Trefferquote 91,05 %, die Verbindung ist 23,8 ms einer 27,5 ms-Runde ausgelastet (87 %), 15,0 ms der Runde wartet auf Kopien (55 %). Quellen: docs/findings/ im Repo (flash-next-decode-headroom), docs/adr/0044 (Experten für Trellis mit einem K pro Experte) und docs/user/concepts/models-and-artifacts.md. Wie dieses Video erstellt wurde. Nur Bewegungsgrafiken, jede Abbildung stammt aus den oben genannten Maßen. Erzählung: Qwen3-TTS (KI-Stimme). Musik: ACE-Step 1.5 (KI-generiert). Gebaut mit HyperFrames. #LLM #MixtureOfExperts #MoE

Ausgewählte Themen

  • Dogecoin-Wal-Aktivität
    Dogecoin-Wal-Aktivität
    Erhalten Sie mit unserer umfassenden Analyse die neuesten Erkenntnisse über die Aktivitäten der Dogecoin-Wale. Entdecken Sie Trends, Muster und die Auswirkungen dieser Wale auf den Dogecoin-Markt. Bleiben Sie mit unserer Expertenanalyse auf dem Laufenden und behalten Sie auf Ihrem Weg zur Kryptowährung die Nase vorn.
  • Dogecoin-Mining
    Dogecoin-Mining
    Beim Dogecoin-Mining werden der Dogecoin-Blockchain neue Transaktionsblöcke hinzugefügt. Miner werden für ihre Arbeit mit neuen Dogecoins belohnt. Dieses Thema enthält Artikel zum Dogecoin-Mining, einschließlich der Anleitung zum Mining von Dogecoin, der besten Mining-Hardware und -Software und der Rentabilität des Dogecoin-Minings.
  • Start des Spacex-Raumschiffs
    Start des Spacex-Raumschiffs
    Dieses Thema enthält Artikel zu SpaceX-Raumschiffstarts, einschließlich Startdaten, Missionsdetails und Startstatus. Bleiben Sie mit dieser informativen und umfassenden Ressource über die neuesten Starts von SpaceX Starship auf dem Laufenden.
  • König der Meme: Dogecoin
    König der Meme: Dogecoin
    Dieses Thema enthält Artikel zu den beliebtesten Memes, darunter „The King of Memes: Dogecoin“. Memecoin hat sich zu einem dominanten Akteur im Kryptoraum entwickelt. Diese digitalen Assets sind aus verschiedenen Gründen beliebt. Sie treiben die innovativsten Aspekte der Blockchain voran.