価格: $0.05495 -0.0616%
市場価値: $8.62B 0.4151%
ひっくり返す (24h): 395.07M 0%
優位性: 0.4151%
Price: $0.05495 -0.0616%
市場価値: $8.62B 0.4151%
ひっくり返す (24h): 395.07M 0%
優位性: 0.4151% 0.4151%
  • 価格: $0.05495 -0.0616%
  • 市場価値: 8.62B 0.4151%
  • ひっくり返す (24h): 395.07M 0%
  • 優位性: 0.4151% 0.4151%
  • 価格: $0.05495 -0.0616%
フロントページ > 视频 > 専門家の混合による説明: 32 GB GPU 上の 125B LLM

専門家の混合による説明: 32 GB GPU 上の 125B LLM

リリース: 2026/10/31 10:53 読む: 0

原作者:Ignis Inference

オリジナルソース:https://www.youtube.com/embed/DrSSAkaLQqM

さまざまな専門家が、125B パラメータの LLM が 32 GB GPU 上で毎秒約 100 トークンでどのように動作するかを説明しました。各トークンは、レイヤーごとに 512 人のエキスパートのうち 10 人を目覚めさせます。エキスパートはホスト RAM で待機し、VRAM エキスパート キャッシュは使用中のキャッシュを保持し、価格は PCIe で支払われます。全文: https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub の ignis: https://github.com/gpillon/ignis (Apache-2.0) 章 0:00 32 GB カードに 125B 0:20 512 人の専門家、トークンごとに 10 人 0:37 使用するものだけを読み取る 0:52 小さくする1:11 専門家がいる場所 1:30 キャッシュがヒットする頻度 1:47 価格: リンク 2:08 正しい質問 このビデオの数字 Qwen3.8-Flash-Next (125B のエキスパートの混合、48 レイヤー、レイヤーあたり 512 のルーティングされたエキスパート、トークンごとに 10、約 6B アクティブ)、PCIe 3.0 上の 1 つの RTX 5090 (32 GB) で ignis によって提供されます。 x16 ホスト (約 12 GB/秒): - エキスパートは、エキスパートあたり 2、2.5、3、または 4 ビットでトレリス コードに保存され、スケールでの重みは平均 2.5 ビット: 37.7 GB に 120.8B のエキスパート パラメーターがホスト RAM に固定されます。 - 1 レーン、グリーディ、1 つのプロンプトの繰り返し、エキスパート キャッシュ 15.70 GB: 101.5 トークン/秒 (トークンあたり 9.85 ミリ秒)、エキスパート ヒット率 96.59%、リンク上のトークンあたり 51.6 MB、コピーを待機する各トークンの 1.84 ミリ秒 (19%)。 - 3 つのレーン、3 つの異なるプロンプト、同じサーバー: ヒット率 91.05%、リンク ビジーは 27.5 ミリ秒のラウンドのうち 23.8 ミリ秒 (87%)、コピーを待機しているラウンドの 15.0 ミリ秒 (55%)。ソース: リポジトリの docs/findings/ (flash-next-decode-headroom)、docs/adr/0044 (エキスパートあたり K を持つトレリスのエキスパート)、および docs/user/concepts/models-and-artifacts.md。このビデオの制作方法 モーション グラフィックスのみ、すべての図は上記の測定結果からのものです。ナレーション:Qwen3-TTS(AI音声)音楽: ACE-Step 1.5 (AI 生成)。 HyperFrame で構築されています。 #LLM #専門家の混合 #MoE

注目のトピック

  • ドージコインクジラの活動
    ドージコインクジラの活動
    包括的な分析により、Dogecoin クジラの活動に関する最新の洞察を得ることができます。ドージコイン市場におけるこれらのクジラの傾向、パターン、影響を発見してください。私たちの専門家による分析で最新情報を入手し、暗号通貨への取り組みを前進させてください。
  • ドージコインマイニング
    ドージコインマイニング
    Dogecoin マイニングは、Dogecoin ブロックチェーンに新しいトランザクション ブロックを追加するプロセスです。マイナーはその仕事に対して新しいドージコインを受け取ります。このトピックでは、Dogecoin のマイニング方法、最高のマイニング ハードウェアとソフトウェア、Dogecoin マイニングの収益性など、Dogecoin マイニングに関連する記事を提供します。
  • スペースXスターシップの打ち上げ
    スペースXスターシップの打ち上げ
    このトピックでは、打ち上げ日、ミッションの詳細、打ち上げステータスなど、SpaceX Starship の打ち上げに関連する記事を提供します。この有益で包括的なリソースを利用して、最新の SpaceX Starship の打ち上げに関する最新情報を入手してください。
  • ミームの王様: ドージコイン
    ミームの王様: ドージコイン
    このトピックでは、「ミームの王様: ドージコイン」など、最も人気のあるミームに関連する記事を提供します。 Memecoin は暗号通貨分野で支配的なプレーヤーとなっています。これらのデジタル資産はさまざまな理由で人気があります。これらはブロックチェーンの最も革新的な側面を推進します。