풀어 주다: 2026/10/31 10:53 읽다: 0
원저자:Ignis Inference
원본 소스:https://www.youtube.com/embed/DrSSAkaLQqM
전문가들의 혼합 설명: 125B 매개변수 LLM이 32GB GPU에서 초당 약 100개의 토큰으로 실행되는 방법. 각 토큰은 레이어당 512명의 전문가 중 10명을 깨웁니다. 전문가는 호스트 RAM에서 기다리고 VRAM 전문가 캐시는 사용 중인 캐시를 보유하며 가격은 PCIe에서 지불됩니다. 전체 글: https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub의 ignis: https://github.com/gpillon/ignis (Apache-2.0) 챕터 0:00 32GB 카드의 125B 0:20 전문가 512명, 토큰당 10명 0:37 사용하는 것만 읽기 0:52 작게 만들기 1:11 전문가가 사는 곳 1:30 캐시 히트 빈도 1:47 가격: 링크 2:08 올바른 질문 이 비디오의 숫자 Qwen3.8-Flash-Next(125B 전문가 혼합, 48 레이어, 레이어당 라우팅된 전문가 512명, 토큰당 10명, 약 6B 활성), PCIe 3.0 x16 호스트(약 1개의 RTX 5090(32GB))에서 ignis가 제공 12GB/s): - 전문가당 2, 2.5, 3 또는 4비트로 격자 코드에 저장된 전문가, 척도로 평균 가중치 2.5비트: 37.7GB의 120.8B 전문가 매개변수, 호스트 RAM에 고정. - 1레인, 탐욕, 1번 프롬프트 반복, 전문가 캐시 15.70GB: 101.5tok/s(토큰 9.85ms), 전문가 적중률 96.59%, 링크를 통한 토큰 51.6MB, 복사본을 기다리는 각 토큰 1.84ms(19%). - 3개 레인, 3개 다른 프롬프트, 동일한 서버: 적중률 91.05%, 링크 사용률 27.5ms 라운드 중 23.8ms(87%), 라운드 대기 시간 15.0ms(55%). 출처: 저장소(flash-next-decode-headroom)의 docs/findings/, docs/adr/0044(전문가당 K가 있는 격자 전문가) 및 docs/user/concepts/models-and-artifacts.md. 이 영상은 모션 그래픽만으로 제작되었으며, 모든 수치는 위의 측정값을 바탕으로 작성되었습니다. 내레이션: Qwen3-TTS(AI 음성). 음악: ACE-Step 1.5(AI 생성). HyperFrame으로 제작되었습니다. #LLM #전문가 혼합 #MoE
CRYPTO_BEN
2026-11-23 06:53
子敬.轮回珠宝
2026-11-23 06:53
kumis patiler
2026-11-23 06:53
Ha Ms
2026-11-23 06:53
CryptoMetric
2026-11-23 06:53
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
통화 선택
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
통화 선택
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿