가격: $0.05495 -0.0616%
시장가치: $8.62B 0.4151%
회전율 (24h): 395.07M 0%
권세: 0.4151%
Price: $0.05495 -0.0616%
시장가치: $8.62B 0.4151%
회전율 (24h): 395.07M 0%
권세: 0.4151% 0.4151%
  • 가격: $0.05495 -0.0616%
  • 시장가치: 8.62B 0.4151%
  • 회전율 (24h): 395.07M 0%
  • 권세: 0.4151% 0.4151%
  • 가격: $0.05495 -0.0616%
첫 페이지 > 视频 > 여러 전문가의 설명: 32GB GPU의 125B LLM

여러 전문가의 설명: 32GB GPU의 125B LLM

풀어 주다: 2026/10/31 10:53 읽다: 0

원저자:Ignis Inference

원본 소스:https://www.youtube.com/embed/DrSSAkaLQqM

전문가들의 혼합 설명: 125B 매개변수 LLM이 32GB GPU에서 초당 약 100개의 토큰으로 실행되는 방법. 각 토큰은 레이어당 512명의 전문가 중 10명을 깨웁니다. 전문가는 호스트 RAM에서 기다리고 VRAM 전문가 캐시는 사용 중인 캐시를 보유하며 가격은 PCIe에서 지불됩니다. 전체 글: https://gpillon.github.io/ignis/why-ignis/flash-next/ GitHub의 ignis: https://github.com/gpillon/ignis (Apache-2.0) 챕터 0:00 32GB 카드의 125B 0:20 전문가 512명, 토큰당 10명 0:37 사용하는 것만 읽기 0:52 작게 만들기 1:11 전문가가 사는 곳 1:30 캐시 히트 빈도 1:47 가격: 링크 2:08 올바른 질문 이 비디오의 숫자 Qwen3.8-Flash-Next(125B 전문가 혼합, 48 레이어, 레이어당 라우팅된 전문가 512명, 토큰당 10명, 약 6B 활성), PCIe 3.0 x16 호스트(약 1개의 RTX 5090(32GB))에서 ignis가 제공 12GB/s): - 전문가당 2, 2.5, 3 또는 4비트로 격자 코드에 저장된 전문가, 척도로 평균 가중치 2.5비트: 37.7GB의 120.8B 전문가 매개변수, 호스트 RAM에 고정. - 1레인, 탐욕, 1번 프롬프트 반복, 전문가 캐시 15.70GB: 101.5tok/s(토큰 9.85ms), 전문가 적중률 96.59%, 링크를 통한 토큰 51.6MB, 복사본을 기다리는 각 토큰 1.84ms(19%). - 3개 레인, 3개 다른 프롬프트, 동일한 서버: 적중률 91.05%, 링크 사용률 27.5ms 라운드 중 23.8ms(87%), 라운드 대기 시간 15.0ms(55%). 출처: 저장소(flash-next-decode-headroom)의 docs/findings/, docs/adr/0044(전문가당 K가 있는 격자 전문가) 및 docs/user/concepts/models-and-artifacts.md. 이 영상은 모션 그래픽만으로 제작되었으며, 모든 수치는 위의 측정값을 바탕으로 작성되었습니다. 내레이션: Qwen3-TTS(AI 음성). 음악: ACE-Step 1.5(AI 생성). HyperFrame으로 제작되었습니다. #LLM #전문가 혼합 #MoE

주요 주제

  • Dogecoin 고래 활동
    Dogecoin 고래 활동
    포괄적인 분석을 통해 Dogecoin 고래 활동에 대한 최신 통찰력을 얻으십시오. Dogecoin 시장에서 이러한 고래의 추세, 패턴 및 영향을 알아보세요. 우리의 전문가 분석을 통해 정보를 얻고 암호화폐 여정에서 앞서 나가십시오.
  • 도지코인 채굴
    도지코인 채굴
    Dogecoin 채굴은 Dogecoin 블록체인에 새로운 거래 블록을 추가하는 프로세스입니다. 광부들은 그들의 작업에 대해 새로운 Dogecoin으로 보상을 받습니다. 이 주제에서는 Dogecoin 채굴 방법, 최고의 채굴 하드웨어 및 소프트웨어, Dogecoin 채굴의 수익성 등 Dogecoin 채굴과 관련된 기사를 제공합니다.
  • 스페이스엑스 우주선 발사
    스페이스엑스 우주선 발사
    이 주제에서는 발사 날짜, 임무 세부 정보 및 발사 상태를 포함하여 SpaceX Starship 발사와 관련된 기사를 제공합니다. 이 유익하고 포괄적인 리소스를 통해 최신 SpaceX Starship 출시에 대한 최신 정보를 받아보세요.
  • 밈의 왕: Dogecoin
    밈의 왕: Dogecoin
    이 주제에서는 "The King of Memes: Dogecoin"을 포함하여 가장 인기 있는 밈과 관련된 기사를 제공합니다. Memecoin은 암호화폐 공간에서 지배적인 플레이어가 되었습니다. 이러한 디지털 자산은 다양한 이유로 인기가 있습니다. 그들은 블록체인의 가장 혁신적인 측면을 주도합니다.