가격: $0.05526 0.295%
시장가치: $8.67B 0.417%
회전율 (24h): 407.79M 0%
권세: 0.417%
Price: $0.05526 0.295%
시장가치: $8.67B 0.417%
회전율 (24h): 407.79M 0%
권세: 0.417% 0.417%
  • 가격: $0.05526 0.295%
  • 시장가치: 8.67B 0.417%
  • 회전율 (24h): 407.79M 0%
  • 권세: 0.417% 0.417%
  • 가격: $0.05526 0.295%
첫 페이지 > 视频 > 질문 하나를 하면 AI 칩 내부에서 무슨 일이 일어나는가

질문 하나를 하면 AI 칩 내부에서 무슨 일이 일어나는가

풀어 주다: 2026/11/17 12:09 읽다: 0

원저자:Ohmhytte

원본 소스:https://www.youtube.com/embed/HePsdhmLf_A

최신 AI 칩은 초당 약 1000조 번의 계산을 수행할 수 있습니다. 하나의 질문을 하면 한 번에 한 단어씩 답이 나오는 반면, 연산을 수행하는 칩 부분은 대부분의 시간을 기다리며 보냅니다. 무엇을 기다리고 있나요? 우리는 칩을 통해 "하늘은 왜 파란색인가?"라는 하나의 질문을 따라갑니다. 텍스트는 토큰이 되고 정수가 됩니다. 각 숫자는 수천 개의 숫자 목록이 됩니다. 모델의 모든 레이어는 대부분 행렬 곱셈이며 타일로 자르고 칩의 텐서 코어에서 공유됩니다. 문제가 한꺼번에 읽혀집니다. 답은 한 번에 하나의 토큰만 쓸 수 있으며 모든 새 토큰에는 거의 모든 모델 가중치를 메모리에서 다시 읽어야 합니다. 즉, 80억 개의 16비트 가중치가 있는 모델의 경우 토큰당 약 15GB입니다. NVIDIA H100의 초당 3.35테라바이트에서는 약 4.5,000분의 1초가 소요되는 반면, 연산 자체는 약 1,500만분의 1이 소요됩니다. KV 캐시, 모든 이전 토큰에 대해 유지된 키 및 값을 추가하면 AI 칩이 메모리를 중심으로 구축된 이유와 데이터 센터가 많은 대화를 하나의 읽기로 일괄 처리하고 더 적은 비트로 가중치를 저장하며 여러 칩에 걸쳐 큰 모델을 분할하는 이유를 알 수 있습니다. 표시된 토큰 ID와 다음 토큰 확률은 실제입니다. 이는 이 영화에 대해 동일한 질문을 한 소규모 개방형 모델에서 나온 것입니다. H100 수치는 NVIDIA가 게시한 최고 사양입니다. 화면의 칩은 실제 칩의 레이아웃이 아니라 이 영화를 위해 그려진 일반적이고 양식화된 가속기입니다. 타이밍은 이상적인 개수(최고 속도, 오버헤드 없음)이므로 실제 시스템은 더 느립니다. 80억 중량 모델은 Meta의 Llama 3 8B 형태로 공개되었습니다. 챕터 0:00 숫자로 된 하나의 질문 1:15 숫자 목록 2:15 타일의 산술 3:34 메모리 벽 5:06 하나의 토큰, 하나의 레이어, 하나의 선택 6:31 더 많은 사람, 더 적은 비트, 더 많은 칩 8:01 한 번에 하나씩 답변 출처 - NVIDIA 기술 블로그, "NVIDIA Hopper Architecture In-Depth"(2022): https://developer.nvidia.com/blog/nvidia-hopper-architecture-in-length/ - NVIDIA, H100 Tensor Core GPU 사양: https://www.nvidia.com/en-us/data-center/h100/ - NVIDIA 기술 블로그, "NVIDIA Ampere Architecture In-Depth"(2020): https://developer.nvidia.com/blog/nvidia-ampere-architecture-in-length/ - NVIDIA 기술 블로그, "Nvidia Triton 추론 서버 및 FasterTransformer를 사용하여 대형 변압기 모델에 대한 가속 추론": https://developer.nvidia.com/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ - NVIDIA 기술 블로그, "LLM 기법 익히기: 추론 최적화": https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ - NVIDIA 딥 러닝 성능 가이드, "행렬 곱셈 배경": https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html - A. Vaswani 외, "주의가 전부입니다" 필요합니다", NeurIPS 2017: https://arxiv.org/abs/1706.03762 - R. Sennrich, B. Haddow, A. Birch, "하위 단어 단위를 사용하는 희귀 단어의 신경 기계 번역", ACL 2016: https://arxiv.org/abs/1508.07909 - J. Kaplan 외, "신경 언어에 대한 확장 법칙 모델"(2020): https://arxiv.org/abs/2001.08361 - R. Pope 외, "Efficiently Scaling Transformer Inference", MLSys 2023: https://arxiv.org/abs/2211.05102 - W. Kwon 외, "PagedAttention을 사용한 대규모 언어 모델 제공을 위한 효율적인 메모리 관리", SOSP 2023: https://arxiv.org/abs/2309.06180 - J. Ainslie 외, "GQA: 다중 헤드 체크포인트에서 일반화된 다중 쿼리 변환기 모델 교육", EMNLP 2023: https://arxiv.org/abs/2305.13245 - Llama 팀, AI @ Meta, "Llama 3 모델 무리" (2024): https://arxiv.org/abs/2407.21783 - T. Dettmers et al., "LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale", NeurIPS 2022: https://arxiv.org/abs/2208.07339 - E. Frantar et al., "GPTQ: Accurate Post-Training Quantization" for Generative Pre-trained Transformers", ICLR 2023: https://arxiv.org/abs/2210.17323 - J. Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024: https://arxiv.org/abs/2306.00978 - SK하이닉스 뉴스룸, "SK하이닉스 업계 최초의 12레이어 HBM3 개발: https://news.skhynix.com/sk-hynix-develops-industrys-first-12-layer-hbm3/ 음악 및 음향 효과: 이 영화를 위해 제작된 원본. 글꼴: Source Sans 3(Adobe) 및 Figtree(Erik Kennedy), SIL Open Font License 1.1. #AI #기술 #과학 #엔지니어링 #컴퓨팅

주요 주제

  • Dogecoin 고래 활동
    Dogecoin 고래 활동
    포괄적인 분석을 통해 Dogecoin 고래 활동에 대한 최신 통찰력을 얻으십시오. Dogecoin 시장에서 이러한 고래의 추세, 패턴 및 영향을 알아보세요. 우리의 전문가 분석을 통해 정보를 얻고 암호화폐 여정에서 앞서 나가십시오.
  • 도지코인 채굴
    도지코인 채굴
    Dogecoin 채굴은 Dogecoin 블록체인에 새로운 거래 블록을 추가하는 프로세스입니다. 광부들은 그들의 작업에 대해 새로운 Dogecoin으로 보상을 받습니다. 이 주제에서는 Dogecoin 채굴 방법, 최고의 채굴 하드웨어 및 소프트웨어, Dogecoin 채굴의 수익성 등 Dogecoin 채굴과 관련된 기사를 제공합니다.
  • 스페이스엑스 우주선 발사
    스페이스엑스 우주선 발사
    이 주제에서는 발사 날짜, 임무 세부 정보 및 발사 상태를 포함하여 SpaceX Starship 발사와 관련된 기사를 제공합니다. 이 유익하고 포괄적인 리소스를 통해 최신 SpaceX Starship 출시에 대한 최신 정보를 받아보세요.
  • 밈의 왕: Dogecoin
    밈의 왕: Dogecoin
    이 주제에서는 "The King of Memes: Dogecoin"을 포함하여 가장 인기 있는 밈과 관련된 기사를 제공합니다. Memecoin은 암호화폐 공간에서 지배적인 플레이어가 되었습니다. 이러한 디지털 자산은 다양한 이유로 인기가 있습니다. 그들은 블록체인의 가장 혁신적인 측면을 주도합니다.