이 AI 모델 구성 파일의 모든 줄은 종이입니다

원저자：CloudAICode

원본 소스：https://www.youtube.com/embed/KridVjxKMdo

#qwen #deepseek #flashattention 누구도 AI 연구를 따라갈 수 없으며 사람들이 제공하는 독서 목록은 비용이 아니라 논문이 얼마나 흥미로운 지에 따라 순위가 매겨집니다. 대신 프론티어 개방형 모델의 구성 파일을 열면 순위가 자동으로 기록됩니다. 그 안의 모든 줄은 누군가가 먼저 게시해야 했던 논문이고, 그 중 소수만이 귀하의 봉사료 지불 가능 여부를 결정합니다. 이 비디오는 하나의 구성 파일을 한 줄씩 읽고 그 뒤의 11개 논문의 순위를 실제로 구매하는 항목에 따라 순위를 매깁니다. 이는 512명의 전문가가 토큰당 10명의 전문가 옆에 앉아 있는 2조 4천억 개의 매개변수 파일에서 시작하므로 950억 개의 매개변수가 켜지고 나머지는 잠자기 상태가 됩니다. 그리고 해당 라인은 Shazeer의 2017년 희소하게 제한된 전문가 혼합과 1,370억 매개변수에서 1000배의 용량 증가를 주장한 것으로 거슬러 올라갑니다. 그런 다음 FlashAttention은 더 나은 수학보다는 IO 인식이었습니다. 첫 번째 논문에서는 GPT-2에서 3배, 버전 3에서는 Hopper에서 35~75% 활용률, 버전 4에서는 초당 1,613테라플롭스, B200의 71%, 그리고 4년 된 논문에 비해 4주 만에 4번의 릴리스가 이루어졌습니다. 로터리 임베딩은 RoFormer보다 4주 전에 Jianlin Su의 중국 블로그 게시물로 도착했으며, Qwen에서 1,000만, GLM에서 800만, DeepSeek에서 스케일링 블록을 사용하면 10,000의 로프 세타로 나타납니다. 캐시 계보는 2019년 다중 쿼리 주의에서 64개의 쿼리 헤드에서 4개의 주요 값 헤드로 그룹화된 쿼리 주의, 페이지된 주의 및 vLLM의 2~4배 처리량을 통해 캐시의 93.3%를 줄이는 DeepSeek의 잠재 주의, 65,536에서 16배로 계산된 1,048,576개의 토큰 컨텍스트 및 콜드 프라이스의 31번째 캐시된 입력에 이르기까지 실행됩니다. 나머지 7개도 읽을 수 있습니다. 기호 작업에서 14.2점, 수학에서 12.3점의 이득을 얻었지만 다른 곳에서는 거의 이득을 발견하지 못한 생각의 사슬과 텍사스 대학 감사, ReAct와 그 세 가지 알려진 실패 모드, GraphRAG 및 동일한 저자가 7개월 후에 출시한 더 저렴한 방법, MCP 및 A2A, CLIP 및 BLIP, 그리고 인덱스 topk로 파일에 숨어 있는 학습된 희소 인덱싱에 대한 12번째 항목입니다. 순위는 추론에 비용을 지불하는 사람을 위해 작성된 것이며 그렇지 않으면 가치가 떨어집니다. 호출과 주문 전환 사이의 공간에서 어려운 문제가 있는 모델을 확정된 상품으로 취급합니다. ReAct와 검색 작업을 먼저 수행하고 효율성 4는 한 달을 기다릴 수 있습니다. FlashAttention 4 번호는 아직 안정적인 릴리스가 없는 베타 태그에서 나온 것입니다. ⏱️ 타임스탬프: 00:00 - 구성 파일 열기 00:21 - 전문가 512명, 깨어 있는 10명 00:37 - 2017 희소성 보고서 01:45 - 플래시 어텐션은 IO 인식 03:22 - 블로그 게시물의 로터리 임베딩 04:43 - 서빙 비용이 가는 곳 05:42 - 그룹화된 쿼리 어텐션 06:04 - 호출 주의 및 vLLM 06:31 - 잠재 주의 93% 감소 07:26 - 생각의 사슬, 감사 08:28 - ReAct 및 에이전트 루프 09:12 - GraphRAG 및 그 저렴한 속편 10:54 - 헤지되지 않은 순위 12:20 - 12장과 내기 🔗 임대료를 지불하는 4가지: 엄청나게 큰 신경망(희소하게 게이트된 혼합) of 전문가, 2017) https://arxiv.org/abs/1701.06538 FlashAttention (IO 인식 정확한 주의) https://arxiv.org/abs/2205.14135 flash-attention (인용하지 않고 고정한 저장소) https://github.com/Dao-AILab/flash-attention RoFormer (로터리 위치 임베딩) https://arxiv.org/abs/2104.09864 로터리가 처음 등장한 Jianlin Su의 블로그 https://kexue.fm Fast Transformer Decoding (multi query attention, 2019) https://arxiv.org/abs/1911.02150 GQA (grouped query attention) https://arxiv.org/abs/2305.13245 PagedAttention 및 vLLM https://arxiv.org/abs/2309.06180 vLLM(서빙 엔진) https://github.com/vllm-project/vllm DeepSeek-V2(다중 헤드 잠재 주의) https://arxiv.org/abs/2405.04434 ⚡ 나머지 7개와 12번째: • 생각의 사슬 프롬프트 https://arxiv.org/abs/2201.11903 • CoT 여부(텍사스 대학교 메타 분석) • ReAct(이유 및 조치) https://arxiv.org/abs/2210.03629 • GraphRAG(Microsoft Research) https://arxiv.org/abs/2404.16130 • LazyGraphRAG(동일 저자의 저렴한 후속 조치) • 모델 컨텍스트 프로토콜 https://modelcontextprotocol.io • A2A 프로토콜(Linux Foundation) • CLIP(전송 가능한 시각적 모델 학습) https://arxiv.org/abs/2103.00020 • BLIP(캡션, 필터, 부트스트랩) https://arxiv.org/abs/2201.12086 #qwen #deepseek #flashattention #mixtureofexperts #kvcache #vllm #aipapers #llm #machinelearning 👇 구독하고 다음 보기 매주 새로운 심층 분석을 구독하세요: https://www.youtube.com/@CloudAICode 사용자 쿼리: llm 구성 파일에 어떤 논문이 있나요? qwen 구성 파일 설명 전문가 혼합 설명 플래시 주의 작동 방식 설명 llms의 kv 캐시란 무엇입니까 그룹화된 쿼리 주의 대 다중 쿼리 주의 로프 세타 설명 페이징 주의 작동 방식은 생각의 사슬이 여전히 가장 유용합니다 읽어야 할 AI 논문