GPU 일강의 다음에 오는 것 | AI 에이전트 시대에 CPU 수요가 늘어나는 이유 【절노이아】

원저자：あ　みつけたわよ。旧・成れの果て戦

원본 소스：https://www.youtube.com/embed/HympcQeB38g

#remotion #codex #ai 대략적인 해설입니다. 말하기 반해주세요 음성은 irodoriTTS로 만든 음성을 sbv2.7에서 학습시켜 aivisspeech에서 사용 기사:https://note.com/atom_/n/n1a3ae798251c AI 에이전트 시대에 CPU 수요가 증가하는 이유 생성 AI의 발전을 보면, 많은 사람들은 우선 GPU를 떠올립니다. 거대한 AI 모델을 학습하고, 이미지를 생성하고, 동영상을 생성하며, 대량의 행렬 연산을 고속으로 처리한다. GPU는 바로 현대 AI의 중심에 있는 반도체이며, AI 인프라 투자의 상징이라고도 할 수 있는 존재입니다. 그러나 앞으로의 AI 인프라를 생각하는데 중요한 것은 "GPU가 강하기 때문에 GPU만을 보면 좋다"는 단순한 이야기가 아니게 되고 있다는 점입니다. 오히려 GPU가 강해질수록 그 주변에 있는 CPU, 메모리, 네트워크, 스토리지, 스케줄러의 중요성이 커지고 있습니다. 왜냐하면, 아무리 고성능인 GPU를 준비해도, 그 GPU에 일을 건네주는 구조가 늦으면, GPU는 기다려져 버리기 때문입니다. AI 인프라의 승리는 단독 칩 성능뿐만 아니라 거대한 컴퓨팅 자원을 낭비 없이 이동하기 위한 전체 설계로 옮겨가고 있습니다. GPU의 본질은 대량 병렬 계산입니다. Transformer, Attention, 이미지 생성, 동영상 생성, 시뮬레이션 등 같은 종류의 계산을 대량으로 나란히 단번에 처리하는 용도에 매우 강하다. AI 모델의 핵심이 되는 행렬 연산에서는 GPU는 압도적인 성능을 발휘합니다. 따라서 AI 학습과 대규모 추론에서는 앞으로도 GPU가 중심적인 역할을 계속할 것입니다. GPU 수요가 끝난다는 이야기가 아닙니다. 오히려 AI가 거대해질수록 GPU의 중요성은 남아 있습니다. 그러나 전체 AI 서비스는 행렬 연산만으로 이루어진 것은 아닙니다. 실제 AI 서비스에서는 API 접수, 사용자 인증, 요청 배분, 토크나이즈, 큐 관리, 배치, 로깅, 과금, 보안, 오류 처리 등 세세한 제어 처리가 대량으로 발생합니다. 이들은 GPU가 자랑하는 거대한 병렬 계산이 아니라 CPU가 자랑하는 분기와 제어의 영역입니다. 특히 AI 에이전트의 시대가 되면 이 CPU 측의 처리는 더욱 두꺼워집니다. AI 에이전트는 단순히 질문에 답할 뿐입니다. 검색을 수행하고 브라우저를 열고 데이터베이스를 찾아보고 파이썬을 실행하고 파일을 읽고 외부 API를 호출하고 실패하면 다시 시도합니다. 이것은 모델 내부의 계산이라기보다 현실 세계의 사무처리에 가까운 것입니다. 즉, AI 에이전트가 현명해질수록 모델 외부에서 수행되는 제어, 연결, 판단 및 재실행의 양이 늘어납니다. 이 때 CPU는 단순한 보조 역할이 아닙니다. CPU는 모델에 다음 작업을 전달하고 돌아온 결과를 확인하고 필요한 경우 다른 도구를 호출하여 전체 처리를 진행시키는 사령탑이 됩니다. GPU가 거대한 로라고 하면, CPU는 재료를 운반, 순서를 결정, 공정을 관리해, 이상이 일어났을 때에 현장 대응하는 관리자입니다. GPU의 성능이 높을수록 그 GPU를 놀 수 없기 때문에 CPU 측의 능력이 중요해집니다. LLM 추론의 내부를 보더라도, 이 구조는 명확하다. 추론에는 입력 문장을 함께 처리하는 prefill과 한 번에 한 단어씩 생성하는 decode가 있습니다. prefill은 비교적 병렬화하기 쉽고 GPU가 잘 처리합니다. 한편, decode는 순차적이며, 다음의 토큰을 내기 위해서는 이전의 결과가 필요하기 때문에, GPU가 항상 최대 효율로 움직일 수 있는 것은 아니다. 여기서 요청을 어떻게 섞는지, 어느 타이밍에 배치화할지, 어떤 메모리를 어떻게 사용하는지가 추론 기반의 성능을 크게 좌우합니다. 더 중요한 것은 KV 캐시입니다. KV 캐시는 생성하는 동안 컨텍스트를 유지하는 거대한 작업 메모리입니다. 긴 텍스트 컨텍스트, 다중 인원 동시 사용, 다중 후보 생성, 에이전트의 내부 루프가 늘어날수록 KV 캐시가 부풀어갑니다. 이 메모리를 할당, 해제, 재사용하고 필요에 따라 계층적으로 관리하는 것은 거의 OS적인 작업입니다. 여기에서도 CPU, DRAM, HBM, CXL, SSD, NIC를 포함한 전체 설계를 묻습니다. 즉, AI 추론은 「GPU로 계산할 뿐의 세계」에서 「CPU, GPU, 메모리, 네트워크, 스토리지가 연동하는 계층형 시스템」으로 진화하고 있습니다. GPU만 보면 배관 막힘을 간과합니다. 아무리 강력한 GPU 클러스터를 준비해도, CPU측의 스케줄링이 약하고, 메모리 대역이 부족하다, 네트워크가 막히고, 스토리지가 느리게 되면, 전체의 성능은 성장하지 않습니다. AI 인프라는 칩만이 아니라 시스템 전체에서 볼 필요가 있습니다. CPU의 본질은 분기와 제어입니다. 인터럽트, 예외, 특권 모드, 가상 메모리, 컨텍스트 스위치, I/O. CPU는 무엇이 올지 모르는 세계를 관리하는 프로세서입니다. 대량의 같은 계산을 단번에 처리하는 효율에서는 GPU에 지는데, 불규칙한 처리, 외부와의 접속, 세세한 판단, 실패시의 대응에서는 강하다. AI 에이전트처럼 상황이 매번 바뀌는 시스템에서는 이러한 유연성이 매우 중요합니다. 한편, TPU는 텐서 계산에 전해진 전용 ASIC입니다. 정형화된 거대한 행렬 연산이나, 클라우드상에서의 대량 추론, 컴파일러로 굳어지는 계산 그래프에 강점이 있습니다. Google과 같이 모델, 컴파일러, 클라우드 및 하드웨어를 수직으로 통합할 수 있는 환경에서 TPU는 매우 효율적인 전용 공장이 됩니다. 다만, 동적 shape, 세세한 분기, 독자 연산이 많은 현장에서는, GPU만큼 유연하지는 않습니다. 정형화된 처리에서는 강하지만, 변화가 심한 연구·개발·현장 대응에서는 제약도 나옵니다. LPU는 언어 추론, 특히 저지연의 토큰 생성에 기여한 전용 엔진입니다. 사람이 기다리는 채팅, 음성 AI, 짧은 재추론, 에이전트 내부의 빠른 사고 루프는 응답 속도가 큰 가치가 됩니다. 응답이 빠른 AI는 사용자 경험으로 자연스럽게 느껴집니다. 다만, LPU는 화상 생성, 동영상 생성, 3D, 로보틱스, 대규모 학습의 주역은 되기 어렵다. 저지연 언어 추론에 강한 한편, 만능 AI 공장이 아니라는 위치 지정입니다. 이렇게 정리하면 CPU는 제어, GPU는 유연한 대량 병렬, TPU는 정형 텐서 계산, LPU는 저지연 언어 추론을 담당합니다. 중요한 것은 어느 것이 가장 좋은지가 아닙니다. 어떤 일을 어느 반도체에 맡길 것인가입니다. AI 인프라는 단일 승자가 모든 것을 지배하기보다는 용도별 분업이 진행되는 방향에 있습니다. AI 에이전트 시대에는 CPU가 행동 관리, RAG, DB, API, 보안, 로그, 청구, 재시도를 담당합니다. GPU는 대규모 추론과 생성을 담당하고, TPU는 정형화된 대량 추론을 효율적으로 처리하고, LPU는 짧은 사고 루프나 대화의 응답을 고속화합니다. 여기서 CPU가 약하면 에이전트는 도구를 호출할 때마다 걸립니다. GPU가 강해도 검색 대기, API 대기, DB 대기가 늘어나면 인간도 GPU도 기다리게 됩니다. 게다가 피지컬 AI의 시대가 되면, 이 구조는 현실 세계로 퍼집니다. 로봇과 VLA에서 AI는 화면 안에서뿐만 아니라 실제로 보거나, 잡고, 걷고, 피하고, 실패를 보정해야합니다. 여기서 CPU는 OS, ROS, 센서, 모터, I/O, 안전정지, 권한관리, 로그 등 신체측의 제어를 담당합니다. VLA가 「컵을 잡는다」라고 판단해도, 실제로 안전하게 팔을 움직이는 현실 접속계는 CPU측입니다. GPU도 피지컬 AI로 강하게 남아 있습니다. 시각 이해, VLA 학습, 동영상 생성, 세계 모델, 3D 시뮬레이션, 합성 데이터, 디지털 트윈 등 현실을 배우는 가상 세계 생성 엔진으로 중요합니다. 로봇 훈련에서는 실패 사례와 에지 케이스가 매우 중요합니다. 현실에서 여러 번 실패시키는 것은 위험하고 고비용이므로 가상 공간에서 대량으로 연습시킨다. 이를 위해 GPU는 단순한 채팅용 칩이 아니라 세계를 만들어 연습시키는 장치가 됩니다. 결론적으로 GPU 일강의 이야기는 끝나는 것이 아니라 제2장으로 들어간다. GPU는 향후에도 AI의 중심이 되고 있습니다. 그러나 AI 에이전트와 피지컬 AI가 퍼질수록 CPU, DRAM, HBM, CXL, NIC, SSD, 스케줄러 등 주변 레이어가 거대화해 가고 있습니다. AI는 단체 칩이 아니라 문명 사이즈의 실행 시스템이 되어 간다. 그 중 GPU를 중심으로 CPU가 행동을 연결하고, TPU가 정형 계산을 지원하고 LPU가 응답을 빠르게 한다. 앞으로의 AI 인프라를 보는데 중요한 것은 GPU만을 보는 것이 아니라 그 주변에서 부풀어 오르는 거대한 반도체 분업을 읽는 것입니다.