18회 | AI가 효율성을 한계까지 밀어붙일 때 가장 부족한 것은 바로 이 능력이다.

원저자：Yoi 科技 Open 講

원본 소스：https://www.youtube.com/embed/8SYHdSXUqxo

🎧 알고 계셨나요? 지난 며칠 동안 AI 분야에서 자세히 살펴볼 만한 몇 가지 일이 일어났습니다. DeepSWE라는 새로운 벤치마크를 통해 처음으로 GPT-4o와 Claude 사이의 실제 격차가 분명하게 드러났습니다. Tenstorrent는 Nvidia의 5분의 1에 불과한 AI 칩을 출시했습니다. Andrej Karpathy라는 연구원은 차세대 엔지니어의 핵심 역량을 재정의하고 있습니다. 표면적으로 기술계의 리듬은 여느 때와 같지만, 은밀하게는 컴퓨팅 성능 아키텍처, 평가 표준, 엔지니어링 사고가 모두 동시에 변화하고 있습니다. 걱정하지 마십시오. 소음 제거 헤드폰을 착용하여 이러한 신호의 실제 가치를 걸러내는 데 도움을 드렸습니다. 이 에피소드에서는 또 한 가지에 대해 이야기합니다. AI가 효율성을 모든 사람의 표준 기능으로 만들 때 가장 부족한 것은 판단입니다. 판단은 현재 실리콘 밸리에서 가장 인기 있는 단어인 취향입니다. 1️⃣ 이번 에피소드의 하이라이트 이번 에피소드에서는 AI 생태계에서 실제로 일어나고 있는 일들을 네 가지 각도에서 분석합니다. 첫 번째 계층은 '측정'입니다. 새로운 벤치마크 테스트인 DeepSWE를 통해 개발자의 실제 경험을 처음으로 데이터로 확인할 수 있습니다. 질문 설정 방법은 실제 업무 상황을 시뮬레이션합니다. 프롬프트 단어는 짧지만 필요한 솔루션은 복잡합니다. 기억력이 아닌 엔드투엔드 추론을 테스트합니다. GPT-4o는 클로드 3 오푸스(Claude 3 Opus)보다 15%포인트 뒤지고, 가격도 3배 차이가 난다. 잘못된 모델을 선택하면 돈뿐만 아니라 시간도 낭비됩니다. 두 번째 계층은 "하드웨어"입니다. Tenstorrent의 아키텍처는 GPU의 핵심 가정을 뒤집고, 스케줄링 논리를 칩에서 컴파일러로 이동하며, 저렴한 GDDR6 메모리를 사용하여 Nvidia의 고대역폭 메모리 시스템보다 성능이 뛰어납니다. Llama 3 실행 비용은 토큰 백만 개당 미화 30달러에서 미화 6달러로 인하되어 5배 저렴해졌습니다. 세 번째 수준은 "엔지니어링 사고"입니다. 즉, Andrej Karpathy가 제안한 에이전트 엔지니어링의 5가지 기둥입니다. 핵심 통찰력은 기능 구축을 중단하고 "기능 구축을 돕는 공장" 구축을 시작하는 것입니다. 네 번째 계층은 "상황 엔진"입니다. 이것이 없으면 에이전트 팩토리는 유휴 상태로 실행됩니다. 이를 통해 동일한 작업이 2.5시간에서 25분으로 압축되고 토큰 사용량이 절반으로 줄어들며 출력 품질이 테스트를 직접 통과합니다. 이 4개 계층을 살펴보면 더 큰 관찰이 가능합니다. AI가 실행 효율성을 한계까지 밀어붙일 때 실제로 부족한 것은 판단, 즉 할 가치가 있는 것과 하지 말아야 할 것을 아는 것, 즉 취향입니다. 2️⃣ 이번 에피소드에서는 이런 얘기를 해보겠습니다. [DeepSWE 벤치마크 테스트]: 개발자의 실제 경험을 그대로 반영한 최초의 AI 평가, GPT-4o와 Claude 3 Opus의 격차는 무려 15%포인트나 됩니다.[Tenstorrent Challenges Nvidia]: Jim Keller는 GPU의 핵심 가정을 모두 버리고 AI 칩 비용을 1/5로 줄였습니다.[Agent Engineering의 5가지 기둥]: Karpathy 프레임워크는 차세대 엔지니어의 핵심 경쟁력은 단순히 AI를 사용하는 것이 아니라 AI가 효과적으로 작동할 수 있도록 시스템을 설계하는 것임을 알려줍니다. ✍ [컨텍스트 엔진의 숨겨진 힘]: Context Engine이 없으면 Agent Factory는 유휴 상태입니다. 그것으로 작업 시간이 150분에서 25분으로 압축됩니다 😀 [AI 시대에 가장 부족한 능력은 취향이다]: 효율성이 모든 사람의 기본 장비가 되면, “무엇을 할 가치가 있는지” 판단하는 능력이 진짜 해자 3️⃣ “무인군”과 AI 시대의 인문학적 판단이 최근 『무인군: AI 전쟁왕 팔머』라는 책을 읽었습니다. Rage and the Rise of Anduril". 표면적으로는 Palmer Luckey의 기업가 이야기입니다. 그는 21세에 Oculus VR을 Facebook에 매각한 후 논란의 정치적 입장으로 인해 실리콘 밸리에서 추방되었고, 마침내 방향을 바꿔 Anduril을 설립하고 AI, 드론, 자율 시스템을 사용하여 전통적인 군사 산업 시스템에 도전했습니다. 이야기 자체는 이미 매우 긴장감이 넘칩니다. 하지만 더욱 흥미로운 것은 이 책의 출판 과정 자체가 AI의 축소판이라는 것입니다. AI 전쟁과 무인군도 지식 생산에 AI를 활용한다는 내용을 다룬 책은 AI가 '매우 편리하다'는 것뿐만 아니라, 과거에는 많은 인력과 시간, 전문적인 분업이 필요했던 일들이 체계적으로 압축되고 있다는 점을 상기시킨다. 중요한 질문입니다. AI는 우리가 책을 더 빨리 쓸 수 있게 해주지만 책을 쓸 가치가 있는 이유를 결정할 수는 없습니다. AI는 기업이 제품을 더 빠르게 만들 수 있게 해주지만 실제로 제품이 사람들의 삶을 더 좋게 만드는지 판단할 수는 없습니다. 진짜 위험은 AI가 너무 강력해지는 것이 아니라 인간의 판단이 이를 따르지 못한다는 것입니다. 지금 실리콘 밸리에서 많은 사람들이 말하는 '맛'이라는 단어는 바로 무한한 가능성 중에서 존재 가치가 있는 것을 구별하는 능력을 의미합니다. Luckey, Anduril 및 AI 군산업 시스템의 부상, 이 책은 읽을 가치가 있습니다. 📣 이 에피소드에서는 DeepSWE의 평가 데이터, Tenstorrent의 칩 아키텍처, 에이전트 엔지니어링 사고 및 상황별 엔진에 이르기까지 이야기합니다. 하지만 이런 일이 더 많이 일어날수록 나는 한 가지 확신을 갖게 됩니다. 기술이 그것을 할 수 있는지 여부가 점점 더 어려워지고 있다는 것입니다. 무엇을 해야 할지, 무엇을 하지 말아야 할지 판단할 충분한 판단력이 있는지, 무엇이 소음이고 무엇이 실제 신호인지. 정보의 양이 많을수록 주의를 기울일 만한 것들을 걸러내는 데 도움이 되는 좋은 소음 제거 헤드폰이 더 많이 필요합니다. 오늘의 에피소드가 이러한 신호에서 한두 가지 유용한 방향을 찾는 데 도움이 되었다면 잊지 말고 Apple Podcasts에 별 5개 리뷰를 남기고 "Yoi Technology Open Talk"를 팔로우하세요. 매주 월요일, 수요일, 금요일에 업계 동향을 직접 확인하고 싶으십니까? Yoi의 소셜 플랫폼 팔로우를 환영합니다: 🔍 FB / IG / 스레드 검색: Yoi Studio, @yoi__studio -- 호스팅 제공: SoundOn(https://www.soundon.fm/)