AI가 정체되는 이유: 손실 환경(AI 뒤에 숨겨진 수학 Ep7)

원저자：AxiomMotion

원본 소스：https://www.youtube.com/embed/NEoYM9mitNI

AI는 훈련할 때 절벽, 계곡, 안장 지점이 있는 수백만 차원의 광대한 지형을 탐색합니다. 하지만 여기에 반전이 있습니다. 실제 문제는 계곡에 갇히는 것이 아닙니다. 그것은 훨씬 더 낯선 일입니다. The Math Behind AI의 에피소드 7에서는 모든 신경망이 훈련하는 숨겨진 풍경을 시각화합니다. 안장점이 고차원에서 지배적인 이유(실제 로컬 최소값의 확률은 본질적으로 0임), ResNet의 건너뛰기 연결이 어떻게 혼란스러운 지형을 매끄러운 그릇으로 변환했는지, 그리고 독립적으로 훈련된 두 모델이 저손실 터널을 통해 비밀리에 연결되는 이유를 확인할 수 있습니다. 또한 편향-분산 트레이드오프, L1 대 L2 정규화의 아름다운 기하학, 드롭아웃이 2ⁿ 네트워크를 동시에 훈련하는 방법을 살펴봅니다. 📑 0:00 손실 랜드스케이프 플라이오버 — 후크 0:19 랜드스케이프 손실 함수는 고차원에서 1:19 안장점 우위를 생성합니다. 2:55 손실 랜드스케이프 시각화 — ResNet이 지형을 변경한 방법 4:33 모드 연결 — 솔루션 간의 숨겨진 터널 5:49 과적합 — 편향-분산 트레이드오프 7:28 L1 대 L2 정규화 — 다이아몬드 및 원 기하학 9:05 드롭아웃 및 배치 정규화 10:54 요약 — 전체 그림 및 에피소드 8 미리보기 😀 시리즈 재생 목록: https://www.youtube.com/playlist?list=PLSjJDxqj7Cqw9op4A2nGV5MxZi_Kf-qv3 😀 이전 에피소드: EP6 — https://www.youtube.com/watch?v=45XwHlhH8mE #TheMathBehindAI #LossLandscape #딥러닝