AI が行き詰まる理由: 損失の風景 (AI の背後にある数学 Ep7)

原作者：AxiomMotion

オリジナルソース：https://www.youtube.com/embed/NEoYM9mitNI

AI はトレーニングする際、崖、谷、鞍点など、数百万次元の広大な地形を移動します。しかし、ここにねじれがあります。本当の問題は、谷にはまってしまうことではありません。それははるかに奇妙なものです。 『The Math Behind AI』のエピソード 7 では、あらゆるニューラル ネットワークがトレーニングされる隠れた風景を視覚化します。高次元で鞍点が優勢である理由 (真の局所最小値の確率は本質的にゼロ)、ResNet のスキップ接続がどのようにカオスな地形を滑らかなボウルに変換したか、そしてなぜ 2 つの独立してトレーニングされたモデルが低損失トンネルによって密かに接続されているかがわかります。また、バイアスと分散のトレードオフ、L1 と L2 の正則化の美しい幾何学構造、およびドロップアウトが 2ⁿ ネットワークを同時にトレーニングする方法についても調査します。 📑 章 0:00 損失ランドスケープのフライオーバー — フック 0:19 損失関数が生み出すランドスケープ 1:19 高次元におけるサドルポイント優位性 2:55 損失ランドスケープの視覚化 — ResNet が地形をどのように変えたか 4:33 モード接続 — ソリューション間の隠れたトンネル 5:49 過学習 — バイアス分散のトレードオフ 7:28 L1 vs L2 正則化 — ダイヤモンドと円の幾何学 9:05 ドロップアウトとバッチ正規化 10:54 要約 — 全体像とエピソード 8 プレビュー 📌 シリーズ プレイリスト: https://www.youtube.com/playlist?list=PLSjJDxqj7Cqw9op4A2nGV5MxZi_Kf-qv3 📌 前のエピソード: EP6 — https://www.youtube.com/watch?v=45XwHlhH8mE #TheMathBehindAI #LossLandscape #DeepLearning