Pourquoi l'IA reste bloquée : paysages de perte (Math Behind AI Ep7)

Auteur original：AxiomMotion

Source originale：https://www.youtube.com/embed/NEoYM9mitNI

Lorsque l’IA s’entraîne, elle parcourt un vaste terrain aux millions de dimensions, avec des falaises, des vallées et des points de selle. Mais voici le problème : le vrai problème n’est pas de rester coincé dans les vallées. C'est quelque chose de bien plus étrange. Dans l'épisode 7 de The Math Behind AI, nous visualisons le paysage caché sur lequel chaque réseau neuronal s'entraîne. Vous verrez pourquoi les points de selle dominent dans les grandes dimensions (la probabilité d'un véritable minimum local est essentiellement nulle), comment les connexions sautées de ResNet ont transformé un terrain chaotique en un bol lisse et pourquoi deux modèles formés indépendamment sont secrètement connectés par des tunnels à faibles pertes. Nous explorons également le compromis biais-variance, la belle géométrie de la régularisation L1 vs L2 et comment l'abandon entraîne simultanément les réseaux 2ⁿ. 📑 CHAPITRES 0:00 Survol du paysage de perte — Crochet 0:19 La fonction de perte de paysage crée 1:19 Dominance du point de selle dans des dimensions élevées 2:55 Visualisation des paysages de perte — Comment ResNet a modifié le terrain 4:33 Connectivité des modes — Tunnels cachés entre les solutions 5:49 Surajustement — Le compromis biais-variance 7:28 Régularisation L1 vs L2 — Géométrie du diamant et du cercle 9h05 Abandon et normalisation des lots 10h54 Récapitulatif — L'image complète et aperçu de l'épisode 8 📌 Liste de lecture de la série : https://www.youtube.com/playlist?list=PLSjJDxqj7Cqw9op4A2nGV5MxZi_Kf-qv3 📌 Épisode précédent : EP6 — https://www.youtube.com/watch?v=45XwHlhH8mE #TheMathBehindAI #LossLandscape #DeepLearning