Conférence 6 -Transformateurs et grands modèles de langage (LLM)

Auteur original：Luis R Soenksen

Source originale：https://www.youtube.com/embed/2nu-csmHvSc

Cette conférence explore les transformateurs et les grands modèles linguistiques (LLM), l'architecture d'apprentissage en profondeur qui alimente les systèmes d'IA modernes tels que ChatGPT, Claude, Gemini, Llama et de nombreux modèles de base multimodaux. Nous commençons par présenter les principales familles de modèles de langage, y compris les architectures autorégressives, auto-encodées et encodeurs-décodeurs, et retraçons l'évolution rapide des LLM depuis les premiers modèles de transformateurs comme BERT et GPT jusqu'aux systèmes multimodaux à grande échelle d'aujourd'hui. La conférence examine ensuite comment la mise à l'échelle, le réglage des instructions, l'apprentissage par renforcement, l'augmentation de la récupération et l'ingénierie des systèmes ont transformé les capacités LLM au-delà de la simple augmentation de la taille du modèle. La seconde moitié de la conférence propose une présentation intuitive mais rigoureuse de l'architecture Transformer, expliquant les intégrations de jetons, les codages de position, l'auto-attention, les vecteurs Query-Key-Value (QKV), l'attention des produits scalaires à l'échelle, l'attention multi-têtes, les connexions résiduelles, la normalisation des couches, les réseaux à action directe et les blocs de transformateur de style GPT. Grâce à des exemples visuels et à des formulations mathématiques, les étudiants développent une compréhension de niveau ingénierie de la manière dont les transformateurs construisent des représentations contextuelles et effectuent la prédiction du jeton suivant. Enfin, nous explorons comment la même architecture s'étend au-delà du langage naturel pour inclure le texte biomédical, les dossiers de santé électroniques (DSE), les séquences biologiques, l'imagerie médicale, les graphiques et les applications de soins de santé multimodales, tout en discutant de considérations pratiques telles que les hallucinations, l'alignement des modèles, la sécurité, l'interprétabilité et le déploiement responsable en médecine et en santé mondiale. #IA #IntelligenceArtificielle #MachineLearning #DeepLearning #Transformers #LargeLanguageModels #LLMs #GPT #ChatGPT #AttentionMechanism #SelfAttention #GenerativeAI #FoundationModels #NaturalLanguageProcessing #NLP #BiomedicalAI #MedicalAI #HealthcareAI #ClinicalAI #ElectronicHealthRecords #Bioinformatics #ComputationalBiology #VisionTransformer #MultimodalAI #AIEducation #GraduateCourse #AIInMedicine #GlobalHealth #MedicalEducation #MachineLearningCourse