libérer: 2026/11/01 22:00 lire: 0
Auteur original:Stack Zero
Source originale:https://www.youtube.com/embed/oT6WzDMksgI
Concrètement, comment fonctionne l’IA ? Chaque réponse d'un chatbot comme ChatGPT, Claude ou Gemini est écrite un jeton à la fois, par un grand modèle de langage qui devine le mot suivant. Cet explicateur visuel suit une invite dans toute la machine. Tout commence en 1948, lorsque Claude Shannon construit une phrase en feuilletant un livre et en devinant mot après mot. Cela a presque fonctionné, puis s'est effondré. Aujourd’hui, l’objectif est le même, mais la machine peut revenir sur tout ce qu’elle a lu. Nous suivons « La première personne à marcher sur la Lune était… » des jetons aux vecteurs, en passant par l'attention et 96 couches, jusqu'à une liste de probabilités et le mot choisi. Nous examinons ensuite la formation, les raisons pour lesquelles les modèles semblent confiants lorsqu'ils se trompent et jusqu'où peuvent aller les prédictions. Dans cette vidéo : • Qu'est-ce qu'un grand modèle de langage (LLM) et ce que sont les « paramètres » ? Jetons : comment le texte est découpé en morceaux et transformé en nombres. • Vecteurs et incorporations de mots (Bengio, 2003). • Attention : requêtes, clés et valeurs, expliquées visuellement (Vaswani et al., 2017). hallucinations, fenêtres contextuelles et limites de connaissances CHAPITRES Comment les modèles de prédiction du mot suivant génèrent réellement du texte. Découvrez la logique derrière les modèles de langage probabilistes et l'attention. La plupart des gens supposent que les modèles d’IA pensent comme les humains, mais ce sont en réalité des moteurs statistiques. Ce film explique les mécanismes par lesquels les modèles de prédiction du mot suivant calculent la probabilité du prochain jeton sur la base des données d'entraînement. Nous explorons les expériences originales de Claude Shannon et comment elles ont évolué vers l'architecture qui alimente les systèmes modernes. Au-delà de la simple probabilité, nous examinons les vecteurs de mots et les mécanismes d’attention pour montrer comment les machines traitent le contexte. Vous apprendrez pourquoi ces systèmes produisent parfois des résultats absurdes et comment ils mappent le langage dans l'espace mathématique. Comprendre ces principes fondamentaux est essentiel pour quiconque crée ou recherche de grands modèles de langage. Pile zéro. Systèmes complexes. Explications claires. Un réel impact. Abonnez-vous pour des informations hebdomadaires sur la technologie derrière les logiciels modernes. 0:00 Une expérience de 1948 pour deviner les mots 0:40 Les chatbots d'aujourd'hui : toujours deviner le mot suivant 1:41 Qu'est-ce qu'un grand modèle de langage 2:02 Les jetons et la boucle de prédiction 2:41 Pourquoi la phrase de Shannon s'est effondrée 2:56 Le jeu de devinettes humain de Shannon (1951) 3:32 Compter les mots : n-grammes 3:57 Vecteurs de mots (2003) 4:19 L'attention arrive (2014) 4:41 Transformateurs : "L'attention est tout ce dont vous avez besoin" (2017) 5:07 À l'intérieur du modèle : une invite, étape par étape 5:15 Étape 1 : Jetons 5:38 Étape 2 : Vecteurs 6:01 Étape 3 : Attention (requête, clé, valeur) 6:49 Têtes d'attention 7:04 96 couches et réseaux à action directe 7:33 Étape 4 : Probabilités et softmax 7:48 Étape 5 : Choisir le prochain jeton (gourmand, échantillonnage, température) 8:14 La boucle : un jeton à la fois 8:33 Entraînement : le jeu de Shannon à l'échelle 9:16 Du prédicteur à l'assistant 9:34 Une boucle, de nombreux produits 9:45 Pourquoi l'IA hallucine 10:18 Fenêtres contextuelles, seuils et sources 10:37 Récapitulatif : toute la machine 10:59 Jusqu'où peut aller la prédiction ? Les chiffres à l'écran sont indicatifs, sauf si une source est affichée. SOURCES • Shannon (1948), Une théorie mathématique de la communication : https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951), Prédiction et entropie de l'anglais imprimé : https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et coll. (2003), Un modèle de langage probabiliste neuronal : https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau, Cho et Bengio (2014), Traduction automatique neuronale en apprenant conjointement à aligner et traduire : https://arxiv.org/abs/1409.0473 • Vaswani et al. (2017), L'attention est tout ce dont vous avez besoin : https://arxiv.org/abs/1706.03762 • Brown et al. (2020), Language Models are Few-Shot Learners (GPT-3) : https://arxiv.org/abs/2005.14165 • Meta (2024), Présentation de Meta Llama 3 : https://ai.meta.com/blog/meta-llama-3/ • Aide OpenAI, Que sont les jetons et comment les compter : https://help.openai.com/en/articles/4936856 • Geva et coll. (2021), Les couches à action directe du transformateur sont des mémoires à valeurs clés : https://arxiv.org/abs/2012.14913 • Ouyang et al. (2022), Entraîner des modèles de langage à suivre des instructions avec des commentaires humains : https://arxiv.org/abs/2203.02155 • OpenAI (2025), Pourquoi les modèles de langage hallucinent : https://openai.com/index/why-lingual-models-hallucinate/ • Olsson et al. (2022), In-context Learning and Induction Heads : https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero explique les systèmes derrière la technologie quotidienne, de A à Z. #IA #LLM #Comment fonctionne l'IA
kumis patiler
2026-11-23 06:22
Ha Ms
2026-11-23 06:22
CRYPTO_BEN
2026-11-23 06:22
子敬.轮回珠宝
2026-11-23 06:22
CryptoMetric
2026-11-23 06:22
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
Sélectionnez la devise
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
Sélectionnez la devise
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿