libérer: 2026/11/04 13:16 lire: 0
Auteur original:Curiosity, Clearly
Source originale:https://www.youtube.com/embed/tR12UfyJvTw
Mathématiques pour l'IA 02 Pourquoi une pièce de monnaie juste donne-t-elle une information, alors qu'une des huit cartes également probables en donne trois ? Suivez les choix, l'arbre binaire et le logarithme pour voir comment la probabilité devient une mesure d'information. Dans l'épisode 2 de Mathematics for AI, Emma, Aoi et Norm expliquent l'auto-information (surprise), pourquoi l'unité utilise la base deux et pourquoi les logarithmes permettent aux informations des étapes successives de s'additionner. Ensuite, nous utilisons un petit exemple de modèle de langage pour distinguer l'évaluation d'un jeton observé lors de la formation du choix du jeton suivant lors de la génération. 00:00 Une mesure pour la surprise 00:57 Un choix équilibré, un bit 01:59 Pourquoi un logarithme ? 05:28 Le modèle compte 06:21 Noter une prédiction de l'IA 09:21 Un résultat, puis une moyenne La définition centrale est I = −log₂(p), mesuré en bits. Ici, la surprise est une quantité mathématique selon un modèle de probabilité spécifié, et non une mesure de l'émotion, de l'importance ou de la vérité. Les probabilités du modèle de langage sont des exemples illustratifs et non des mesures d'un système d'IA particulier. Série : Mathématiques pour l'IA 01 — Règle de Bayes : mise à jour des croyances 02 — Information, surprise et bits (cet épisode) 03 — Entropie : mesure de l'incertitude (suivant) 04 — Entropie croisée et perte de prédiction 05 — Calibrage de probabilité 06 — Descente de gradient et apprentissage Les sujets et l'ordre futurs sont provisoires. Références et lectures complémentaires : Claude E. Shannon, A Mathematical Theory of Communication (1948) : https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, Notes de cours sur la théorie de l'information : https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf Hugging Face Transformers, Perplexity : https://huggingface.co/docs/transformers/perplexity Hugging Face Transformers, Stratégies de génération : https://huggingface.co/docs/transformers/generation_strategies Diagrammes et animations originaux : Curiosity, Clearly. Présentateurs illustrés fictifs et voix de personnages synthétiques. Si l'explication vous a aidé, aimez la vidéo et abonnez-vous. Quelle prédiction quotidienne mesureriez-vous en bits ? Dites-le-nous dans les commentaires. #InformationTheory #MathematicsForAI #Bits Series playlist : https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY Épisode précédent : https://youtu.be/kS9gsyHW0yk
kumis patiler
2026-11-23 02:00
Ha Ms
2026-11-23 02:00
CRYPTO_BEN
2026-11-23 02:00
子敬.轮回珠宝
2026-11-23 02:00
CryptoMetric
2026-11-23 02:00
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
Sélectionnez la devise
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
Sélectionnez la devise
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿