prix: $0.05520 -0.0059%
Valeur marchande: $8.66B 0.4163%
Chiffre d’affaires (24h): 398.97M 0%
Dominance: 0.4163%
Price: $0.05520 -0.0059%
Valeur marchande: $8.66B 0.4163%
Chiffre d’affaires (24h): 398.97M 0%
Dominance: 0.4163% 0.4163%
  • prix: $0.05520 -0.0059%
  • Valeur marchande: 8.66B 0.4163%
  • Chiffre d’affaires (24h): 398.97M 0%
  • Dominance: 0.4163% 0.4163%
  • prix: $0.05520 -0.0059%
première page > 视频 > Mathématiques pour l'IA 02 | Pourquoi les informations sont mesurées en bits

Mathématiques pour l'IA 02 | Pourquoi les informations sont mesurées en bits

libérer: 2026/11/04 13:16 lire: 0

Auteur original:Curiosity, Clearly

Source originale:https://www.youtube.com/embed/tR12UfyJvTw

Mathématiques pour l'IA 02 Pourquoi une pièce de monnaie juste donne-t-elle une information, alors qu'une des huit cartes également probables en donne trois ? Suivez les choix, l'arbre binaire et le logarithme pour voir comment la probabilité devient une mesure d'information. Dans l'épisode 2 de Mathematics for AI, Emma, ​​Aoi et Norm expliquent l'auto-information (surprise), pourquoi l'unité utilise la base deux et pourquoi les logarithmes permettent aux informations des étapes successives de s'additionner. Ensuite, nous utilisons un petit exemple de modèle de langage pour distinguer l'évaluation d'un jeton observé lors de la formation du choix du jeton suivant lors de la génération. 00:00 Une mesure pour la surprise 00:57 Un choix équilibré, un bit 01:59 Pourquoi un logarithme ? 05:28 Le modèle compte 06:21 Noter une prédiction de l'IA 09:21 Un résultat, puis une moyenne La définition centrale est I = −log₂(p), mesuré en bits. Ici, la surprise est une quantité mathématique selon un modèle de probabilité spécifié, et non une mesure de l'émotion, de l'importance ou de la vérité. Les probabilités du modèle de langage sont des exemples illustratifs et non des mesures d'un système d'IA particulier. Série : Mathématiques pour l'IA 01 — Règle de Bayes : mise à jour des croyances 02 — Information, surprise et bits (cet épisode) 03 — Entropie : mesure de l'incertitude (suivant) 04 — Entropie croisée et perte de prédiction 05 — Calibrage de probabilité 06 — Descente de gradient et apprentissage Les sujets et l'ordre futurs sont provisoires. Références et lectures complémentaires : Claude E. Shannon, A Mathematical Theory of Communication (1948) : https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, Notes de cours sur la théorie de l'information : https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf Hugging Face Transformers, Perplexity : https://huggingface.co/docs/transformers/perplexity Hugging Face Transformers, Stratégies de génération : https://huggingface.co/docs/transformers/generation_strategies Diagrammes et animations originaux : Curiosity, Clearly. Présentateurs illustrés fictifs et voix de personnages synthétiques. Si l'explication vous a aidé, aimez la vidéo et abonnez-vous. Quelle prédiction quotidienne mesureriez-vous en bits ? Dites-le-nous dans les commentaires. #InformationTheory #MathematicsForAI #Bits Series playlist : https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY Épisode précédent : https://youtu.be/kS9gsyHW0yk

Sujets en vedette

  • Activité des baleines Dogecoin
    Activité des baleines Dogecoin
    Obtenez les dernières informations sur les activités des baleines Dogecoin grâce à notre analyse complète. Découvrez les tendances, les modèles et l'impact de ces baleines sur le marché Dogecoin. Restez informé grâce à notre analyse d’experts et gardez une longueur d’avance dans votre parcours de crypto-monnaie.
  • Extraction de Dogecoins
    Extraction de Dogecoins
    Le minage de Dogecoin est le processus d'ajout de nouveaux blocs de transactions à la blockchain Dogecoin. Les mineurs sont récompensés par un nouveau Dogecoin pour leur travail. Cette rubrique propose des articles liés au minage de Dogecoin, notamment sur la manière d'exploiter du Dogecoin, les meilleurs matériels et logiciels de minage et la rentabilité du minage de Dogecoin.
  • Lancement du vaisseau Spacex
    Lancement du vaisseau Spacex
    Cette rubrique fournit des articles relatifs aux lancements de SpaceX Starship, notamment les dates de lancement, les détails de la mission et l'état du lancement. Restez au courant des derniers lancements de SpaceX Starship avec cette ressource informative et complète.
  • Roi des mèmes : Dogecoin
    Roi des mèmes : Dogecoin
    Cette rubrique propose des articles liés aux mèmes les plus populaires, notamment « Le roi des mèmes : Dogecoin ». Memecoin est devenu un acteur dominant dans l’espace crypto. Ces actifs numériques sont populaires pour diverses raisons. Ils pilotent les aspects les plus innovants de la blockchain.