Preis: $0.05520 -0.0059%
Marktwert: $8.66B 0.4163%
Umsatz (24h): 398.97M 0%
Dominanz: 0.4163%
Price: $0.05520 -0.0059%
Marktwert: $8.66B 0.4163%
Umsatz (24h): 398.97M 0%
Dominanz: 0.4163% 0.4163%
  • Preis: $0.05520 -0.0059%
  • Marktwert: 8.66B 0.4163%
  • Umsatz (24h): 398.97M 0%
  • Dominanz: 0.4163% 0.4163%
  • Preis: $0.05520 -0.0059%
Titelseite > 视频 > Mathematik für KI 02 | Warum Informationen in Bits gemessen werden

Mathematik für KI 02 | Warum Informationen in Bits gemessen werden

freigeben: 2026/11/04 13:16 lesen: 0

Ursprünglicher Autor:Curiosity, Clearly

Originalquelle:https://www.youtube.com/embed/tR12UfyJvTw

Mathematik für KI 02 Warum liefert eine faire Münze eine Information, während eine von acht gleichwahrscheinlichen Karten drei Informationen liefert? Folgen Sie den Auswahlmöglichkeiten, dem Binärbaum und dem Logarithmus, um zu sehen, wie die Wahrscheinlichkeit zu einem Maß für Informationen wird. In Episode 2 von Mathematics for AI erklären Emma, ​​Aoi und Norm Selbstinformationen (Überraschung), warum die Einheit die Basis zwei verwendet und warum Logarithmen Informationen aus aufeinanderfolgenden Schritten addieren lassen. Anschließend verwenden wir ein kleines Sprachmodellbeispiel, um die Bewertung eines beobachteten Tokens während des Trainings von der Auswahl des nächsten Tokens während der Generierung zu unterscheiden. 00:00 Ein Maß für Überraschung 00:57 Eine ausgewogene Wahl, ein Bit 01:59 Warum ein Logarithmus? 05:28 Das Modell ist wichtig 06:21 Bewertung einer KI-Vorhersage 09:21 Ein Ergebnis, dann ein Durchschnitt Die zentrale Definition ist I = −log₂(p), gemessen in Bits. Hier ist Überraschung eine mathematische Größe unter einem bestimmten Wahrscheinlichkeitsmodell, kein Maß für Emotion, Wichtigkeit oder Wahrheit. Die Wahrscheinlichkeiten des Sprachmodells sind anschauliche Beispiele und keine Messungen eines bestimmten KI-Systems. Serie: Mathematik für KI 01 – Bayes-Regel: Überzeugungen aktualisieren 02 – Informationen, Überraschungen und Bits (diese Folge) 03 – Entropie: Unsicherheit messen (nächste Folge) 04 – Kreuzentropie und Vorhersageverlust 05 – Wahrscheinlichkeitskalibrierung 06 – Gradientenabstieg und Lernen Zukünftige Themen und Reihenfolge sind vorläufig. Referenzen und weiterführende Literatur: Claude E. Shannon, A Mathematical Theory of Communication (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, Vorlesungsnotizen zur Informationstheorie: https://web.stanford.edu/class/ee276/files/ previous_notes/lecture_2.pdf Hugging Face Transformers, Perplexity: https://huggingface.co/docs/transformers/perplexity Hugging Face Transformers, Generationsstrategien: https://huggingface.co/docs/transformers/generation_strategies Originaldiagramme und Animation: Curiosity, Clearly. Fiktive illustrierte Moderatoren und synthetische Charakterstimmen. Wenn die Erklärung geholfen hat, liken Sie das Video und abonnieren Sie es. Welche alltägliche Vorhersage würden Sie in Bits messen? Sag es uns in den Kommentaren. #InformationTheory #MathematicsForAI #Bits Series-Playlist: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY Vorherige Folge: https://youtu.be/kS9gsyHW0yk

Ausgewählte Themen

  • Dogecoin-Wal-Aktivität
    Dogecoin-Wal-Aktivität
    Erhalten Sie mit unserer umfassenden Analyse die neuesten Erkenntnisse über die Aktivitäten der Dogecoin-Wale. Entdecken Sie Trends, Muster und die Auswirkungen dieser Wale auf den Dogecoin-Markt. Bleiben Sie mit unserer Expertenanalyse auf dem Laufenden und behalten Sie auf Ihrem Weg zur Kryptowährung die Nase vorn.
  • Dogecoin-Mining
    Dogecoin-Mining
    Beim Dogecoin-Mining werden der Dogecoin-Blockchain neue Transaktionsblöcke hinzugefügt. Miner werden für ihre Arbeit mit neuen Dogecoins belohnt. Dieses Thema enthält Artikel zum Dogecoin-Mining, einschließlich der Anleitung zum Mining von Dogecoin, der besten Mining-Hardware und -Software und der Rentabilität des Dogecoin-Minings.
  • Start des Spacex-Raumschiffs
    Start des Spacex-Raumschiffs
    Dieses Thema enthält Artikel zu SpaceX-Raumschiffstarts, einschließlich Startdaten, Missionsdetails und Startstatus. Bleiben Sie mit dieser informativen und umfassenden Ressource über die neuesten Starts von SpaceX Starship auf dem Laufenden.
  • König der Meme: Dogecoin
    König der Meme: Dogecoin
    Dieses Thema enthält Artikel zu den beliebtesten Memes, darunter „The King of Memes: Dogecoin“. Memecoin hat sich zu einem dominanten Akteur im Kryptoraum entwickelt. Diese digitalen Assets sind aus verschiedenen Gründen beliebt. Sie treiben die innovativsten Aspekte der Blockchain voran.