freigeben: 2026/11/04 13:16 lesen: 0
Ursprünglicher Autor:Curiosity, Clearly
Originalquelle:https://www.youtube.com/embed/tR12UfyJvTw
Mathematik für KI 02 Warum liefert eine faire Münze eine Information, während eine von acht gleichwahrscheinlichen Karten drei Informationen liefert? Folgen Sie den Auswahlmöglichkeiten, dem Binärbaum und dem Logarithmus, um zu sehen, wie die Wahrscheinlichkeit zu einem Maß für Informationen wird. In Episode 2 von Mathematics for AI erklären Emma, Aoi und Norm Selbstinformationen (Überraschung), warum die Einheit die Basis zwei verwendet und warum Logarithmen Informationen aus aufeinanderfolgenden Schritten addieren lassen. Anschließend verwenden wir ein kleines Sprachmodellbeispiel, um die Bewertung eines beobachteten Tokens während des Trainings von der Auswahl des nächsten Tokens während der Generierung zu unterscheiden. 00:00 Ein Maß für Überraschung 00:57 Eine ausgewogene Wahl, ein Bit 01:59 Warum ein Logarithmus? 05:28 Das Modell ist wichtig 06:21 Bewertung einer KI-Vorhersage 09:21 Ein Ergebnis, dann ein Durchschnitt Die zentrale Definition ist I = −log₂(p), gemessen in Bits. Hier ist Überraschung eine mathematische Größe unter einem bestimmten Wahrscheinlichkeitsmodell, kein Maß für Emotion, Wichtigkeit oder Wahrheit. Die Wahrscheinlichkeiten des Sprachmodells sind anschauliche Beispiele und keine Messungen eines bestimmten KI-Systems. Serie: Mathematik für KI 01 – Bayes-Regel: Überzeugungen aktualisieren 02 – Informationen, Überraschungen und Bits (diese Folge) 03 – Entropie: Unsicherheit messen (nächste Folge) 04 – Kreuzentropie und Vorhersageverlust 05 – Wahrscheinlichkeitskalibrierung 06 – Gradientenabstieg und Lernen Zukünftige Themen und Reihenfolge sind vorläufig. Referenzen und weiterführende Literatur: Claude E. Shannon, A Mathematical Theory of Communication (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, Vorlesungsnotizen zur Informationstheorie: https://web.stanford.edu/class/ee276/files/ previous_notes/lecture_2.pdf Hugging Face Transformers, Perplexity: https://huggingface.co/docs/transformers/perplexity Hugging Face Transformers, Generationsstrategien: https://huggingface.co/docs/transformers/generation_strategies Originaldiagramme und Animation: Curiosity, Clearly. Fiktive illustrierte Moderatoren und synthetische Charakterstimmen. Wenn die Erklärung geholfen hat, liken Sie das Video und abonnieren Sie es. Welche alltägliche Vorhersage würden Sie in Bits messen? Sag es uns in den Kommentaren. #InformationTheory #MathematicsForAI #Bits Series-Playlist: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY Vorherige Folge: https://youtu.be/kS9gsyHW0yk
kumis patiler
2026-11-23 02:00
Ha Ms
2026-11-23 02:00
CRYPTO_BEN
2026-11-23 02:00
子敬.轮回珠宝
2026-11-23 02:00
CryptoMetric
2026-11-23 02:00
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
Währung auswählen
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
Währung auswählen
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿