发布: 2026/11/04 13:16 阅读: 0
原文作者:Curiosity, Clearly
原文来源:https://www.youtube.com/embed/tR12UfyJvTw
AI 数学 02 为什么一枚均匀的硬币给出一位信息,而八张同样可能的卡片中的一张给出三位信息?按照选择、二叉树和对数来了解概率如何成为信息的度量。在《AI 数学》的第 2 集中,Emma、Aoi 和 Norm 解释了自我信息(令人惊讶)、为什么该单位使用底数为 2,以及为什么对数可以让连续步骤的信息相加。然后,我们使用一个小型语言模型示例来区分训练期间对观察到的标记进行评分与生成期间选择下一个标记。 00:00 惊喜的衡量标准 00:57 一个平衡的选择,一位 01:59 为什么是对数? 05:28 模型很重要 06:21 对人工智能预测进行评分 09:21 一个结果,然后是平均值 中心定义是 I = −log2(p),以比特为单位。在这里,惊喜是指定概率模型下的数学量,而不是情感、重要性或真相的度量。语言模型概率只是说明性示例,而不是特定人工智能系统的测量结果。系列:人工智能数学 01 — 贝叶斯规则:更新信念 02 — 信息、惊喜和比特(本集) 03 — 熵:测量不确定性(下一个) 04 — 交叉熵和预测损失 05 — 概率校准 06 — 梯度下降和学习 未来的主题和顺序是临时的。参考文献和进一步阅读:Claude E. Shannon,通信数学理论 (1948):https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x 斯坦福大学 EE276,信息论讲义: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 拥抱脸部变形金刚,困惑:https://huggingface.co/docs/transformers/perplexity 拥抱脸部变形金刚,生成策略:https://huggingface.co/docs/transformers/ Generation_strategies 原始图表和动画:好奇心,清晰。虚构的插图主持人和合成角色声音。如果解释有帮助,请喜欢视频并订阅。您会用比特来衡量什么日常预测?在评论中告诉我们。 #InformationTheory #MathematicsForAI #Bits 系列播放列表:https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 上一集:https://youtu.be/kS9gsyHW0yk
kumis patiler
2026-11-23 02:00
Ha Ms
2026-11-23 02:00
CRYPTO_BEN
2026-11-23 02:00
子敬.轮回珠宝
2026-11-23 02:00
CryptoMetric
2026-11-23 02:00
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
选择货币
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
选择货币
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿