价格: $0.05520 -0.0059%
市值: $8.66B 0.4163%
成交额 (24h): 398.97M 0%
统治地位: 0.4163%
Price: $0.05520 -0.0059%
市值: $8.66B 0.4163%
成交额 (24h): 398.97M 0%
统治地位: 0.4163% 0.4163%
  • 价格: $0.05520 -0.0059%
  • 市值: 8.66B 0.4163%
  • 成交额 (24h): 398.97M 0%
  • 统治地位: 0.4163% 0.4163%
  • 价格: $0.05520 -0.0059%
首页 > 视频 > 人工智能数学 02 |为什么信息以位来衡量

人工智能数学 02 |为什么信息以位来衡量

发布: 2026/11/04 13:16 阅读: 0

原文作者:Curiosity, Clearly

原文来源:https://www.youtube.com/embed/tR12UfyJvTw

AI 数学 02 为什么一枚均匀的硬币给出一位信息,而八张同样可能的卡片中的一张给出三位信息?按照选择、二叉树和对数来了解概率如何成为信息的度量。在《AI 数学》的第 2 集中,Emma、Aoi 和 Norm 解释了自我信息(令人惊讶)、为什么该单位使用底数为 2,以及为什么对数可以让连续步骤的信息相加。然后,我们使用一个小型语言模型示例来区分训练期间对观察到的标记进行评分与生成期间选择下一个标记。 00:00 惊喜的衡量标准 00:57 一个平衡的选择,一位 01:59 为什么是对数? 05:28 模型很重要 06:21 对人工智能预测进行评分 09:21 一个结果,然后是平均值 中心定义是 I = −log2(p),以比特为单位。在这里,惊喜是指定概率模型下的数学量,而不是情感、重要性或真相的度量。语言模型概率只是说明性示例,而不是特定人工智能系统的测量结果。系列:人工智能数学 01 — 贝叶斯规则:更新信念 02 — 信息、惊喜和比特(本集) 03 — 熵:测量不确定性(下一个) 04 — 交叉熵和预测损失 05 — 概率校准 06 — 梯度下降和学习 未来的主题和顺序是临时的。参考文献和进一步阅读:Claude E. Shannon,通信数学理论 (1948):https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x 斯坦福大学 EE276,信息论讲义: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 拥抱脸部变形金刚,困惑:https://huggingface.co/docs/transformers/perplexity 拥抱脸部变形金刚,生成策略:https://huggingface.co/docs/transformers/ Generation_strategies 原始图表和动画:好奇心,清晰。虚构的插图主持人和合成角色声音。如果解释有帮助,请喜欢视频并订阅。您会用比特来衡量什么日常预测?在评论中告诉我们。 #InformationTheory #MathematicsForAI #Bits 系列播放列表:https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 上一集:https://youtu.be/kS9gsyHW0yk

精选专题

  • 狗狗币鲸鱼活动
    狗狗币鲸鱼活动
    通过我们的综合分析,了解狗狗币鲸鱼活动的最新见解。了解趋势、模式以及这些鲸鱼对狗狗币市场的影响。随时了解我们的专家分析,并在您的加密货币之旅中保持领先。
  • 狗狗币挖矿
    狗狗币挖矿
    狗狗币挖矿是向狗狗币区块链添加新交易块的过程。矿工因其工作而获得新的狗狗币奖励。本主题提供与狗狗币挖矿相关的文章,包括如何挖矿狗狗币、最好的挖矿硬件和软件以及狗狗币挖矿的盈利能力。
  • SpaceX 星舰发射
    SpaceX 星舰发射
    本主题提供与 SpaceX 星舰发射相关的文章,包括发射日期、任务详细信息和发射状态。通过此信息丰富且全面的资源,了解最新的 SpaceX 星际飞船发射情况。
  • 模因之王:狗狗币
    模因之王:狗狗币
    本主题提供与最流行的模因相关的文章,包括“模因之王:狗狗币”。 Memecoin 已成为加密货币领域的主导者。这些数字资产之所以受欢迎有多种原因。他们推动了区块链最具创新性的方面。