价格: $0.05506 0.0571%
市值: $8.64B 0.4153%
成交额 (24h): 390.6M 0%
统治地位: 0.4153%
Price: $0.05506 0.0571%
市值: $8.64B 0.4153%
成交额 (24h): 390.6M 0%
统治地位: 0.4153% 0.4153%
  • 价格: $0.05506 0.0571%
  • 市值: 8.64B 0.4153%
  • 成交额 (24h): 390.6M 0%
  • 统治地位: 0.4153% 0.4153%
  • 价格: $0.05506 0.0571%
首页 > 视频 > 人工智能实际上是如何工作的(只是猜测下一个单词)

人工智能实际上是如何工作的(只是猜测下一个单词)

发布: 2026/11/01 22:00 阅读: 0

原文作者:Stack Zero

原文来源:https://www.youtube.com/embed/oT6WzDMksgI

人工智能实际上是如何运作的? ChatGPT、Claude 或 Gemini 等聊天机器人的每个答案都是由大型语言模型猜测下一个单词,一次写入一个标记。该视觉解释器遵循整个机器的一个提示。故事始于 1948 年,当时克劳德·香农 (Claude Shannon) 通过翻阅一本书并逐字猜测来造出一个句子。它几乎成功了,然后崩溃了。今天的目标是一样的,但机器可以回顾它读过的所有内容。我们遵循“第一个在月球上行走的人是……”从标记到向量,通过注意力和 96 层,到概率列表和被选中的一个单词。然后我们研究训练,为什么模型在错误时听起来很自信,以及预测可以走多远。在该视频中: • 什么是大型语言模型 (LLM),以及什么是“参数” • 标记:如何将文本切成碎片并转换为数字 • 向量和词嵌入(Bengio,2003) • 注意力:查询、键和值,直观解释(Vaswani 等人,2017) • Softmax、概率和温度:如何选择下一个标记 • 训练、微调和人工反馈 • 为什么选择人工智能幻觉、上下文窗口和知识截止章节 下一个单词预测模型如何实际生成文本。查看概率语言模型和注意力背后的逻辑。大多数人认为人工智能模型像人类一样思考,但它们实际上是统计引擎。本影片详细介绍了下一个单词预测模型如何根据训练数据计算下一个标记的概率的机制。我们探索克劳德·香农 (Claude Shannon) 的原始实验以及它们如何演变成为现代系统提供动力的架构。除了简单的概率之外,我们还研究了词向量和注意力机制,以展示机器如何处理上下文。您将了解为什么这些系统有时会产生无意义的输出,以及它们如何将语言映射到数学空间。对于任何使用或研究大型语言模型的人来说,理解这些核心原则都是至关重要的。堆栈零。复杂的系统。清晰的解释。真正的影响。订阅现代软件背后的技术的每周细分。 0:00 1948 年的猜测单词实验 0:40 今天的聊天机器人:仍在猜测下一个单词 1:41 什么是大型语言模型 2:02 令牌和预测循环 2:41 为什么香农的句子会崩溃 2:56 香农的人类猜测游戏 (1951) 3:32 单词计数:n-gram 3:57 单词向量 (2003) 4:19 注意力到来 (2014) 4:41 变形金刚:“注意力就是你所需要的”(2017) 5:07 模型内部:一个提示,一步一步 5:15 第 1 步:令牌 5:38 第 2 步:向量 6:01 第 3 步:注意力(查询、键、值) 6:49 注意力头 7:04 96 层和前馈网络7:33 第 4 步:概率和 softmax 7:48 第 5 步:选择下一个标记(贪婪、采样、温度) 8:14 循环:一次一个标记 8:33 训练:规模化的香农博弈 9:16 从预测器到助手 9:34 一个循环,许多产品 9:45 为什么人工智能会产生幻觉 10:18 上下文窗口、截止值和来源 10:37 回顾:整机10:59 预测能走多远?除非显示来源,否则屏幕上的数字仅供参考。资料来源 • Shannon (1948),《沟通的数学理论》:https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951),《印刷英语的预测和熵》: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio 等人。 (2003),神经概率语言模型:https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho 和 Bengio (2014),联合学习对齐和翻译的神经机器翻译:https://arxiv.org/abs/1409.0473 • Vaswani 等人。 (2017),注意力就是你所需要的:https://arxiv.org/abs/1706.03762 • Brown 等人。 (2020),语言模型是少样本学习者 (GPT-3):https://arxiv.org/abs/2005.14165 • Meta (2024),Meta Llama 3 简介:https://ai.meta.com/blog/meta-llama-3/ • OpenAI 帮助,什么是代币以及如何计算代币: https://help.openai.com/en/articles/4936856 • Geva 等人。 (2021),变压器前馈层是键值存储器:https://arxiv.org/abs/2012.14913 (2022),训练语言模型遵循人类反馈的指令:https://arxiv.org/abs/2203.02155 • OpenAI (2025),为什么语言模型会产生幻觉:https://openai.com/index/why-language-models-hallucinate/ • Olsson 等人。 (2022),上下文学习和归纳头:https://transformer-circuts.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero 从头开始​​解释了日常技术背后的系统。 #AI #LLM #HowAIWorks

精选专题

  • 狗狗币鲸鱼活动
    狗狗币鲸鱼活动
    通过我们的综合分析,了解狗狗币鲸鱼活动的最新见解。了解趋势、模式以及这些鲸鱼对狗狗币市场的影响。随时了解我们的专家分析,并在您的加密货币之旅中保持领先。
  • 狗狗币挖矿
    狗狗币挖矿
    狗狗币挖矿是向狗狗币区块链添加新交易块的过程。矿工因其工作而获得新的狗狗币奖励。本主题提供与狗狗币挖矿相关的文章,包括如何挖矿狗狗币、最好的挖矿硬件和软件以及狗狗币挖矿的盈利能力。
  • SpaceX 星舰发射
    SpaceX 星舰发射
    本主题提供与 SpaceX 星舰发射相关的文章,包括发射日期、任务详细信息和发射状态。通过此信息丰富且全面的资源,了解最新的 SpaceX 星际飞船发射情况。
  • 模因之王:狗狗币
    模因之王:狗狗币
    本主题提供与最流行的模因相关的文章,包括“模因之王:狗狗币”。 Memecoin 已成为加密货币领域的主导者。这些数字资产之所以受欢迎有多种原因。他们推动了区块链最具创新性的方面。