发布: 2026/11/01 22:00 阅读: 0
原文作者:Stack Zero
原文来源:https://www.youtube.com/embed/oT6WzDMksgI
人工智能实际上是如何运作的? ChatGPT、Claude 或 Gemini 等聊天机器人的每个答案都是由大型语言模型猜测下一个单词,一次写入一个标记。该视觉解释器遵循整个机器的一个提示。故事始于 1948 年,当时克劳德·香农 (Claude Shannon) 通过翻阅一本书并逐字猜测来造出一个句子。它几乎成功了,然后崩溃了。今天的目标是一样的,但机器可以回顾它读过的所有内容。我们遵循“第一个在月球上行走的人是……”从标记到向量,通过注意力和 96 层,到概率列表和被选中的一个单词。然后我们研究训练,为什么模型在错误时听起来很自信,以及预测可以走多远。在该视频中: • 什么是大型语言模型 (LLM),以及什么是“参数” • 标记:如何将文本切成碎片并转换为数字 • 向量和词嵌入(Bengio,2003) • 注意力:查询、键和值,直观解释(Vaswani 等人,2017) • Softmax、概率和温度:如何选择下一个标记 • 训练、微调和人工反馈 • 为什么选择人工智能幻觉、上下文窗口和知识截止章节 下一个单词预测模型如何实际生成文本。查看概率语言模型和注意力背后的逻辑。大多数人认为人工智能模型像人类一样思考,但它们实际上是统计引擎。本影片详细介绍了下一个单词预测模型如何根据训练数据计算下一个标记的概率的机制。我们探索克劳德·香农 (Claude Shannon) 的原始实验以及它们如何演变成为现代系统提供动力的架构。除了简单的概率之外,我们还研究了词向量和注意力机制,以展示机器如何处理上下文。您将了解为什么这些系统有时会产生无意义的输出,以及它们如何将语言映射到数学空间。对于任何使用或研究大型语言模型的人来说,理解这些核心原则都是至关重要的。堆栈零。复杂的系统。清晰的解释。真正的影响。订阅现代软件背后的技术的每周细分。 0:00 1948 年的猜测单词实验 0:40 今天的聊天机器人:仍在猜测下一个单词 1:41 什么是大型语言模型 2:02 令牌和预测循环 2:41 为什么香农的句子会崩溃 2:56 香农的人类猜测游戏 (1951) 3:32 单词计数:n-gram 3:57 单词向量 (2003) 4:19 注意力到来 (2014) 4:41 变形金刚:“注意力就是你所需要的”(2017) 5:07 模型内部:一个提示,一步一步 5:15 第 1 步:令牌 5:38 第 2 步:向量 6:01 第 3 步:注意力(查询、键、值) 6:49 注意力头 7:04 96 层和前馈网络7:33 第 4 步:概率和 softmax 7:48 第 5 步:选择下一个标记(贪婪、采样、温度) 8:14 循环:一次一个标记 8:33 训练:规模化的香农博弈 9:16 从预测器到助手 9:34 一个循环,许多产品 9:45 为什么人工智能会产生幻觉 10:18 上下文窗口、截止值和来源 10:37 回顾:整机10:59 预测能走多远?除非显示来源,否则屏幕上的数字仅供参考。资料来源 • Shannon (1948),《沟通的数学理论》:https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951),《印刷英语的预测和熵》: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio 等人。 (2003),神经概率语言模型:https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho 和 Bengio (2014),联合学习对齐和翻译的神经机器翻译:https://arxiv.org/abs/1409.0473 • Vaswani 等人。 (2017),注意力就是你所需要的:https://arxiv.org/abs/1706.03762 • Brown 等人。 (2020),语言模型是少样本学习者 (GPT-3):https://arxiv.org/abs/2005.14165 • Meta (2024),Meta Llama 3 简介:https://ai.meta.com/blog/meta-llama-3/ • OpenAI 帮助,什么是代币以及如何计算代币: https://help.openai.com/en/articles/4936856 • Geva 等人。 (2021),变压器前馈层是键值存储器:https://arxiv.org/abs/2012.14913 (2022),训练语言模型遵循人类反馈的指令:https://arxiv.org/abs/2203.02155 • OpenAI (2025),为什么语言模型会产生幻觉:https://openai.com/index/why-language-models-hallucinate/ • Olsson 等人。 (2022),上下文学习和归纳头:https://transformer-circuts.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero 从头开始解释了日常技术背后的系统。 #AI #LLM #HowAIWorks
kumis patiler
2026-11-23 06:22
Ha Ms
2026-11-23 06:22
CRYPTO_BEN
2026-11-23 06:22
子敬.轮回珠宝
2026-11-23 06:22
CryptoMetric
2026-11-23 06:22
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
选择货币
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
选择货币
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿