价格: $0.05537 3.1839%
市值: $8.69B 0.417%
成交额 (24h): 481.53M 0%
统治地位: 0.417%
Price: $0.05537 3.1839%
市值: $8.69B 0.417%
成交额 (24h): 481.53M 0%
统治地位: 0.417% 0.417%
  • 价格: $0.05537 3.1839%
  • 市值: 8.69B 0.417%
  • 成交额 (24h): 481.53M 0%
  • 统治地位: 0.417% 0.417%
  • 价格: $0.05537 3.1839%
首页 > 视频 > Transformer 架构解释:从文本到智能

Transformer 架构解释:从文本到智能

发布: 2026/11/22 12:00 阅读: 0

原文作者:Pidoku

原文来源:https://www.youtube.com/embed/5fMTpe_M694

输入问题和人工智能回答问题之间到底发生了什么?该视频打开了 Transformer,即 GPT、Claude、Gemini 和大多数现代语言模型背后的架构,并遵循一个简单的句子“猫喝牛奶。”贯穿每一步。您将了解文本如何成为标记和标记 ID、嵌入和位置编码如何将它们转换为向量、自注意力如何使用查询、键和值、为什么存在多头注意力、前馈网络、残差连接和层标准化的作用、因果屏蔽如何让模型预测下一个标记、训练和推理如何工作,以及为什么 KV 缓存对于在 GPU 上运行大型语言模型很重要。没有黑匣子,也没有不必要的行话:一句话、一系列图表和幕后的数学。显示的令牌 ID、向量和百分比仅供说明。时间戳 0:00 简介:当你向 AI 提问时会发生什么 1:01 变形金刚之前:RNN 和 2017 年论文 2:14 标记化:将文本转化为标记 ID 3:27 嵌入:将单词作为向量 4:43 位置编码和 RoPE 5:54 自注意力:查询、键和值 8:52 缩放点积注意力,一步一步9:35 多头注意力 11:11 前馈网络 12:16 残差连接和层归一化 13:20 完整的 Transformer 模块 14:08 编码器、解码器以及 BERT、GPT 和 T5 15:22 因果屏蔽 16:27 Transformer 是如何训练的 17:46 推理:如何生成文本 18:53 KV 缓存20:15 完整的旅程 21:07 为什么变形金刚改变了人工智能

精选专题

  • 狗狗币鲸鱼活动
    狗狗币鲸鱼活动
    通过我们的综合分析,了解狗狗币鲸鱼活动的最新见解。了解趋势、模式以及这些鲸鱼对狗狗币市场的影响。随时了解我们的专家分析,并在您的加密货币之旅中保持领先。
  • 狗狗币挖矿
    狗狗币挖矿
    狗狗币挖矿是向狗狗币区块链添加新交易块的过程。矿工因其工作而获得新的狗狗币奖励。本主题提供与狗狗币挖矿相关的文章,包括如何挖矿狗狗币、最好的挖矿硬件和软件以及狗狗币挖矿的盈利能力。
  • SpaceX 星舰发射
    SpaceX 星舰发射
    本主题提供与 SpaceX 星舰发射相关的文章,包括发射日期、任务详细信息和发射状态。通过此信息丰富且全面的资源,了解最新的 SpaceX 星际飞船发射情况。
  • 模因之王:狗狗币
    模因之王:狗狗币
    本主题提供与最流行的模因相关的文章,包括“模因之王:狗狗币”。 Memecoin 已成为加密货币领域的主导者。这些数字资产之所以受欢迎有多种原因。他们推动了区块链最具创新性的方面。