リリース: 2026/11/22 12:00 読む: 0
原作者:Pidoku
オリジナルソース:https://www.youtube.com/embed/5fMTpe_M694
質問を入力してから AI がそれに答えるまでの間に実際には何が起こるのでしょうか?このビデオでは、GPT、Claude、Gemini、およびほとんどの最新言語モデルの背後にあるアーキテクチャである Transformer を開き、「猫はミルクを飲みます。」という 1 つの簡単な文を各ステップを通して説明します。テキストがどのようにトークンとトークン ID になるか、埋め込みと位置エンコーディングがどのようにベクトルに変換するか、セルフ アテンションがクエリ、キー、値をどのように使用するか、マルチヘッド アテンションが存在する理由、フィードフォワード ネットワーク、残差接続、レイヤー正規化が行うこと、因果マスキングによってモデルが次のトークンを予測する方法、トレーニングと推論がどのように機能するか、GPU で大規模な言語モデルを実行する場合に KV キャッシュが重要である理由がわかります。ブラックボックスや不必要な専門用語はありません。一文、一連の図、そして舞台裏の数学です。示されているトークン ID、ベクトル、およびパーセンテージは例示的なものです。タイムスタンプ 0:00 はじめに: AI に質問すると何が起こるか 1:01 Transformers の前: RNN と 2017 年の論文 2:14 トークン化: テキストからトークン ID へ 3:27 埋め込み: ベクトルとしての単語 4:43 位置エンコーディングと RoPE 5:54 自己注意: クエリ、キー、および値 8:52 スケーリングされたドット積注意、ステップバイステップ9:35 マルチヘッド アテンション 11:11 フィードフォワード ネットワーク 12:16 残留接続と層正規化 13:20 完全な Transformer ブロック 14:08 エンコーダー、デコーダー、BERT、GPT、および T5 15:22 因果マスキング 16:27 Transformer のトレーニング方法 17:46 推論: テキストの生成方法 18:53 KV キャッシュ20:15 完全な旅 21:07 トランスフォーマーが AI を変えた理由
CRYPTO_BEN
2026-11-22 22:26
子敬.轮回珠宝
2026-11-22 22:26
kumis patiler
2026-11-22 22:26
Ha Ms
2026-11-22 22:26
CryptoMetric
2026-11-22 22:26
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
通貨を選択してください
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
通貨を選択してください
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿