リリース: 2026/11/01 22:00 読む: 0
原作者:Stack Zero
オリジナルソース:https://www.youtube.com/embed/oT6WzDMksgI
AIは実際にどのように機能するのでしょうか? ChatGPT、Claude、Gemini などのチャットボットからのすべての応答は、大規模な言語モデルが次の単語を推測することによって、一度に 1 つのトークンずつ書き込まれます。この視覚的な説明は、マシン全体で 1 つのプロンプトに従います。それは 1948 年に始まり、クロード シャノンは本をめくり、単語を次々と推測して文章を構築しました。それはほとんどうまくいきましたが、その後崩壊しました。今日の目標は同じですが、マシンは読み取ったすべてのものを振り返ることができます。 「最初に月面を歩いた人は…」をトークンからベクトル、注意と 96 のレイヤーを経て、確率のリストと選ばれた 1 つの単語に至るまで追跡します。次に、トレーニング、モデルが間違っているときに自信を持って聞こえる理由、予測がどこまで可能なのかを見ていきます。このビデオの内容: • 大規模言語モデル (LLM) とは何か、そして「パラメータ」とは何なのか • トークン: テキストがどのように分割され、数値に変換されるのか • ベクトルと単語の埋め込み (Bengio、2003) • 注意: クエリ、キー、値、視覚的に説明 (Vaswani et al., 2017) • ソフトマックス、確率、温度: 次のトークンの選択方法 • トレーニング、微調整、人間によるフィードバック • AI が幻覚を起こす理由、コンテキスト ウィンドウ、知識の遮断 第章 次の単語予測モデルが実際にどのようにテキストを生成するか。確率的言語モデルと注意の背後にあるロジックをご覧ください。ほとんどの人は、AI モデルが人間と同じように考えると考えていますが、実際には統計エンジンです。この映画では、次単語予測モデルがトレーニング データに基づいて次のトークンの確率を計算する仕組みを詳しく説明します。クロード シャノンによるオリジナルの実験と、それらがどのようにして現代のシステムを動かすアーキテクチャに進化したかを探ります。単純な確率を超えて、単語ベクトルと注意メカニズムを調べて、機械がコンテキストをどのように処理するかを示します。これらのシステムが時々無意味な出力を生成する理由と、言語を数学的空間にどのようにマッピングするかを学びます。これらの核となる原則を理解することは、大規模な言語モデルを使用して構築したり研究したりする人にとって不可欠です。スタックゼロ。複雑なシステム。明確な説明。リアルインパクト。最新のソフトウェアの背後にあるテクノロジーの毎週の詳細を購読してください。 0:00 単語を推測する 1948 年の実験 0:40 現在のチャットボット: まだ次の単語を推測している 1:41 大規模な言語モデルとは 2:02 トークンと予測ループ 2:41 シャノンの文章がバラバラになった理由 2:56 シャノンの人間推測ゲーム (1951 年) 3:32 単語を数える: n グラム 3:57 単語ベクトル (2003) 4:19 アテンションの到着 (2014) 4:41 トランスフォーマー: 「アテンションが必要なだけ」 (2017) 5:07 モデルの内部: 1 つのプロンプト、ステップバイステップ 5:15 ステップ 1: トークン 5:38 ステップ 2: ベクトル 6:01 ステップ 3: アテンション (クエリ、キー、値) 6:49 アテンション ヘッド 7:04 96 レイヤーとフィードフォワードネットワーク 7:33 ステップ 4: 確率とソフトマックス 7:48 ステップ 5: 次のトークンの選択 (貪欲、サンプリング、温度) 8:14 ループ: 一度に 1 つのトークン 8:33 トレーニング: 大規模なシャノン ゲーム 9:16 予測子からアシスタントまで 9:34 1 つのループ、多数のプロダクト 9:45 なぜ AI が幻覚を起こすのか 10:18 コンテキスト ウィンドウ、カットオフ、ソース10:37 要約: マシン全体 10:59 予測はどこまで可能ですか?出典が示されていない限り、画面上の数字は例示です。出典 • Shannon (1948)、コミュニケーションの数学理論: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951)、印刷英語の予測とエントロピー: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et al。 (2003)、神経確率的言語モデル: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho & Bengio (2014)、整列と翻訳を共同学習することによるニューラル機械翻訳: https://arxiv.org/abs/1409.0473 • Vaswani et al。 (2017)、必要なのは注意だけです: https://arxiv.org/abs/1706.03762 • Brown et al。 (2020)、Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 • Meta (2024)、Meta Llama 3 の紹介: https://ai.meta.com/blog/meta-llama-3/ • OpenAI ヘルプ、トークンとは何か、およびそのカウント方法: https://help.openai.com/en/articles/4936856 • Geva et al. (2021)、Transformer Feed-Forward Layers Are Key-Value Memories: https://arxiv.org/abs/2012.14913 • Ouyang et al。 (2022)、人間のフィードバックによる指示に従う言語モデルのトレーニング: https://arxiv.org/abs/2203.02155 • OpenAI (2025)、言語モデルが幻覚を起こす理由: https://openai.com/index/why- language-models-hallucinate/ • Olsson et al。 (2022)、In-context Learning and Induction Heads: https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero は、日常のテクノロジーの背後にあるシステムを基礎から説明しています。 #AI #LLM #AIWorks の仕組み
kumis patiler
2026-11-23 06:22
Ha Ms
2026-11-23 06:22
CRYPTO_BEN
2026-11-23 06:22
子敬.轮回珠宝
2026-11-23 06:22
CryptoMetric
2026-11-23 06:22
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
通貨を選択してください
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
通貨を選択してください
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿