価格: $0.05506 0.0571%
市場価値: $8.64B 0.4153%
ひっくり返す (24h): 390.6M 0%
優位性: 0.4153%
Price: $0.05506 0.0571%
市場価値: $8.64B 0.4153%
ひっくり返す (24h): 390.6M 0%
優位性: 0.4153% 0.4153%
  • 価格: $0.05506 0.0571%
  • 市場価値: 8.64B 0.4153%
  • ひっくり返す (24h): 390.6M 0%
  • 優位性: 0.4153% 0.4153%
  • 価格: $0.05506 0.0571%
フロントページ > 视频 > AI の実際の仕組み (次の単語を推測するだけ)

AI の実際の仕組み (次の単語を推測するだけ)

リリース: 2026/11/01 22:00 読む: 0

原作者:Stack Zero

オリジナルソース:https://www.youtube.com/embed/oT6WzDMksgI

AIは実際にどのように機能するのでしょうか? ChatGPT、Claude、Gemini などのチャットボットからのすべての応答は、大規模な言語モデルが次の単語を推測することによって、一度に 1 つのトークンずつ書き込まれます。この視覚的な説明は、マシン全体で 1 つのプロンプトに従います。それは 1948 年に始まり、クロード シャノンは本をめくり、単語を次々と推測して文章を構築しました。それはほとんどうまくいきましたが、その後崩壊しました。今日の目標は同じですが、マシンは読み取ったすべてのものを振り返ることができます。 「最初に月面を歩いた人は…」をトークンからベクトル、注意と 96 のレイヤーを経て、確率のリストと選ばれた 1 つの単語に至るまで追跡します。次に、トレーニング、モデルが間違っているときに自信を持って聞こえる理由、予測がどこまで可能なのかを見ていきます。このビデオの内容: • 大規模言語モデル (LLM) とは何か、そして「パラメータ」とは何なのか • トークン: テキストがどのように分割され、数値に変換されるのか • ベクトルと単語の埋め込み (Bengio、2003) • 注意: クエリ、キー、値、視覚的に説明 (Vaswani et al., 2017) • ソフトマックス、確率、温度: 次のトークンの選択方法 • トレーニング、微調整、人間によるフィードバック • AI が幻覚を起こす理由、コンテキスト ウィンドウ、知識の遮断 第章 次の単語予測モデルが実際にどのようにテキストを生成するか。確率的言語モデルと注意の背後にあるロジックをご覧ください。ほとんどの人は、AI モデルが人間と同じように考えると考えていますが、実際には統計エンジンです。この映画では、次単語予測モデルがトレーニング データに基づいて次のトークンの確率を計算する仕組みを詳しく説明します。クロード シャノンによるオリジナルの実験と、それらがどのようにして現代のシステムを動かすアーキテクチャに進化したかを探ります。単純な確率を超えて、単語ベクトルと注意メカニズムを調べて、機械がコンテキストをどのように処理するかを示します。これらのシステムが時々無意味な出力を生成する理由と、言語を数学的空間にどのようにマッピングするかを学びます。これらの核となる原則を理解することは、大規模な言語モデルを使用して構築したり研究したりする人にとって不可欠です。スタックゼロ。複雑なシステム。明確な説明。リアルインパクト。最新のソフトウェアの背後にあるテクノロジーの毎週の詳細を購読してください。 0:00 単語を推測する 1948 年の実験 0:40 現在のチャットボット: まだ次の単語を推測している 1:41 大規模な言語モデルとは 2:02 トークンと予測ループ 2:41 シャノンの文章がバラバラになった理由 2:56 シャノンの人間推測ゲーム (1951 年) 3:32 単語を数える: n グラム 3:57 単語ベクトル (2003) 4:19 アテンションの到着 (2014) 4:41 トランスフォーマー: 「アテンションが必要なだけ」 (2017) 5:07 モデルの内部: 1 つのプロンプト、ステップバイステップ 5:15 ステップ 1: トークン 5:38 ステップ 2: ベクトル 6:01 ステップ 3: アテンション (クエリ、キー、値) 6:49 アテンション ヘッド 7:04 96 レイヤーとフィードフォワードネットワーク 7:33 ステップ 4: 確率とソフトマックス 7:48 ステップ 5: 次のトークンの選択 (貪欲、サンプリング、温度) 8:14 ループ: 一度に 1 つのトークン 8:33 トレーニング: 大規模なシャノン ゲーム 9:16 予測子からアシスタントまで 9:34 1 つのループ、多数のプロダクト 9:45 なぜ AI が幻覚を起こすのか 10:18 コンテキスト ウィンドウ、カットオフ、ソース10:37 要約: マシン全体 10:59 予測はどこまで可能ですか?出典が示されていない限り、画面上の数字は例示です。出典 • Shannon (1948)、コミュニケーションの数学理論: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951)、印刷英語の予測とエントロピー: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et al。 (2003)、神経確率的言語モデル: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau、Cho & Bengio (2014)、整列と翻訳を共同学習することによるニューラル機械翻訳: https://arxiv.org/abs/1409.0473 • Vaswani et al。 (2017)、必要なのは注意だけです: https://arxiv.org/abs/1706.03762 • Brown et al。 (2020)、Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 • Meta (2024)、Meta Llama 3 の紹介: https://ai.meta.com/blog/meta-llama-3/ • OpenAI ヘルプ、トークンとは何か、およびそのカウント方法: https://help.openai.com/en/articles/4936856 • Geva et al. (2021)、Transformer Feed-Forward Layers Are Key-Value Memories: https://arxiv.org/abs/2012.14913 • Ouyang et al。 (2022)、人間のフィードバックによる指示に従う言語モデルのトレーニング: https://arxiv.org/abs/2203.02155 • OpenAI (2025)、言語モデルが幻覚を起こす理由: https://openai.com/index/why- language-models-hallucinate/ • Olsson et al。 (2022)、In-context Learning and Induction Heads: https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero は、日常のテクノロジーの背後にあるシステムを基礎から説明しています。 #AI #LLM #AIWorks の仕組み

注目のトピック

  • ドージコインクジラの活動
    ドージコインクジラの活動
    包括的な分析により、Dogecoin クジラの活動に関する最新の洞察を得ることができます。ドージコイン市場におけるこれらのクジラの傾向、パターン、影響を発見してください。私たちの専門家による分析で最新情報を入手し、暗号通貨への取り組みを前進させてください。
  • ドージコインマイニング
    ドージコインマイニング
    Dogecoin マイニングは、Dogecoin ブロックチェーンに新しいトランザクション ブロックを追加するプロセスです。マイナーはその仕事に対して新しいドージコインを受け取ります。このトピックでは、Dogecoin のマイニング方法、最高のマイニング ハードウェアとソフトウェア、Dogecoin マイニングの収益性など、Dogecoin マイニングに関連する記事を提供します。
  • スペースXスターシップの打ち上げ
    スペースXスターシップの打ち上げ
    このトピックでは、打ち上げ日、ミッションの詳細、打ち上げステータスなど、SpaceX Starship の打ち上げに関連する記事を提供します。この有益で包括的なリソースを利用して、最新の SpaceX Starship の打ち上げに関する最新情報を入手してください。
  • ミームの王様: ドージコイン
    ミームの王様: ドージコイン
    このトピックでは、「ミームの王様: ドージコイン」など、最も人気のあるミームに関連する記事を提供します。 Memecoin は暗号通貨分野で支配的なプレーヤーとなっています。これらのデジタル資産はさまざまな理由で人気があります。これらはブロックチェーンの最も革新的な側面を推進します。