価格: $0.05520 -0.0059%
市場価値: $8.66B 0.4163%
ひっくり返す (24h): 398.97M 0%
優位性: 0.4163%
Price: $0.05520 -0.0059%
市場価値: $8.66B 0.4163%
ひっくり返す (24h): 398.97M 0%
優位性: 0.4163% 0.4163%
  • 価格: $0.05520 -0.0059%
  • 市場価値: 8.66B 0.4163%
  • ひっくり返す (24h): 398.97M 0%
  • 優位性: 0.4163% 0.4163%
  • 価格: $0.05520 -0.0059%
フロントページ > 视频 > AIのための数学 02 |情報がビット単位で測定される理由

AIのための数学 02 |情報がビット単位で測定される理由

リリース: 2026/11/04 13:16 読む: 0

原作者:Curiosity, Clearly

オリジナルソース:https://www.youtube.com/embed/tR12UfyJvTw

AI のための数学 02 なぜ公正なコインからは 1 ビットの情報が得られるのに、同じ確率のカード 8 枚のうち 1 枚からは 3 ビットの情報が得られるのですか?選択肢、二分木、対数に従って、確率がどのように情報の尺度になるのかを確認してください。 AI のための数学のエピソード 2 では、エマ、アオイ、ノームが自己情報 (驚き)、単位が底 2 を使用する理由、および対数によって連続するステップからの情報が加算される理由について説明します。次に、小さな言語モデルの例を使用して、トレーニング中の観察されたトークンのスコアリングと、生成中の次のトークンの選択を区別します。 00:00 驚きの尺度 00:57 バランスのとれた 1 つの選択肢、1 つのビット 01:59 なぜ対数なのでしょうか? 05:28 モデルは重要です 06:21 AI 予測のスコアリング 09:21 1 つの結果、その後は平均 中心的な定義は I = −log₂(p) で、ビット単位で測定されます。ここで、驚きとは、特定の確率モデルに基づく数学的量であり、感情、重要性、真実の尺度ではありません。言語モデルの確率は説明のための例であり、特定の AI システムの測定値ではありません。シリーズ: AI のための数学 01 — ベイズの法則: 信念の更新 02 — 情報、驚き、ビット (今回のエピソード) 03 — エントロピー: 不確実性の測定 (次回) 04 — クロスエントロピーと予測損失 05 — 確率の校正 06 — 勾配降下と学習 今後のトピックと順序は暫定的なものです。参考文献と詳細な資料: Claude E. Shannon、コミュニケーションの数学理論 (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x スタンフォード EE276、情報理論講義ノート: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf ハグ顔トランスフォーマー、Perplexity: https://huggingface.co/docs/transformers/perplexity ハグ顔トランスフォーマー、生成戦略: https://huggingface.co/docs/transformers/generation_strategies 元の図とアニメーション: Curiosity、Clearly。架空のイラスト付きプレゼンターと合成キャラクターの音声。説明が役に立った場合は、ビデオに「いいね」を押してチャンネル登録してください。毎日のどのような予測をビット単位で測定しますか?コメントで教えてください。 #情報理論 #AI のための数学 #ビット シリーズ再生リスト: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 前のエピソード: https://youtu.be/kS9gsyHW0yk

注目のトピック

  • ドージコインクジラの活動
    ドージコインクジラの活動
    包括的な分析により、Dogecoin クジラの活動に関する最新の洞察を得ることができます。ドージコイン市場におけるこれらのクジラの傾向、パターン、影響を発見してください。私たちの専門家による分析で最新情報を入手し、暗号通貨への取り組みを前進させてください。
  • ドージコインマイニング
    ドージコインマイニング
    Dogecoin マイニングは、Dogecoin ブロックチェーンに新しいトランザクション ブロックを追加するプロセスです。マイナーはその仕事に対して新しいドージコインを受け取ります。このトピックでは、Dogecoin のマイニング方法、最高のマイニング ハードウェアとソフトウェア、Dogecoin マイニングの収益性など、Dogecoin マイニングに関連する記事を提供します。
  • スペースXスターシップの打ち上げ
    スペースXスターシップの打ち上げ
    このトピックでは、打ち上げ日、ミッションの詳細、打ち上げステータスなど、SpaceX Starship の打ち上げに関連する記事を提供します。この有益で包括的なリソースを利用して、最新の SpaceX Starship の打ち上げに関する最新情報を入手してください。
  • ミームの王様: ドージコイン
    ミームの王様: ドージコイン
    このトピックでは、「ミームの王様: ドージコイン」など、最も人気のあるミームに関連する記事を提供します。 Memecoin は暗号通貨分野で支配的なプレーヤーとなっています。これらのデジタル資産はさまざまな理由で人気があります。これらはブロックチェーンの最も革新的な側面を推進します。