リリース: 2026/11/04 13:16 読む: 0
オリジナルソース:https://www.youtube.com/embed/tR12UfyJvTw
AI のための数学 02 なぜ公正なコインからは 1 ビットの情報が得られるのに、同じ確率のカード 8 枚のうち 1 枚からは 3 ビットの情報が得られるのですか?選択肢、二分木、対数に従って、確率がどのように情報の尺度になるのかを確認してください。 AI のための数学のエピソード 2 では、エマ、アオイ、ノームが自己情報 (驚き)、単位が底 2 を使用する理由、および対数によって連続するステップからの情報が加算される理由について説明します。次に、小さな言語モデルの例を使用して、トレーニング中の観察されたトークンのスコアリングと、生成中の次のトークンの選択を区別します。 00:00 驚きの尺度 00:57 バランスのとれた 1 つの選択肢、1 つのビット 01:59 なぜ対数なのでしょうか? 05:28 モデルは重要です 06:21 AI 予測のスコアリング 09:21 1 つの結果、その後は平均 中心的な定義は I = −log₂(p) で、ビット単位で測定されます。ここで、驚きとは、特定の確率モデルに基づく数学的量であり、感情、重要性、真実の尺度ではありません。言語モデルの確率は説明のための例であり、特定の AI システムの測定値ではありません。シリーズ: AI のための数学 01 — ベイズの法則: 信念の更新 02 — 情報、驚き、ビット (今回のエピソード) 03 — エントロピー: 不確実性の測定 (次回) 04 — クロスエントロピーと予測損失 05 — 確率の校正 06 — 勾配降下と学習 今後のトピックと順序は暫定的なものです。参考文献と詳細な資料: Claude E. Shannon、コミュニケーションの数学理論 (1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x スタンフォード EE276、情報理論講義ノート: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf ハグ顔トランスフォーマー、Perplexity: https://huggingface.co/docs/transformers/perplexity ハグ顔トランスフォーマー、生成戦略: https://huggingface.co/docs/transformers/generation_strategies 元の図とアニメーション: Curiosity、Clearly。架空のイラスト付きプレゼンターと合成キャラクターの音声。説明が役に立った場合は、ビデオに「いいね」を押してチャンネル登録してください。毎日のどのような予測をビット単位で測定しますか?コメントで教えてください。 #情報理論 #AI のための数学 #ビット シリーズ再生リスト: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 前のエピソード: https://youtu.be/kS9gsyHW0yk
kumis patiler
2026-11-23 02:00
Ha Ms
2026-11-23 02:00
CRYPTO_BEN
2026-11-23 02:00
子敬.轮回珠宝
2026-11-23 02:00
CryptoMetric
2026-11-23 02:00
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
通貨を選択してください
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
通貨を選択してください
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿