풀어 주다: 2026/11/04 13:16 읽다: 0
원본 소스:https://www.youtube.com/embed/tR12UfyJvTw
AI를 위한 수학 02 공정한 동전은 왜 1비트의 정보를 제공하는 반면, 확률이 동일한 8개의 카드 중 하나는 3개의 정보를 제공하는 이유는 무엇입니까? 선택, 이진 트리 및 로그를 따라가면 확률이 정보의 척도가 되는 방식을 확인할 수 있습니다. AI를 위한 수학의 에피소드 2에서 Emma, Aoi, Norm은 자기 정보(놀라움), 단위가 2진수를 사용하는 이유, 로그를 통해 연속 단계의 정보를 합산하는 이유를 설명합니다. 그런 다음 작은 언어 모델 예제를 사용하여 훈련 중에 관찰된 토큰의 점수를 생성하는 동안 다음 토큰을 선택하는 것과 구별합니다. 00:00 놀라움을 위한 척도 00:57 균형잡힌 하나의 선택, 하나의 비트 01:59 왜 로그인가? 05:28 모델의 중요성 06:21 AI 예측 점수 매기기 09:21 하나의 결과, 그 다음에는 평균 중심 정의는 비트 단위로 측정되는 I = −log2(p)입니다. 여기서 놀라움은 특정 확률 모델에 따른 수학적 양이지 감정, 중요성 또는 진실을 측정하는 것이 아닙니다. 언어 모델 확률은 예시적인 예일 뿐 특정 AI 시스템을 측정한 것이 아닙니다. 시리즈: AI를 위한 수학 01 — 베이즈 규칙: 신념 업데이트 02 — 정보, 놀라움 및 비트(이번 에피소드) 03 — 엔트로피: 불확실성 측정(다음) 04 — 교차 엔트로피 및 예측 손실 05 — 확률 보정 06 — 경사 하강 및 학습 미래 주제와 순서는 잠정적입니다. 참고 자료 및 추가 자료: Claude E. Shannon, 의사소통의 수학적 이론(1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, 정보 이론 강의 노트: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 포옹 얼굴 트랜스포머, Perplexity: https://huggingface.co/docs/transformers/perplexity 포옹 페이스 트랜스포머, 세대 전략: https://huggingface.co/docs/transformers/ Generation_strategies 원본 다이어그램 및 애니메이션: Curiosity, Clearly. 허구의 일러스트 발표자와 합성 캐릭터 음성. 설명이 도움이 되셨다면 영상 좋아요와 구독 부탁드립니다. 어떤 일상적인 예측을 비트 단위로 측정하시겠습니까? 댓글로 알려주세요. #정보이론 #AI를 위한 수학 #비트 시리즈 재생목록: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 이전 에피소드: https://youtu.be/kS9gsyHW0yk
kumis patiler
2026-11-23 02:00
Ha Ms
2026-11-23 02:00
CRYPTO_BEN
2026-11-23 02:00
子敬.轮回珠宝
2026-11-23 02:00
CryptoMetric
2026-11-23 02:00
劇翻天 Drama Go
2026-11-22 16:36
CryptoMason
2026-11-22 16:22
Lý Tử Ly
2026-11-22 14:42
Pidoku
2026-11-22 14:15
통화 선택
US Dollar
USD
Chinese Yuan
CNY
Japanese Yen
JPY
South Korean Won
KRW
New Taiwan Dollar
TWD
Canadian Dollar
CAD
Euro
EUR
Pound Sterling
GBP
Danish Krone
DKK
Hong Kong Dollar
HKD
Australian Dollar
AUD
Brazilian Real
BRL
Swiss Franc
CHF
Chilean Peso
CLP
Czech Koruna KČ
CZK
Singapore Dollar
SGD
Indian Rupee
INR
Saudi Riyal
SAR
Vietnamese Dong
VND
Thai Baht
THB
통화 선택
US Dollar
USD-$
Chinese Yuan
CNY-¥
Japanese Yen
JPY-¥
South Korean Won
KRW -₩
New Taiwan Dollar
TWD-NT$
Canadian Dollar
CAD-$
Euro
EUR - €
Pound Sterling
GBP-£
Danish Krone
DKK-KR
Hong Kong Dollar
HKD- $
Australian Dollar
AUD-$
Brazilian Real
BRL -R$
Swiss Franc
CHF -FR
Chilean Peso
CLP-$
Czech Koruna KČ
CZK -KČ
Singapore Dollar
SGD-S$
Indian Rupee
INR -₹
Saudi Riyal
SAR -SAR
Vietnamese Dong
VND-₫
Thai Baht
THB -฿