가격: $0.05520 -0.0059%
시장가치: $8.66B 0.4163%
회전율 (24h): 398.97M 0%
권세: 0.4163%
Price: $0.05520 -0.0059%
시장가치: $8.66B 0.4163%
회전율 (24h): 398.97M 0%
권세: 0.4163% 0.4163%
  • 가격: $0.05520 -0.0059%
  • 시장가치: 8.66B 0.4163%
  • 회전율 (24h): 398.97M 0%
  • 권세: 0.4163% 0.4163%
  • 가격: $0.05520 -0.0059%
첫 페이지 > 视频 > AI를 위한 수학 02 | 정보가 비트 단위로 측정되는 이유

AI를 위한 수학 02 | 정보가 비트 단위로 측정되는 이유

풀어 주다: 2026/11/04 13:16 읽다: 0

원저자:Curiosity, Clearly

원본 소스:https://www.youtube.com/embed/tR12UfyJvTw

AI를 위한 수학 02 공정한 동전은 왜 1비트의 정보를 제공하는 반면, 확률이 동일한 8개의 카드 중 하나는 3개의 정보를 제공하는 이유는 무엇입니까? 선택, 이진 트리 및 로그를 따라가면 확률이 정보의 척도가 되는 방식을 확인할 수 있습니다. AI를 위한 수학의 에피소드 2에서 Emma, ​​Aoi, Norm은 자기 정보(놀라움), 단위가 2진수를 사용하는 이유, 로그를 통해 연속 단계의 정보를 합산하는 이유를 설명합니다. 그런 다음 작은 언어 모델 예제를 사용하여 훈련 중에 관찰된 토큰의 점수를 생성하는 동안 다음 토큰을 선택하는 것과 구별합니다. 00:00 놀라움을 위한 척도 00:57 균형잡힌 하나의 선택, 하나의 비트 01:59 왜 로그인가? 05:28 모델의 중요성 06:21 AI 예측 점수 매기기 09:21 하나의 결과, 그 다음에는 평균 중심 정의는 비트 단위로 측정되는 I = −log2(p)입니다. 여기서 놀라움은 특정 확률 모델에 따른 수학적 양이지 감정, 중요성 또는 진실을 측정하는 것이 아닙니다. 언어 모델 확률은 예시적인 예일 뿐 특정 AI 시스템을 측정한 것이 아닙니다. 시리즈: AI를 위한 수학 01 — 베이즈 규칙: 신념 업데이트 02 — 정보, 놀라움 및 비트(이번 에피소드) 03 — 엔트로피: 불확실성 측정(다음) 04 — 교차 엔트로피 및 예측 손실 05 — 확률 보정 06 — 경사 하강 및 학습 미래 주제와 순서는 잠정적입니다. 참고 자료 및 추가 자료: Claude E. Shannon, 의사소통의 수학적 이론(1948): https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x Stanford EE276, 정보 이론 강의 노트: https://web.stanford.edu/class/ee276/files/previous_notes/lecture_2.pdf 포옹 얼굴 트랜스포머, Perplexity: https://huggingface.co/docs/transformers/perplexity 포옹 페이스 트랜스포머, 세대 전략: https://huggingface.co/docs/transformers/ Generation_strategies 원본 다이어그램 및 애니메이션: Curiosity, Clearly. 허구의 일러스트 발표자와 합성 캐릭터 음성. 설명이 도움이 되셨다면 영상 좋아요와 구독 부탁드립니다. 어떤 일상적인 예측을 비트 단위로 측정하시겠습니까? 댓글로 알려주세요. #정보이론 #AI를 위한 수학 #비트 시리즈 재생목록: https://www.youtube.com/playlist?list=PLGi5Uwmf0LpY 이전 에피소드: https://youtu.be/kS9gsyHW0yk

주요 주제

  • Dogecoin 고래 활동
    Dogecoin 고래 활동
    포괄적인 분석을 통해 Dogecoin 고래 활동에 대한 최신 통찰력을 얻으십시오. Dogecoin 시장에서 이러한 고래의 추세, 패턴 및 영향을 알아보세요. 우리의 전문가 분석을 통해 정보를 얻고 암호화폐 여정에서 앞서 나가십시오.
  • 도지코인 채굴
    도지코인 채굴
    Dogecoin 채굴은 Dogecoin 블록체인에 새로운 거래 블록을 추가하는 프로세스입니다. 광부들은 그들의 작업에 대해 새로운 Dogecoin으로 보상을 받습니다. 이 주제에서는 Dogecoin 채굴 방법, 최고의 채굴 하드웨어 및 소프트웨어, Dogecoin 채굴의 수익성 등 Dogecoin 채굴과 관련된 기사를 제공합니다.
  • 스페이스엑스 우주선 발사
    스페이스엑스 우주선 발사
    이 주제에서는 발사 날짜, 임무 세부 정보 및 발사 상태를 포함하여 SpaceX Starship 발사와 관련된 기사를 제공합니다. 이 유익하고 포괄적인 리소스를 통해 최신 SpaceX Starship 출시에 대한 최신 정보를 받아보세요.
  • 밈의 왕: Dogecoin
    밈의 왕: Dogecoin
    이 주제에서는 "The King of Memes: Dogecoin"을 포함하여 가장 인기 있는 밈과 관련된 기사를 제공합니다. Memecoin은 암호화폐 공간에서 지배적인 플레이어가 되었습니다. 이러한 디지털 자산은 다양한 이유로 인기가 있습니다. 그들은 블록체인의 가장 혁신적인 측면을 주도합니다.