처음부터 추론 모델 구축 4: 추론 확장 1(온도, Top-p, 자체 일관성)

원저자：Sebastian Raschka

원본 소스：https://www.youtube.com/embed/t5y-kS9nNxU

추론 시간 조정에 대한 사용 사례에 대한 동기를 부여한 후 이 비디오에서는 먼저 온도 조정, top-p 필터링 및 다항 샘플링을 통해 LLM을 통해 다양한 답변을 생성합니다. 그런 다음 이러한 기술을 사용하여 LLM 답변 정확도를 향상시키기 위해 자체 일관성을 구현합니다. - 추론 재생 목록: https://www.youtube.com/watch?v=Kh9mqTzjuEQ&list=PLfrHAQCRxtUs - 추론 북: https://amzn.to/4aAKiFY - 추론 GitHub 레포: https://github.com/rasbt/reasoning-from-scratch - 스크래치 북의 LLM: https://amzn.to/4fqvn0D - 스크래치의 LLM 저장소: https://github.com/rasbt/LLMs-from-scratch - 스크래치 재생 목록의 LLM: https://www.youtube.com/watch?v=yAcWnfsZhzo&list=PLTKMiZHVd_2IIEsoJrWACkIxLRdfMlw11&index=1 00:00 소개 및 요약 00:31 훈련 시간 및 추론 시간 조정 07:52 구현할 내용 11:47 노트북 설정 및 모델 로딩 17:43 유연한 텍스트 생성 기능 구축 24:40 사고 사슬 프롬프트 28:26 샘플링 및 출력 다양성 33:43 다음 토큰 로지트 및 그리디 디코딩 38:20 단계별 온도 스케일링 42:46 소프트맥스 및 토큰 확률 47:42 다항 샘플링 54:51 추가 텍스트 생성에 온도 샘플링 59:31 단계별 Top-p 필터링 1:10:23 텍스트 생성에 top-p 필터링 추가 1:13:43 샘플링 및 LLM 워터마킹 1:16:01 자기 일관성 및 다수결 투표 1:20:36 자기 일관성 구현 1:29:02 MATH-500 결과 1:35:01 정확도 및 계산 절충 1:36:50 다음 단계 및 자기 개선