ゼロから推論モデルを構築する 4: 推論スケーリング 1 (温度、Top-p、自己一貫性)

原作者：Sebastian Raschka

オリジナルソース：https://www.youtube.com/embed/t5y-kS9nNxU

このビデオでは、推論時間スケーリングのユースケースを紹介した後、まず温度スケーリング、top-p フィルタリング、多項サンプリングについて説明し、LLM で多様な答えを生成します。次に、これらの手法を使用して自己一貫性を実装し、LLM の回答精度を向上させます。 - 推論プレイリスト: https://www.youtube.com/watch?v=Kh9mqTzjuEQ&list=PLfrHAQCRxtUs - 推論ブック: https://amzn.to/4aAKiFY - 推論 GitHub リポジトリ: https://github.com/rasbt/reasoning-from-scratch - スクラッチからの LLM ブック: https://amzn.to/4fqvn0D - LLMs from Scratch リポジトリ: https://github.com/rasbt/LLMs-from-scratch - LLMs from Scratch プレイリスト: https://www.youtube.com/watch?v=yAcWnfsZhzo&list=PLTKMiZHVd_2IIEsoJrWACkIxLRdfMlw11&index=1 00:00 概要と要約 00:31 トレーニング時間と推論時間のスケーリング 07:52 実装するもの 11:47 ノートブックのセットアップとモデルの読み込み 17:43 柔軟なテキスト生成関数の構築 24:40 思考連鎖プロンプト 28:26 サンプリングと出力の多様性 33:43 ネクストトークンロジットと貪欲なデコード 38:20 段階的な温度スケーリング 42:46 ソフトマックスとトークンの確率47:42 多項サンプリング 54:51 テキスト生成への温度サンプリングの追加 59:31 Top-p フィルタリングのステップバイステップ 1:10:23 テキスト生成への Top-p フィルタリングの追加 1:13:43 サンプリングと LLM ウォーターマーク 1:16:01 自己整合性と多数決投票 1:20:36 自己整合性の実装 1:29:02 MATH-500 の結果 1:35:01 精度と計算のトレードオフ 1:36:50 次のステップと自己調整