從頭開始建立推理模型 4：推理縮放 1（溫度、Top-p、自洽）

原文作者：Sebastian Raschka

原文來源：https://www.youtube.com/embed/t5y-kS9nNxU

在激發了推理時間縮放的用例之後，該影片首先介紹了溫度縮放、top-p 過濾和多項式採樣，以透過法學碩士產生不同的答案。然後，使用這些技術，我們實現自我一致性，以提高 LLM 答案的準確性。 - 推理播放清單：https://www.youtube.com/watch?v=Kh9mqTzjuEQ&list=PLfrHAQCRxtUs - 推理書籍：https://amzn.to/4aAKiFY - 推理 GitHub 儲存庫：https://github.com/rasbt/reasoning-from-scratch - 從碩士開始的書卷Scratch 的法學碩士Scratch 儲存庫：https://github.com/rasbt/LLMs-from-scratch - LLMs from Scratch 播放清單：https://www.com/watch?v=yAcWnfsZhzo&list=PLTKMiZHVd_2IIEsoLRr?v=yAcWnfsZhzo&list=PLTKMiZHVd_2IIEsoJrWACkIxdfMd 训练时间和推理时间缩放07:52 我们将实现什么 11:47 笔记本设置和模型加载 17:43 构建灵活的文本生成函数 24:40 思维链提示 28:26 采样和输出多样性 33:43 下一个令牌逻辑和贪婪解码 38:20 逐步温度缩放 42:46 Softmax 和令牌概率 47:42 多项式采样 54:51將溫度取樣至文字產生 59:31 逐步進行 Top-p 過濾 1:10:23 在文字產生中加入 top-p 過濾 1:13:43 取樣和 LLM 水印 1:16:01 自一致性和多數投票 1:20:36 實作自一致性 1:29:02 M下一步和自我完善