Construire un modèle de raisonnement à partir de zéro 4 : mise à l'échelle d'inférence 1 (température, top-p, auto-cohérence)

Auteur original：Sebastian Raschka

Source originale：https://www.youtube.com/embed/t5y-kS9nNxU

Après avoir motivé les cas d'utilisation de la mise à l'échelle du temps d'inférence, cette vidéo présente d'abord la mise à l'échelle de la température, le filtrage top-p et l'échantillonnage multinomial pour générer diverses réponses avec un LLM. Ensuite, en utilisant ces techniques, nous mettons en œuvre l’auto-cohérence pour améliorer la précision des réponses LLM. - Playlist de raisonnement : https://www.youtube.com/watch?v=Kh9mqTzjuEQ&list=PLfrHAQCRxtUs - Livre de raisonnement : https://amzn.to/4aAKiFY - Dépôt GitHub de raisonnement : https://github.com/rasbt/reasoning-from-scratch - Livre de LLM à partir de Scratch : https://amzn.to/4fqvn0D - LLM à partir de Scratch dépôt : https://github.com/rasbt/LLMs-from-scratch - Liste de lecture LLMs from Scratch : https://www.youtube.com/watch?v=yAcWnfsZhzo&list=PLTKMiZHVd_2IIEsoJrWACkIxLRdfMlw11&index=1 00:00 Introduction et récapitulation 00:31 Mise à l'échelle du temps de formation et du temps d'inférence 07:52 Ce que nous allons implémenter 11:47 Configuration du portable et chargement du modèle 17:43 Création d'une fonction de génération de texte flexible 24:40 Invite de chaîne de pensée 28:26 Échantillonnage et diversité de sortie 33:43 Logits du jeton suivant et décodage glouton 38:20 Mise à l'échelle de la température étape par étape 42:46 Softmax et probabilités des jetons 47:42 Échantillonnage multinomial 54:51 Ajout d'un échantillonnage de température à la génération de texte 59:31 Filtrage Top-p étape par étape 1:10:23 Ajout d'un filtrage top-p à la génération de texte 1:13:43 Échantillonnage et filigrane LLM 1:16:01 Auto-cohérence et vote majoritaire 1:20:36 Implémentation de l'auto-cohérence 1:29:02 Résultats MATH-500 1:35:01 Compromis en matière de précision et de calcul 1:36:50 Prochaines étapes et auto-raffinement