EP18 | Lorsque l’IA pousse l’efficacité à l’extrême, ce qui manque le plus, c’est cette capacité

Auteur original：Yoi 科技 Open 講

Source originale：https://www.youtube.com/embed/8SYHdSXUqxo

🎧 Le saviez-vous ? Au cours des derniers jours, plusieurs événements qui méritent d'être examinés de plus près se sont produits dans le cercle de l'IA : un nouveau benchmark appelé DeepSWE a rendu pour la première fois clairement visible le véritable écart entre GPT-4o et Claude ; Tenstorrent a lancé une puce IA qui ne coûte qu'un cinquième de Nvidia ; et un chercheur nommé Andrej Karpathy redéfinit les capacités de base de la prochaine génération d'ingénieurs. En apparence, le rythme du cercle technologique est comme d'habitude, mais secrètement, l'architecture de la puissance de calcul, les normes d'évaluation et la pensée technique changent tous en même temps. Ne vous inquiétez pas, je vous ai aidé à mettre des écouteurs antibruit pour filtrer la vraie valeur de ces signaux. Cet épisode parle également d'une chose supplémentaire : lorsque l'IA fait de l'efficacité une fonctionnalité standard pour tout le monde, la chose la plus rare est le jugement - qui est le mot le plus en vogue dans la Silicon Valley en ce moment : le goût. 1️⃣ Points forts de cet épisode Cet épisode décompose ce qui se passe réellement dans l'écosystème de l'IA sous quatre angles. Le premier niveau est celui de la « mesure » : DeepSWE, un nouveau test de référence, permet pour la première fois de vérifier l'expérience réelle des développeurs par des données. Sa méthode de questionnement simule des situations réelles de travail. Les mots d’invite sont courts mais les solutions requises sont complexes. Il teste le raisonnement de bout en bout, pas la mémoire. GPT-4o est à 15 points de pourcentage derrière Claude 3 Opus, et le coût est trois fois la différence. Si vous choisissez le mauvais modèle, vous perdrez non seulement de l’argent mais aussi du temps. La deuxième couche est « matérielle » : l'architecture de Tenstorrent renverse les hypothèses de base du GPU, déplace la logique de planification de la puce vers le compilateur et utilise une mémoire GDDR6 bon marché pour surpasser le système de mémoire à large bande passante de Nvidia. Le coût d'exploitation de Llama 3 est passé de 30 à 6 dollars par million de jetons, soit cinq fois moins cher. Le troisième niveau est la « pensée technique » : les cinq piliers de l'ingénierie agent proposés par Andrej Karpathy. L'idée principale est la suivante : arrêtez de créer des fonctions et commencez à créer des "usines qui vous aident à créer des fonctions". La quatrième couche est le « moteur de situation » : sans lui, l'Agent Factory fonctionnerait au ralenti. Grâce à lui, la même tâche est compressée de 2,5 heures à 25 minutes, l'utilisation des jetons est réduite de moitié et la qualité de sortie passe directement le test. À travers ces quatre niveaux se trouve une observation plus large : lorsque l’IA pousse l’efficacité d’exécution à l’extrême, ce qui est vraiment rare, c’est le jugement – ​​savoir ce qui vaut la peine de faire et ce qui ne devrait pas être fait, c’est-à-dire le goût. 2️⃣ Parlons de ces choses dans cet épisode📌 [DeepSWE Benchmark Test] : La première évaluation de l'IA qui reflète véritablement l'expérience réelle des développeurs, l'écart entre GPT-4o et Claude 3 Opus atteint 15 points de pourcentage📌 [Tenstorrent Challenges Nvidia] : Jim Keller a réduit le coût des puces IA à un cinquième en rejetant toutes les hypothèses de base du GPU📌 [Cinq Piliers de l'ingénierie des agents] : Karpathy Le cadre vous dit que la compétitivité principale de la prochaine génération d'ingénieurs est de concevoir des systèmes qui permettent à l'IA de fonctionner efficacement, pas seulement d'utiliser l'IA 📌 [Puissance cachée du moteur de contexte] : sans Context Engine, l'usine d'agents tourne au ralenti ; avec lui, le temps de tâche est réduit de 150 minutes à 25 minutes 📌 [La capacité la plus rare à l'ère de l'IA est le goût] : Lorsque l'efficacité devient l'équipement de base de chacun, la capacité de juger « ce qui vaut la peine d'être fait » est le véritable fossé 3️⃣ « Armée sans pilote » et IA Le jugement humaniste de l'époque a récemment lu un livre intitulé « Armée sans pilote : AI War King Palmer ». Rage and the Rise of Anduril". En apparence, c'est l'histoire entrepreneuriale de Palmer Luckey : il a vendu Oculus VR à Facebook à l'âge de 21 ans, a ensuite été exilé de la Silicon Valley en raison de sa position politique controversée, et a finalement fait volte-face et fondé Anduril, utilisant l'IA, les drones et les systèmes autonomes pour défier le système industriel militaire traditionnel. L'histoire elle-même est déjà très tendue. Mais ce qui est encore plus intéressant, c'est que le processus de publication de ce livre lui-même est un microcosme de l'IA. À l'époque, de l'écriture, de la relecture, de la révision à la composition, l'ensemble du processus utilise largement l'IA. Un livre qui traite de la guerre par l'IA et des armées sans pilote utilise également l'IA pour produire des connaissances. Ce que cet incident nous rappelle, ce n'est pas seulement que « l'IA est très pratique », mais que les choses qui dans le passé nécessitaient beaucoup de main-d'œuvre, de temps et de division professionnelle du travail sont systématiquement compressées. L'IA peut permettre aux entreprises de fabriquer des produits plus rapidement, mais elle ne peut pas juger à notre place si le produit améliore réellement la vie des gens. Le vrai danger n'est pas que l'IA devienne trop puissante, mais que le jugement humain ne suive pas le mot « goût » dont parlent maintenant de nombreuses personnes dans la Silicon Valley fait référence exactement à cela : la capacité de distinguer ce qui mérite d'exister parmi des possibilités infinies. Luckey, Anduril et l'essor du système militaro-industriel d'IA, ce livre vaut la peine d'être lu. 📣 Cet épisode parle des données d'évaluation de DeepSWE, de l'architecture des puces de Tenstorrent, jusqu'à la pensée de l'ingénierie des agents et des moteurs situationnels. Pour être honnête, la vitesse des changements dans ces aspects techniques est vraiment époustouflante. est de savoir si vous avez suffisamment de jugement pour décider ce qui doit être fait et ce qui ne doit pas être fait, ce qui n'est que du bruit et ce qui est un signal réel. Plus la quantité d'informations est grande, plus vous avez besoin d'une bonne paire d'écouteurs antibruit pour vous aider à filtrer les choses auxquelles il convient de prêter attention. Si l'épisode d'aujourd'hui vous aide à trouver une ou deux directions utiles à partir de ces signaux, n'oubliez pas de laisser un avis cinq étoiles sur Apple Podcasts, de vous abonner et de suivre "Yoi Technology Open Talk", et laissez-moi continuer à vous aider à faire le tri. tendances précieuses de l'industrie tous les lundis, mercredis et vendredis ! Vous voulez vous tenir au courant de la dynamique de l'industrie et des tendances technologiques pratiques ? Bienvenue pour suivre les plateformes sociales de Yoi : 🔍 FB / IG / Threads Veuillez rechercher : Yoi Studio, @yoi__studio -- Hébergement fourni par SoundOn (https://www.soundon.fm/)