Il y a une icône supplémentaire dans la barre de menu Mac, et 90 % des gens ne comprennent pas ce mouvement |oMLX

Auteur original：AI 雷達站

Source originale：https://www.youtube.com/embed/31fBird82lk

Une petite icône cachée dans la barre de menu macOS a reçu 370 étoiles sur GitHub en une journée. Il s'appelle oMLX (jundot/omlx, Apache 2.0), qui est un serveur d'inférence local de grand modèle fonctionnant sur Apple Silicon. L'objectif de tout le monde est "Mac peut enfin bien exécuter les modèles locaux", mais ce que cette vidéo veut démonter, c'est le mouvement qui se cache derrière : elle divise le cache KV en deux couches et conserve les plus chaudes dans la mémoire. Lorsqu'il est plein, il l'écrit sur le SSD au format safetensors. La prochaine fois que le même contexte sera rencontré, il pourra être directement récupéré sans recalculer le pré-remplissage. Couplé à un traitement batch continu utilisant MLX BatchGenerator (par défaut 8 requêtes en même temps), on retrouve également une interface compatible OpenAI/Anthropic. La vidéo organise également ce que chacun représente pour les développeurs, les créateurs de contenu et les utilisateurs en général, le jugement de la station radar pour les trois prochains mois et trois signaux que vous pouvez suivre vous-même. Lien du projet : https://github.com/jundot/omlx Seuil : macOS 15.0+, Apple Silicon (M1–M4), Python 3.11–3.13 #oMLX #localAI #AppleSilicon La narration et certaines scènes de cette vidéo sont générées par l'IA