Es gibt ein zusätzliches Symbol in der Mac-Menüleiste und 90 % der Leute verstehen diesen Schritt nicht |oMLX

Ursprünglicher Autor：AI 雷達站

Originalquelle：https://www.youtube.com/embed/31fBird82lk

Ein kleines Symbol, das in der macOS-Menüleiste versteckt ist, erhielt an einem Tag 370 Sterne auf GitHub. Es heißt oMLX (jundot/omlx, Apache 2.0) und ist ein lokaler Inferenzserver für große Modelle, der auf Apple Silicon läuft. Der Schwerpunkt aller Weiterleitungen liegt auf „Mac kann endlich lokale Modelle gut ausführen“, aber was dieses Video demontieren möchte, ist der Schritt dahinter: Es teilt den KV-Cache in zwei Schichten auf und behält die heißen im Speicher. Wenn es voll ist, schreibt es es im Safetensors-Format auf die SSD. Wenn derselbe Kontext das nächste Mal auftritt, kann er direkt abgerufen werden, ohne dass die Vorbefüllung neu berechnet werden muss. Gepaart mit der kontinuierlichen Stapelverarbeitung mittels MLX BatchGenerator (standardmäßig 8 Anfragen gleichzeitig) gibt es auch eine OpenAI/Anthropic-kompatible Schnittstelle. Das Video organisiert außerdem, was die einzelnen Signale für Entwickler, Inhaltsersteller und allgemeine Benutzer darstellen, wie die Radarstation die nächsten drei Monate beurteilt und drei Signale, die Sie selbst verfolgen können. Projektlink: https://github.com/jundot/omlx Schwellenwert: macOS 15.0+, Apple Silicon (M1–M4), Python 3.11–3.13 #oMLX #localAI #AppleSilicon Die Erzählung und einige Szenen dieses Videos werden von KI generiert