close notice

Ollama 0.40.0 führt Modelle auf Apple-Silicon-Macs jetzt standardmäßig über MLX aus, sofern MLX ihre Architektur unterstützt. Das Update erweitert außerdem die MLX-Unterstützung auf weitere Sprachmodelle, Entscheidungsmodelle und ein Embedding-Modell.

Ollama ist eine Open-Source-Software, mit der sich KI-Modelle herunterladen, verwalten und auf dem eigenen Rechner ausführen lassen. Über die Kommandozeile kann man direkt mit den Modellen arbeiten; über einen lokalen API-Server lassen sie sich in Anwendungen einbinden. Wie das in der Praxis funktioniert, erklärt iX im Artikel „Sprachmodelle lokal betreiben“.

MLX wird für unterstützte Modelle zum Standard

Die automatische Umstellung gilt nicht pauschal für jedes Modell, sondern nur für Architekturen, die von Ollamas MLX-Laufzeit unterstützt werden. MLX ist Apples quelloffenes Framework für maschinelles Lernen auf Apple-Silicon-Chips. In den kurzen Release Notes zu Ollama 0.40.0 beschreibt das Projekt die neue Standardwahl.

Zu den dort zusätzlich aufgeführten Modellen gehören Gemma 4, Qwen 3.6 und Qwen 3.5. Zum Herunterladen und Starten eines Modells dienen weiterhin die üblichen Befehle ollama pull und ollama run. Die Release Notes zeigen das am Beispiel von Qwen 3.8.

Entscheidungsmodelle und Embeddings

Über MLX laufen jetzt auch die Entscheidungsmodelle Nimble, Tev1, Clef und Clef Flash. Anders als ein Chatmodell erzeugen solche Modelle keine freie Textantwort, sondern liefern etwa Auswahlentscheidungen oder Bewertungen. Ein Anwendungsfall ist die Zuordnung eingehender Tickets zu Kategorien.

Mit EmbeddingGemma 2 unterstützt die MLX-Laufzeit außerdem ein Embedding-Modell. Es wandelt Inhalte in Vektoren um, die sich beispielsweise für eine Ähnlichkeitssuche vergleichen lassen. Weitere Modelle wollen die Ollama-Entwickler nach eigenen Angaben erst testen und dann für MLX freischalten.

(fo)