Wer KI-Sprachmodelle auf dem eigenen Rechner laufen lassen möchte, denkt häufig zuerst an Nvidia-Hardware. Die Grafikkarten des Herstellers haben den Ruf, KI-Berechnungen besonders flott durchzuführen. Doch wächst auch die Zahl der Nutzer, die diese Rechenprozesse auf AMD-Karten laufen lassen.

Denn aktuelle Grafikkarten von AMD sind deutlich günstiger als ihre Nvidia-Pendants. Wir haben deshalb vergleichsweise preiswerte 16-GByte-Modelle von AMD und Nvidia einem Praxistest unterzogen. Für 16 GByte Speicher gibt es bereits eine große Auswahl geeigneter lokaler KI-Modelle, die zur effizienten Berechnung auf der GPU vollständig in den Grafikspeicher passen. Die erschwinglichsten Modelle von AMD und Nvidia kosten zum Zeitpunkt des Redaktionsschlusses Anfang August wenigstens 420 Euro (Radeon RX 9060 XT) oder 550 Euro (Nvidia RTX 5060 Ti). Im Test haben wir die Varianten Sapphire Radeon RX 9060 XT 16GB NITRO+ Gaming OC (ab etwa 470 Euro) und MSI GeForce RTX 5060 Ti GAMING OC 16G (ab rund 690 Euro) verglichen. Sie sind etwa wegen optimierter Kühlung und Werksübertaktung teurer als die Basismodelle, aber in ihrer Leistung mit ihnen vergleichbar.

Für den Test installieren wir unter Linux und Windows die Open-Source-Software-Ollama, mit der sich Sprachmodelle auf Consumer-Hardware nutzen lassen. Anschließend testen wir die Karten mit einem längeren Prompt mit den LLMs GPT-OSS, Qwen3.5 und Qwen3.6 unter beiden Betriebssystemen und vergleichen ihre KI-Leistung. Die ersten beiden Modelle passen vollständig in den VRAM der Karten. Qwen3.6 übersteigt ihn dagegen um 10 GByte, der Rest landet im System-RAM. Es sollte dennoch zügig auf dem System arbeiten, denn es handelt sich um ein Mixture-of-Experts-Modell. Bei dieser Modellarchitektur teilt man das LLM in verschiedene sogenannte „Experten“ auf. Statt jeweils das ganze Modell zu befragen, wählt ein interner Mechanismus nur die jeweils bestgeeigneten Experten aus, was es deutlich effizienter macht.

Das war die Leseprobe unseres heise-Plus-Artikels "16 GByte für lokale KI: Budget-Grafikkarten von AMD und Nvidia im Vergleich". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.