Wer Gemma-4-31B auf einer GPU mit 32 GByte VRAM startet, rechnet auf den ersten Blick nicht mit Platzproblemen. Das Modell belegt in der Q4-Quantisierung mit rund 17 GByte gut die Hälfte des Grafikspeichers. Allerdings fehlt hier noch der Kontext. Ein Sprachmodell erzeugt seinen Antworttext Token für Token und sagt dabei immer nur das jeweils nächste voraus; diese Phase heißt Decode, das anfängliche Einlesen des Prompts Prefill. Damit es die vorherigen Token nicht bei jedem Schritt neu durchrechnen muss, speichert es deren Key- und Value-Vektoren zwischen. Das ist der KV-Cache, und seine Größe ist abhängig von der Kontextlänge.

Allerdings reserviert llama.ccp schon beim Laden Speicher für die volle eingestellte Kontextlänge. Eine Konfiguration mit 256.000 Token belegt im voreingestellten unkomprimierten Cache mit 16-Bit-Fießkommazahlen (f16) gut 40 GByte. Das übersteigt den Platz auf der GPU, und das Betriebssystem lagert einen Teil des Cache in den geteilten GPU-Speicher aus, also ins System-RAM. Darauf greift die GPU über den PCIe-Bus zu; der liefert aber nur einen Bruchteil der Bandbreite des lokalen Grafikspeichers (rund 60 gegenüber 640 Gigabyte pro Sekunde). Sobald das Modell den ausgelagerten Teil lesen muss, bricht die Generierungsgeschwindigkeit stark ein.

Die Modellgewichte nutzt man lange schon in komprimierter Form. Auch der KV-Cache lässt sich quantisieren, in llama.cpp bis hinunter zu 4 Bit, wobei sich Keys und Values getrennt und sogar unterschiedlich stark komprimieren lassen. Beim Laden mit reserviertem 256.000-Token-Kontext passen die quantisierten Varianten auf die Karte: q4_0, llama.cpps 4-Bit-Format, belegt rund 24,8 GByte. Googles Verfahren TurboQuant komprimiert den KV-Cache großer Sprachmodelle auf 3 Bit, nach Herstellerangaben fast ohne Qualitätsverlust. Damit belegt Gemma-4-31B 23,4 GByte.

Das war die Leseprobe unseres heise-Plus-Artikels "Googles TurboQuant-Verfahren: Praxistest auf einer AMD-GPU". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.