- Inkling: starkes Open-Weight-Modell aus den USA jagt Konkurrenz
- Training, Hardwareunterstützung und Testergebnisse
- Fazit
Während die US-Regierung laut darüber nachdenkt, chinesische Modelle mit offenen Gewichten zu verbieten, hat die US-Firma Thinking Machines Lab mit Inkling ihr erstes eigenes großes Sprachmodell vorgestellt. Das Start-up, gegründet von Mira Murati, der ehemaligen Technikchefin von OpenAI, hat sich für ein sehr großes MoE-Modell (Mixture of Experts) mit 975 Milliarden Parametern (davon 41 Milliarden aktiv) entschieden und die Gewichte veröffentlicht. Damit ist Inkling das derzeit größte Modell mit offenen Gewichten, das nicht aus China kommt.
Thinking Machines Lab stellt die Gewichte sowohl im bfloat16-Format als auch in der deutlich kompakteren NVFP4-Quantisierung zur Verfügung. Selbst damit benötigt das Modell allein für die 975 Milliarden Parameter etwa 600 GByte RAM (für bfloat16 gar 2 TByte) und ist damit für viele Nutzer für einen lokalen Betrieb außer Reichweite. Es verfügt über 66 Layer, darin finden sich 256 Experten. Von denen sind pro Vorhersage immer sechs aktiv. Hinzu kommen zwei „geteilte“ Experten, die immer mitmachen. Das ergibt 41 Milliarden Parameter, die in jeder Berechnung verwendet werden.
- Inkling ist ein sehr großes Open-Weight-MoE-Sprachmodell aus den USA mit 975 Milliarden Parametern, einer Kontextlänge von einer Million Token und damit einhergehend hohem Hardwarebedarf.
- Das Modell ist multimodal mit innovativer Architektur für Text, Bild und Audio und nutzt spezielle Attention-Optimierungen für langen Kontext.
- Der Anbieter Thinking Machines Lab setzt auf innovative Trainings- und Post-Trainingsverfahren mit modularen Mannigfaltigkeiten und aufwendigem Reinforcement-Learning-Bewertungssystem.
- Auf der anbietereigenen Feintuning-Plattform Tinker lässt es sich mit eigenen Daten nachtrainieren.
Prof. Dr. Christian Winkler beschäftigt sich speziell mit der automatisierten Analyse natürlichsprachiger Texte (NLP). Als Professor an der TH Nürnberg konzentriert er sich bei seiner Forschung auf die Optimierung der User Experience.
Ganz stimmt das allerdings nicht, denn Thinking Machines Lab hat ein kleineres Modell für Multi-Token Prediction integriert. Liegt es mit seiner Spekulation richtig, kann das große Modell in einem Schritt die vorhergesagten Token verifizieren und ein weiteres generieren. Das erhöht die Ausgabegeschwindigkeit beträchtlich und verringert die mittlere Anzahl an Parametern, die für die Vorhersagen notwendig sind.
Das war die Leseprobe unseres heise-Plus-Artikels "Inkling: starkes Open-Weight-Modell aus den USA jagt Konkurrenz". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.Dieser Link ist leider nicht mehr gültig.
Links zu verschenkten Artikeln werden ungültig, wenn diese älter als 7 Tage sind oder zu oft aufgerufen wurden.
Sie benötigen ein heise+ Paket, um diesen Artikel zu lesen. Jetzt eine Woche unverbindlich testen – ohne Verpflichtung!