Mistral AI hat mit Shieldstral ein Sicherheitsmodell vorgestellt, das die Moderation von KI-generierten Inhalten vereinfachen soll. Statt auf feste Kategorien setzt das Modell auf einen flexiblen Frage-Antwort-Ansatz: Betreiber formulieren ihre Moderationsrichtlinien als natürlichsprachliche Ja/Nein-Fragen wie zum Beispiel: „Ruft dieser Inhalt zu echter Gewalt auf?“. Shieldstral liefert anschließend einen Safety-Score zurück, auf dessen Grundlage der Prompt oder die KI-Antwort freigegeben werden kann oder nicht.
Weiterlesen nach der Anzeige
Dieses Vorgehen soll laut Mistral zwei Vorteile haben. Zum einen lassen sich die Fragen, die an den Inhalt gestellt werden sollen, von den Betreibern von Shieldstral leicht anpassen und jederzeit verändern. Zum anderen kann so der Kontext eines Inhalts besser mit bewertet werden. Zum Beispiel: Was im Rahmen eines Referats über Konzentrationslager für den Schulunterricht vielleicht notwendige Originalzitate aus zeitgenössischen Reden sind, wäre als Inhalt für einen privaten Blogpost höchst kritisch.
Bisherige Guardrail-Modelle mit festgelegten Taxonomien können solche Kontextunterschiede laut den Autoren des zugehörigen Papers nur unzureichend abbilden, weil die Zulässigkeit eines Inhalts häufig fest an Kategorien geknüpft ist.
Unterschied zu bisherigen Modellen
Bei der Eingabe wird die Moderation als binärer Question-Answering-Task formuliert: Das Modell erhält eine Systemanweisung mit Instruktionen, den Kontext sowie eine Ja/Nein-Frage. Als Antwort bei der Inferenz gibt das Modell anschließend lediglich die „Ja“- und „Nein“-Logits aus und normalisiert diese mittels Softmax zu einem kontinuierlichen Sicherheitswert, auf dessen Grundlage eine Entscheidung getroffen werden kann.
Laut Mistral erreicht Shieldstral mit seinem neuen Ansatz die gleiche Leistungsfähigkeit wie siebenmal größere Modelle, läuft aber auf einer 16 GB Nvidia GPU. Technisch baut Shieldstral auf dem Ministral-3B-Base-2512 auf, einem kausalen Sprachmodell aus Mistrals eigener Modellfamilie. Die war erst vor Kurzem um Leanstral 1.5 erweitert worden, das für mathematische Beweise und formale Verifikation optimiert ist.
Für die Bildverarbeitung kommt ein Pixtral-Vision-Encoder zum Einsatz. Das 3-Milliarden-Parameter-Modell steht unter Apache-2.0-Lizenz auf Hugging Face als Open Weights zum Download bereit.
Weiterlesen nach der Anzeige
(rie)
Dieser Link ist leider nicht mehr gültig.
Links zu verschenkten Artikeln werden ungültig, wenn diese älter als 7 Tage sind oder zu oft aufgerufen wurden.
Sie benötigen ein heise+ Paket, um diesen Artikel zu lesen. Jetzt eine Woche unverbindlich testen – ohne Verpflichtung!