Small Language Models in der Fertigung: Künstliche Intelligenz soll sich wirtschaftlich rechnen, regulatorisch absichern lassen und in vorhandene IT-Strukturen einfügen – das erwartet die Industrie. Standardlösungen auf Basis öffentlich trainierter Large Language Models bringen in der Fertigung nur begrenzten Mehrwert. Sie sind schließlich nicht auf den Bedarf der Produktionsbetriebe zugeschnitten – etwa das Auswerten von Maschinendaten, das Optimieren von Produktionsparametern oder das Assistieren bei Wartung und Instandhaltung. Zudem bieten ihre Ergebnisse nur wenig Potenzial zur Differenzierung.
Small Language Models sind deshalb oft die bessere Wahl, wie der IT-Dienstleister NTT DATA anhand von sechs Fragen erörtert.
1. Worin unterscheiden sich kleine und große Sprachmodelle?
Small Language Models sind deutlich kompakter aufgebaut als Large Language Models. Sie umfassen typischerweise zwischen 100 Millionen und zehn Milliarden Parameter. Zum Vergleich: GPT-4 verfügt je nach Architektur über mehrere hundert Milliarden Parameter. Als Parameter bezeichnet man interne Variablen wie Gewichtungen und Verzerrungen, die ein Modell während des Trainings erlernt. Der reduzierte Umfang eines Sprachmodells hat konkrete Auswirkungen auf die Laufzeitumgebung, die Inferenzgeschwindigkeit und den Speicherbedarf: Kleine Sprachmodelle benötigen weniger Rechenleistung, verbrauchen weniger Energie und lassen sich schneller trainieren. Diese Effizienz geht dabei nicht zu Lasten der Leistung. So erreicht das Modell Phi-2 von Microsoft mit gerade einmal 2,7 Milliarden Parametern beim Commonsense-Reasoning Ergebnisse, die mit zehnmal so großen Modellen vergleichbar sind. Das Mini-Reasoning-Modell Phi-4 mit 3,8 Milliarden Parametern erzielt bei mathematischen Problemlösungen sogar bessere Resultate als viele der großen Modelle.
2. Wie profitieren Unternehmen von Small Language Models in der Fertigung?
In der industriellen Praxis punkten Small Language Models vor allem durch ihre schnelle Anpassbarkeit. Anders als bei großen Modellen, deren Feintuning Wochen dauern kann und eine teure Recheninfrastruktur erfordert, lassen sich die kleinen Sprachmodelle in wenigen Stunden Rechenzeit auf spezifische Anforderungen trainieren. Diese hohe Flexibilität erlaubt es, Künstliche Intelligenz gezielt auf den jeweiligen Produktionskontext zuzuschneiden. Beispiele sind das Erkennen von Musterabweichungen, das Interpretieren von Wartungstexten oder das Erfassen domänenspezifischer Fachsprache, wie sie im Shopfloor üblich ist. Zusätzliche Effizienzgewinne entstehen durch parametereffiziente Anpassungstechniken wie die sogenannte Low-Rank Adaptation (LoRA). Dabei wird das zugrunde liegende Modell nicht komplett verändert, sondern modular erweitert. So lassen sich neue Aufgabenbereiche integrieren oder bestehende Funktionen nachschärfen, ohne das gesamte Modell neu trainieren zu müssen.
Neben der technischen Flexibilität wirkt sich der reduzierte Ressourcenbedarf auch auf die Kosten aus. Der vergleichsweise geringe GPU-Einsatz (Grapic Processing Units), der niedrige Energieverbrauch und den Wegfall teurer Cloud-Kapazitäten senkt die Betriebs- und Infrastrukturkosten. Aufgrund ihres geringen Ressourcenbedarfs lassen sich kleine Sprechmodelle auch dort betreiben, wo große Sprachmodelle scheitern: lokal auf Edge Devices oder in abgeschotteten Umgebungen der Operational Technology. Da kleine Sprachmodelle schnelle Antwortzeiten ohne Umweg über die Cloud ermöglichen, reduzieren sich zudem Abhängigkeiten und Sicherheitsrisiken.
