Warum gibt es so viele KI-Modelle?

Wenn von KI die Rede ist, wird oft so getan, als gäbe es ein einziges System, das sich im Laufe der Zeit weiterentwickelt. In Wirklichkeit besteht das KI-Ökosystem aus vielen Modellfamilien, die jeweils von unterschiedlichen Teams entwickelt, mit unterschiedlichen Zielen trainiert und in verschiedenen Versionen veröffentlicht werden.

GPT, Llama, Mistral, Gemma und Qwen sind Beispiele für Modellfamilien und keine einzelnen, feststehenden Produkte. Jede Familie kann Foundation Models, auf bestimmte Anweisungen abgestimmte Modelle, Codierungsmodelle, Bild-Sprache-Modelle, kleinere On-Device-Modelle und experimentelle Checkpoints umfassen.

Aus diesem Grund wächst die Zahl der KI-Modelle so schnell. Eine neue Modellfamilie kann zahlreiche offizielle Varianten hervorbringen, und jede dieser Varianten kann später als Ausgangspunkt für Feinabstimmungen durch die Community, domänenspezifische Anpassungen und optimierte Einsatzversionen dienen.

Ein Foundation-Modell ist ein universell einsetzbares Modell, das anhand umfangreicher Daten trainiert wurde, sodass es für zahlreiche nachgelagerte Anwendungen genutzt werden kann. Es handelt sich dabei in der Regel nicht um die endgültige Form, die in jedem Produkt zum Einsatz kommt. Vielmehr dient es als Plattform, die andere Teams anpassen, bewerten und spezialisieren.

Ein allgemeines Sprachmodell kann beispielsweise als Programmierassistent, als Modell zur Zusammenfassung medizinischer Texte, als Klassifikator für juristische Dokumente, als mehrsprachiges Übersetzungsmodell oder als Assistent im Kundensupport eingesetzt werden. Die zugrunde liegende Architektur mag zwar ähnlich sein, doch die daraus resultierenden Modelle verhalten sich unterschiedlich, da sie auf unterschiedliche Aufgaben zugeschnitten sind.

Dieser Ökosystem-Effekt ist einer der Hauptgründe für die hohe Anzahl an Modellen. Entscheidend ist dabei nicht nur das ursprüngliche Foundation Model, sondern auch die vielen praktischen Varianten, die rund um dieses Modell für bestimmte Sprachen, Fachgebiete, Sicherheitsrichtlinien, Latenzziele und Hardwareumgebungen entstehen.

Unter Fine-Tuning versteht man, ein bestehendes Modell zu nehmen und es anhand spezifischerer Beispiele weiter zu trainieren. Anstatt bei Null anzufangen, gehen Entwickler von einem Modell aus, das Sprache, Code, Bilder oder andere Muster bereits versteht, und passen es dann an ein enger gefasstes Ziel an.

LoRA und andere Adaptertechniken machen diesen Prozess kostengünstiger und zugänglicher. Sie ermöglichen es Teams, ein Modell an eine bestimmte Aufgabe anzupassen, ohne jeden Parameter des ursprünglichen Systems neu trainieren zu müssen. Das Ergebnis kann als neues Modell oder als Adapter veröffentlicht werden, der ein Foundation Model modifiziert.

Ein Krankenhaus, eine Bank, ein Forschungslabor, ein Spielestudio oder ein Robotikunternehmen – sie alle benötigen möglicherweise ein Modell, das sich unterschiedlich verhält. Durch Fine-Tuning können sie maßgeschneiderte Versionen für ihren Wortschatz, ihre Dokumente, ihre Vorgaben und ihre Arbeitsabläufe erstellen. Jede nützliche Anpassung kann zu einem weiteren Eintrag im öffentlichen Modell-Ökosystem werden.

Offene Modellplattformen beschleunigen die Veröffentlichung von Modellen erheblich. Mit Hugging Face lassen sich Modelle ganz einfach veröffentlichen, finden und wiederverwenden. GitHub erleichtert den Austausch von Trainingscode, Auswertungsskripten, Datenverarbeitungswerkzeugen und Beispielen für die Bereitstellung.

Open-Source-Communities senken zudem die Hürden für Experimente. Ein kleines Team kann auf der Grundlage eines öffentlich zugänglichen Modells einen neuen Datensatz testen, die Leistung für eine bestimmte Sprache verbessern, das Modell für kostengünstigere Inferenz komprimieren oder eine Version entwickeln, die auf handelsüblicher Hardware läuft.

Das bedeutet jedoch nicht, dass jedes öffentlich zugängliche Modell gleich wichtig oder produktionsreif ist. Bei vielen handelt es sich um Experimente, Benchmark-Modelle, Forks oder schrittweise Verbesserungen. Das offene Ökosystem ist jedoch wertvoll, da es die Modellentwicklung zu einem gemeinsamen Prozess macht und nicht zu einer abgeschotteten Aktivität innerhalb einiger weniger großer Forschungslabore.

Eine hohe Modellanzahl bedeutet nicht, dass es weltweit Hunderttausende von Systemen gibt, die mit den größten „Frontier“-Modellen vergleichbar sind. Die meisten Modelle sind keine Systeme im GPT-4-Maßstab, die von Grund auf mit enormen Budgets und einer riesigen privaten Infrastruktur trainiert wurden.

Viele öffentlich zugängliche Modelle sind kleiner, spezialisiert oder leiten sich aus bestehenden Arbeiten ab. Einige davon sind Klassifikatoren, Einbettungsmodelle, Sprachmodelle, Bildmodelle, Übersetzungsmodelle, Abrufmodelle, Forschungs-Checkpoints oder feinabgestimmte Varianten eines größeren Basismodells.

Diese Unterscheidung ist beim Auswerten von KI-Kennzahlen von Bedeutung. Ein Modellregister misst die Aktivität im Ökosystem, nicht die Anzahl der Pionierlabore. Es zeigt, wie viele wiederverwendbare Artefakte in der breiteren Machine-Learning-Community veröffentlicht, angepasst und getestet werden.

Spezialisierte Modelle sind nützlich, da verschiedene Fachbereiche unterschiedliche Anforderungen stellen. Ein medizinisches Modell muss möglicherweise klinische Fachbegriffe verstehen, während ein Finanzmodell möglicherweise Unterlagen, Risikobegriffe und strukturierte Marktinformationen verarbeiten muss.

Robotikmodelle können Wahrnehmungen mit physischen Handlungen verknüpfen. Übersetzungsmodelle können sich auf Sprachen mit geringen Ressourcen konzentrieren. Bildverarbeitungsmodelle können industrielle Fehler, Satellitenmerkmale oder medizinische Bilder erkennen. Ein einziges allgemeines Modell kann zwar beeindruckend sein, ist jedoch nicht immer das beste oder kostengünstigste Werkzeug für jede Aufgabe.

Diese Vielfalt macht das KI-Ökosystem widerstandsfähiger und praxisorientierter. Anstatt dass ein einziges Modell versucht, allen Nutzern gerecht zu werden, können viele Modelle hinsichtlich Genauigkeit, Geschwindigkeit, Datenschutz, Kosten, Sprachabdeckung, Gerätebeschränkungen oder regulatorischer Anforderungen optimiert werden.

Es ist denkbar, dass die Zahl der öffentlich zugänglichen Modelle weiter steigen wird. Wenn das Erstellen und Anpassen von Modellen einfacher wird, werden mehr Teams Versionen für bestimmte Branchen, Sprachen, Geräte, Arbeitsabläufe und Forschungsfragen veröffentlichen.

Das Wachstum verläuft möglicherweise nicht linear. Einige Modelle werden veralten, andere werden zusammengeführt, und manche Plattformen werden möglicherweise Duplikate oder inaktive Repositorys bereinigen. Gleichzeitig könnten bessere Werkzeuge die Modellerstellung zu einer ebenso routinemäßigen Aufgabe machen wie die Veröffentlichung von Softwarepaketen.

Die wichtigste Frage ist nicht, ob die Zahl bei Hunderttausenden oder Millionen liegt. Viel aussagekräftiger ist die Frage, wie viele Modelle zuverlässig, gut dokumentiert, evaluiert und für den praktischen Einsatz geeignet sind. Die Quantität spiegelt die Aktivität des Ökosystems wider; die Qualität bestimmt den langfristigen Wert.