Was ist KI-Inferenz?

Die KI-Inferenz findet statt, nachdem ein Modell bereits trainiert wurde. Ein Nutzer, eine Anwendung oder ein automatisiertes System sendet eine neue Eingabe, und das trainierte Modell nutzt das während des Trainings Gelernte, um eine nützliche Ausgabe zu erzeugen.

Diese Eingabe kann eine schriftliche Eingabeaufforderung, eine Suchanfrage, ein Produktbild, eine Sprachaufzeichnung, eine Codezeile oder eine Zeile in einer Datenbank sein. Die Ausgabe kann eine Antwort, ein generiertes Bild, eine Klassifizierung, eine Empfehlung, eine Übersetzung oder eine Vorhersage sein.

Aus diesem Grund sind bei jeder ChatGPT-Antwort, jeder KI-Bildgenerierung, jedem Ergebnis eines Suchassistenten, jeder Empfehlungsmaschine und jeder Entscheidung zur Inhaltsmoderation Inferenzprozesse im Spiel. Das Modell wird nicht jedes Mal neu erstellt, sondern auf neuen Daten ausgeführt.

Training und Inferenz sind zwei verschiedene Phasen desselben KI-Systems. Beim Training wird das Modell erstellt oder aktualisiert, indem große Datensätze verarbeitet, Vorhersagen mit Beispielen verglichen und interne Parameter in vielen wiederholten Schritten angepasst werden.

Die Inferenz beginnt, sobald diese Trainingsphase ein brauchbares Modell hervorgebracht hat. Das trainierte Modell wird auf Servern bereitgestellt, empfängt neue Eingaben und wendet die erlernten Muster an, ohne den gesamten Trainingsprozess erneut durchlaufen zu müssen.

Der Unterschied lässt sich ganz einfach so merken: Beim Training lernt das Modell, während es bei der Inferenz um die Anwendung des Modells geht. Eine ausführlichere Erläuterung der ersten Phase finden Sie im Leitfaden zum Training von KI-Modellen.

Die genauen Schritte hängen vom Modelltyp ab, doch der grundlegende Ablauf ist ähnlich. Es geht eine Eingabe ein, das System bereitet sie in dem vom Modell erwarteten Format auf, das Modell führt Berechnungen anhand seiner Parameter durch, und das System wandelt die Modellausgabe in eine Form um, die der Benutzer lesen, anzeigen oder nutzen kann.

Bei einem Sprachmodell wird eine Eingabe in der Regel in Token unterteilt. Das Modell wertet diese Token aus und sagt Schritt für Schritt die wahrscheinlichsten nächsten Token voraus. Bei einem Bildmodell kann die Eingabe aus Text, einem Bild oder beidem bestehen, und das Modell erzeugt schrittweise Pixel oder visuelle Merkmale, die der Anfrage entsprechen.

Andere Systeme können beispielsweise ein Dokument klassifizieren, Suchergebnisse bewerten, Objekte in einem Bild erkennen, Sprache transkribieren oder ein Produkt empfehlen. In jedem Fall ist die Inferenz der Schritt der Live-Ausführung, der eine neue Eingabe in eine Modellausgabe umwandelt.

KI-Inferenz ist kein einfacher Abruf aus einer Datenbank. Ein großes Modell kann Milliarden von Parametern enthalten, und seine Nutzung erfordert zahlreiche mathematische Operationen, um Informationen durch das Modell zu leiten und die nächste Ausgabe zu berechnen.

Diese Berechnung muss oft schnell erfolgen. Eine Antwort eines Chatbots, eine Rückmeldung eines Suchassistenten oder eine Echtzeitübersetzung sollte innerhalb von Sekunden oder noch schneller vorliegen, weshalb bei Inferenzsystemen Faktoren wie Latenz, Speicherbandbreite, Batching, Modellgröße und Hardwareauslastung eine wichtige Rolle spielen.

GPUs und andere KI-Beschleuniger sind nützlich, da sie viele parallele Operationen effizient ausführen können. Je größer das Modell, je länger der Kontext und je mehr Nutzer gleichzeitig aktiv sind, desto sorgfältiger muss die Infrastruktur für die Inferenz ausgelegt werden.

Wenn ein Chatbot eine Frage beantwortet, führt er dabei eine Schlussfolgerung durch. Das Gleiche gilt, wenn ein Bildgenerator anhand einer Eingabe ein Bild erstellt, ein Programmierassistent eine Funktion vorschlägt oder ein Übersetzungstool einen Satz in eine andere Sprache übersetzt.

Inferenz kommt auch in weniger sichtbaren Systemen zum Einsatz. Ein Empfehlungs-Feed, der Videos nach Relevanz sortiert, ein Betrugserkennungssystem, das eine Transaktion markiert, ein Modell zur medizinischen Bildgebung, das einen relevanten Bereich hervorhebt, oder ein Bildverarbeitungssystem in der Fertigung, das Fehler erkennt – all diese Systeme nutzen trainierte Modelle, die auf neuen Daten basieren.

Diese Beispiele sehen für die Nutzer zwar unterschiedlich aus, folgen aber alle demselben Grundmuster: Ein trainiertes Modell erhält eine Eingabe, führt Berechnungen durch und gibt eine Ausgabe zurück, die als Grundlage für eine Entscheidung, eine Antwort oder ein generiertes Ergebnis dient.

Eine einzelne Abfrage mag zwar klein sein, doch moderne KI-Systeme arbeiten in enormem Umfang. Millionen oder Milliarden von Eingabeaufforderungen, Bildanfragen, Empfehlungen und API-Aufrufen können eine kontinuierliche Auslastung von GPUs, Netzwerken, Speichersystemen und Kühlsystemen verursachen.

Aus diesem Grund spielt die Inferenz eine zentrale Rolle in der KI-Infrastruktur. Das Training mag zwar der sichtbarste Rechenvorgang sein, doch die Inferenz wird jedes Mal wiederholt, wenn Nutzer bereitgestellte KI-Tools einsetzen. Auf globaler Ebene kann diese wiederholte Nutzung zu einem wesentlichen Treiber für die Nachfrage nach GPUs und den Stromverbrauch von Rechenzentren werden.

Die genauen Energiekosten einer KI-Abfrage hängen von der Modellgröße, der Hardware, der Batch-Verarbeitung, der Auslastung, der Effizienz des Rechenzentrums und der Art der Ausgabe ab. Entscheidend ist, dass die Inferenz den alltäglichen KI-Einsatz mit der physischen Infrastruktur verbindet: Chips, Server, Strom, Kühlung und Rechenzentren.

KI-Anbieter investieren viel Entwicklungsaufwand, um die Inferenz schneller, kostengünstiger und effizienter zu gestalten. Durch Batching können mehrere Anfragen gemeinsam verarbeitet werden, durch Caching lassen sich wiederholte Rechenvorgänge wiederverwenden, und durch Routing können einfachere Aufgaben an kleinere oder spezialisierte Modelle weitergeleitet werden.

Andere Techniken reduzieren den Rechenaufwand. Durch Quantisierung lassen sich Modellwerte kompakter darstellen, durch Destillation kann das Verhalten in ein kleineres Modell übertragen werden, und durch Pruning oder Architekturänderungen kann unnötiger Aufwand vermieden werden, ohne dass dabei die nützliche Qualität beeinträchtigt wird.

Auch spezielle Hardware spielt eine Rolle. GPUs, KI-Beschleuniger, schnelle Netzwerke und Speicher mit hoher Bandbreite tragen dazu bei, dass bereitgestellte Modelle auch in großem Maßstab zuverlässig reagieren. Eine höhere Effizienz bei der Inferenz kann Latenzzeiten, Kosten und Stromverbrauch senken, macht die Infrastruktur jedoch nicht überflüssig.