Krátka odpoveď
K odvodzovaniu dochádza vtedy, keď už vycvičený model umelej inteligencie spracuje výzvu, obrázok, zvukový súbor alebo iný vstupný údaj a vytvorí výsledok. Každá odpoveď ChatGPT, generovanie obrázku AI alebo požiadavka na odporúčanie si vyžaduje výpočet inferencie.
Inferencia je vykonávanie modelu umelej inteligencie
Počas inferencie trénovaný model analyzuje prichádzajúce údaje a vytvára predpovede alebo generuje obsah. Na rozdiel od tréningu sa pri inferencii model neučí nové znalosti. Namiesto toho používa predtým naučené parametre na reagovanie na používateľov v reálnom čase.
Školenie a odvodzovanie sú odlišné
Tréning vytvára model spracovaním obrovských súborov údajov počas dlhého obdobia s použitím obrovského množstva výpočtovej techniky. Inferencia je operačná fáza, v ktorej používatelia interagujú s natrénovaným modelom. Trénovanie je zvyčajne náročnejšie na výpočet jednej udalosti, ale odvodzovanie prebieha nepretržite v globálnom meradle.
Odvodzovanie si vyžaduje GPU a špecializovaný hardvér
Moderné odvodzovanie umelej inteligencie často prebieha na grafických procesoroch alebo akcelerátoroch umelej inteligencie optimalizovaných na paralelné spracovanie. Veľké jazykové modely môžu vyžadovať značnú šírku pamäťového pásma a výpočtový výkon, najmä ak slúžia miliónom používateľov súčasne.
Inferencia spotrebúva elektrickú energiu
Každá požiadavka na odvodenie spotrebuje elektrickú energiu prostredníctvom výpočtového hardvéru, sietí, úložísk a chladiacej infraštruktúry. S celosvetovo rastúcim zavádzaním umelej inteligencie sa inferenčné pracovné zaťaženia stávajú čoraz dôležitejšou súčasťou globálneho dopytu po elektrickej energii v dátových centrách.
Odvodzovanie sa dá optimalizovať
Poskytovatelia AI neustále optimalizujú odvodzovanie prostredníctvom dávkovania, kvantizácie, destilácie modelov, ukladania do vyrovnávacej pamäte a efektívnejšieho hardvéru. Cieľom týchto techník je znížiť latenciu, spotrebu elektrickej energie a prevádzkové náklady pri zachovaní kvality modelu.