Lyhyt vastaus
Tekoälyn päättelyllä tarkoitetaan hetkeä, jolloin jo koulutettua mallia käytetään. Se käsittelee syötteen, kuvan, äänitiedoston tai muun syötteen ja palauttaa tuloksen. Jokainen ChatGPT:n vastaus, tekoälyn tuottama kuva tai suosituspyyntö vaatii päättelylaskentaa.
Päättely on tekoälymallin suorittamista
Tekoälyssä päättelyllä tarkoitetaan koulutetun mallin soveltamista uusiin tietoihin. Malli analysoi syötetyt tiedot ja tuottaa ennusteita, vastauksia tai luotua sisältöä. Toisin kuin koulutuksessa, päättely ei opeta mallille uutta tietoa. Sen sijaan se käyttää aiemmin opittuja parametrejä vastatakseen käyttäjille reaaliajassa.
Koulutus ja päättely ovat erilaisia
Koulutuksessa malli rakennetaan käsittelemällä massiivisia tietokokonaisuuksia pitkien ajanjaksojen ajan käyttäen valtavia laskentamääriä. Päättely on operatiivinen vaihe, jossa käyttäjät ovat vuorovaikutuksessa koulutetun mallin kanssa. Koulutus on yleensä laskentaintensiivisempää tapahtumaa kohti, mutta päättely tapahtuu jatkuvasti globaalissa mittakaavassa.
Päättely vaatii GPU:ta ja erikoislaitteistoa
Nykyaikaiset tekoälyn päättelyt suoritetaan usein GPU:lla tai rinnakkaiseen käsittelyyn optimoiduilla tekoälykiihdyttimillä. Suuret kielimallit voivat vaatia huomattavaa muistikaistanleveyttä ja laskentatehoa, varsinkin kun ne palvelevat miljoonia käyttäjiä samanaikaisesti.
Johtopäätös kuluttaa sähköä
Jokainen päättelypyyntö kuluttaa sähköä laskentalaitteiston, verkkojen, tallennuksen ja jäähdytysinfrastruktuurin kautta. Kun tekoälyn käyttöönotto lisääntyy maailmanlaajuisesti, päättelytyökuormista on tulossa yhä merkittävämpi osa datakeskusten sähkön kysyntää maailmanlaajuisesti.
Päätelmiä voidaan optimoida
Tekoälypalvelujen tarjoajat optimoivat jatkuvasti päättelyä panostamalla, kvantisoimalla, mallin tislaamalla, välimuistilla ja tehokkaammalla laitteistolla. Näillä tekniikoilla pyritään vähentämään latenssia, sähkönkulutusta ja käyttökustannuksia samalla kun mallin laatu säilyy.