Mi az AI-következtetés?

A mesterséges intelligencia alapján történő következtetés akkor történik, amikor a modell már be van tanítva. A felhasználó, az alkalmazás vagy az automatizált rendszer új bemeneti adatot küld, és a betanított modell a betanítás során megtanultakat felhasználva hasznos kimeneti adatot állít elő.

Ez a bemenet lehet írásbeli utasítás, keresési lekérdezés, termékkép, hangfelvétel, kódsor vagy adatbázis-sor. A kimenet pedig lehet válasz, generált kép, osztályozás, ajánlás, fordítás vagy előrejelzés.

Éppen ezért minden ChatGPT-válasz, mesterséges intelligencia által generált kép, keresési asszisztens eredménye, ajánló rendszer és tartalomszűrési döntés következtetést tartalmaz. A modellt nem építik újra minden alkalommal, hanem új adatokon futtatják.

A betanítás és a következtetés ugyanazon mesterséges intelligencia-rendszer két különböző fázisa. A betanítás során a rendszer nagy adathalmazok feldolgozásával, az előrejelzések és a példák összehasonlításával, valamint a belső paraméterek számos ismételt lépés során történő kiigazításával hozza létre vagy frissíti a modellt.

A következtetés akkor kezdődik, amikor a betanítási folyamat eredményeként egy használható modell jön létre. A betanított modellt szerverre telepítik, ahol új bemeneti adatokat fogad, és a megtanult mintákat alkalmazza anélkül, hogy újra végig kellene mennie a teljes betanítási folyamaton.

A különbséget egyszerűen így lehet megjegyezni: a betanítás azt jelenti, hogy a modell hogyan tanul, míg a következtetés azt, hogy a modellt hogyan használják. Az első szakasz részletesebb ismertetéséhez olvassa el az AI-modellek betanításáról szóló útmutatót.

A pontos lépések a modell típusától függenek, de az alapvető folyamat hasonló. Beérkezik egy bemeneti adat, a rendszer azt a modell által elvárt formátumba alakítja, a modell elvégzi a paraméterei alapján a számításokat, majd a rendszer a modell kimenetét olyan formába alakítja, amelyet a felhasználó elolvashat, megtekinthet vagy felhasználhat.

Egy nyelvi modell esetében a promptot általában tokenekre bontják. A modell ezeket a tokeneket értékeli, és lépésről lépésre megjósolja a valószínűsíthető következő tokeneket. Egy képfeldolgozó modell esetében a bemenet lehet szöveg, kép vagy mindkettő, és a modell fokozatosan olyan pixeleket vagy vizuális jellemzőket állít elő, amelyek megfelelnek a kérésnek.

Más rendszerek például dokumentumokat osztályozhatnak, rangsorolhatják a keresési eredményeket, felismerhetik a képeken szereplő tárgyakat, leírhatják a beszédet, vagy termékeket ajánlhatnak. Minden esetben a következtetés az a valós idejű végrehajtási lépés, amely az új bemeneti adatot a modell kimeneti adatává alakítja át.

A mesterséges intelligencia alapú következtetés nem egyszerű adatkeresés egy adatbázisban. Egy nagy modell akár milliárdnyi paramétert is tartalmazhat, és a modell használata számos matematikai műveletet igényel az információknak a modellen keresztüli továbbításához és a következő kimenet kiszámításához.

Ezt a számítást gyakran gyorsan el kell végezni. Egy csevegőrobot válasza, egy keresési asszisztens válasza vagy egy valós idejű fordítás másodpercek alatt vagy annál rövidebb idő alatt kell megérkezzen, ezért a következtető rendszereknél fontos szerepet játszanak a késleltetés, a memória sávszélessége, a kötegelt feldolgozás, a modell mérete és a hardver kihasználtsága.

A GPU-k és más mesterséges intelligencia-gyorsítók azért hasznosak, mert számos párhuzamos műveletet képesek hatékonyan végrehajtani. Minél nagyobb a modell, minél hosszabb a kontextus és minél több a párhuzamos felhasználó, annál gondosabban kell megtervezni a következtetés-infrastruktúrát.

Amikor egy csevegőrobot válaszol egy kérdésre, akkor következtetést von le. Ugyanez igaz arra is, amikor egy képgenerátor egy prompt alapján képet hoz létre, egy programozási asszisztens funkciót javasol, vagy egy fordítóeszköz egy mondatot másik nyelvre fordít.

A következtetés kevésbé szembetűnő rendszerekben is megjelenik. Akár egy videókat rangsoroló ajánlófelület, akár egy tranzakciót jelző csalásfelderítő rendszer, akár egy orvosi képalkotó modell, amely kiemeli a vizsgálandó területet, akár egy gyári képfeldolgozó rendszer, amely hibákat észlel – mindegyikük új adatokon betanított modelleket használ.

Ezek a példák a felhasználók számára eltérőnek tűnnek, de ugyanaz az alapvető működési elv jellemzi őket: egy betanított modell bemeneti adatot kap, elvégzi a számításokat, majd kimeneti adatot ad vissza, amely döntéshozatalhoz, válaszadáshoz vagy eredmény generálásához szolgál.

Egy-egy következtetés-kérés mérete kicsi lehet, de a modern mesterséges intelligencia-rendszerek hatalmas méretekben működnek. Több millió vagy milliárd parancs, képkérés, ajánlás és API-hívás folyamatos terhelést jelenthet a GPU-k, a hálózati, a tároló- és a hűtőrendszerek számára.

Éppen ezért az inferencia központi szerepet játszik a mesterséges intelligencia infrastruktúrájában. A betanítás lehet ugyan a legszembetűnőbb számítási folyamat, de az inferencia minden alkalommal megismétlődik, amikor az emberek a bevezetett mesterséges intelligencia-eszközöket használják. Globális szinten ez az ismétlődő használat a GPU-kereslet és az adatközpontok áramfogyasztásának egyik fő hajtóerejévé válhat.

Egy-egy mesterséges intelligencia-lekérdezés pontos energiaköltsége a modell méretétől, a hardvertől, a kötegelt feldolgozástól, a kihasználtságtól, az adatközpont hatékonyságától és a kimenet típusától függ. A lényeg az, hogy a következtetés összeköti a mindennapi mesterséges intelligencia-használatot a fizikai infrastruktúrával: a chipekkel, a szerverekkel, az áramellátással, a hűtéssel és az adatközpontokkal.

A mesterséges intelligencia-szolgáltatók jelentős mérnöki erőfeszítéseket fordítanak arra, hogy a következtetésképzést gyorsabbá, olcsóbbá és hatékonyabbá tegyék. A kötegelt feldolgozás lehetővé teszi több kérés együttes feldolgozását, a gyorsítótár segítségével az ismétlődő feladatok újrahasznosíthatók, az útválasztás pedig lehetővé teszi az egyszerűbb feladatok kisebb vagy specializált modellekhez való továbbítását.

Más technikák csökkentik a szükséges számítási terhelést. A kvantálás segítségével a modellértékek tömörebben ábrázolhatók, a desztilláció révén a viselkedés átvihető egy kisebb modellbe, míg a pruning vagy az architektúra-módosítások segítségével a felesleges műveletek eltávolíthatók a hasznos minőség megőrzése mellett.

A speciális hardver is fontos szerepet játszik. A grafikus processzorok (GPU-k), a mesterséges intelligencia-gyorsítók, a gyors hálózati kapcsolatok és a nagy sávszélességű memória segítik a telepített modelleket abban, hogy nagy léptékben is megbízhatóan működjenek. A jobb következtetési hatékonyság csökkentheti a késleltetést, a költségeket és az áramfogyasztást, de nem teszi feleslegessé az infrastruktúrát.