Kas yra AI inferencija?

AI išvados daromos po to, kai modelis jau yra apmokytas. Vartotojas, programa ar automatizuota sistema siunčia naują įvestį, o apmokytas modelis, remdamasis mokymosi metu įgytomis žiniomis, sukuria naudingą išvestį.

Šis įvesties duomenys gali būti rašytinis užduoties aprašymas, paieškos užklausa, produkto nuotrauka, balso įrašas, kodo eilutė arba duomenų bazės eilutė. Išvesties duomenys gali būti atsakymas, sukurtas vaizdas, klasifikacija, rekomendacija, vertimas arba prognozė.

Būtent todėl kiekvienas „ChatGPT“ atsakymas, dirbtinio intelekto sukurtas vaizdas, paieškos asistento rezultatas, rekomendacijų variklio pasiūlymas ir turinio moderavimo sprendimas apima inferenciją. Modelis nėra kuriamas iš naujo kiekvieną kartą. Jis tiesiog taikomas naujiems duomenims.

Mokymas ir išvadų darymas yra dvi skirtingos tos pačios dirbtinio intelekto sistemos fazės. Mokymo metu modelis kuriamas arba atnaujinamas apdorojant didelius duomenų rinkinius, lyginant prognozes su pavyzdžiais ir koreguojant vidinius parametrus per daugelį pasikartojančių etapų.

Išvados pradedamos daryti tada, kai po to mokymo darbo sukurtas tinkamas naudoti modelis. Apmokytas modelis įdiegiamas serveriuose, gauna naujus įvesties duomenis ir taiko išmoktus modelius, nebekartodamas viso mokymo proceso iš naujo.

Paprastas būdas įsiminti šį skirtumą yra toks: mokymas – tai procesas, kurio metu modelis mokosi, o inferencija – tai, kaip modelis naudojamas. Išsamesnį pirmojo etapo paaiškinimą rasite vadove apie dirbtinio intelekto modelių mokymą.

Tikslios procedūros priklauso nuo modelio tipo, tačiau pagrindinė eiga yra panaši. Gaunamas įvesties duomenys, sistema juos parengia modelio reikalaujamu formatu, modelis atlieka skaičiavimus pagal savo parametrus, o sistema modelio išvesties duomenis paverčia forma, kurią vartotojas gali perskaityti, peržiūrėti ar panaudoti.

Kalbos modelio atveju užklausa paprastai suskaidoma į žodžius. Modelis įvertina tuos žodžius ir po vieną žingsnį prognozuoja galimus kitus žodžius. Vaizdo modelio atveju įvestis gali būti tekstas, vaizdas arba abu, o modelis palaipsniui generuoja pikselius arba vizualinius bruožus, atitinkančius užklausą.

Kitos sistemos gali klasifikuoti dokumentą, surūšiuoti paieškos rezultatus, atpažinti objektus vaizde, transkribuoti kalbą arba rekomenduoti produktą. Kiekvienu atveju inferencija yra vykdymo etapas, kurio metu nauji įvesties duomenys paverčiami modelio išvestimi.

Dirbtinio intelekto išvados nėra paprastas paieškos veiksmas duomenų bazėje. Didelis modelis gali turėti milijardus parametrų, o jo naudojimas reikalauja daugybės matematinių operacijų, skirtų informacijai perduoti per modelį ir apskaičiuoti kitą rezultatą.

Šis skaičiavimas dažnai turi būti atliekamas greitai. Pokalbių boto atsakymas, paieškos asistento atsakymas ar vertimas realiuoju laiku turėtų būti pateiktas per kelias sekundes ar net greičiau, todėl išvadų darymo sistemose didelę reikšmę turi vėlavimas, atminties pralaidumas, duomenų apdorojimas partijomis, modelio dydis ir aparatinės įrangos išnaudojimas.

Grafikos procesoriai (GPU) ir kiti dirbtinio intelekto pagreitintuvai yra naudingi, nes gali efektyviai atlikti daug lygiagrečių operacijų. Kuo didesnis modelis, kuo ilgesnis kontekstas ir kuo daugiau vienu metu prisijungusių vartotojų, tuo kruopščiau turi būti suprojektuota išvadų darymo infrastruktūra.

Kai pokalbių botas atsako į klausimą, jis atlieka išvadų darymą. Tas pats pasakytina ir tada, kai vaizdų generatorius sukuria paveikslėlį pagal užduotį, programavimo asistentas pasiūlo funkciją arba vertimo įrankis išverčia sakinį į kitą kalbą.

Išvados daromos ir mažiau pastebimose sistemose. Rekomendacijų srautas, kuriame reitinguojami vaizdo įrašai, sukčiavimo aptikimo sistema, žyminti įtartiną sandorį, medicininės vaizdo diagnostikos modelis, išskiriantis tiriamą sritį, arba gamyklos vaizdo apdorojimo sistema, aptinkanti defektus – visos šios sistemos naudoja apmokytus modelius, pritaikytus naujiems duomenims.

Šie pavyzdžiai vartotojams atrodo skirtingai, tačiau juos visus vienija tas pats pagrindinis modelis: apmokytas modelis gauna įvestį, atlieka skaičiavimus ir pateikia išvestį, kuri padeda priimti sprendimą, pateikti atsakymą arba sugeneruoti rezultatą.

Vienas išvados apskaičiavimo užklausimas gali būti nedidelis, tačiau šiuolaikinės dirbtinio intelekto sistemos veikia milžinišku mastu. Milijonai ar milijardai užklausų, vaizdų užklausų, rekomendacijų ir API iškvietų gali sukurti nuolatinį apkrovos poreikį grafinių procesorių (GPU), tinklo, saugojimo ir aušinimo sistemoms.

Būtent todėl išvados darymas yra esminis dirbtinio intelekto infrastruktūros elementas. Mokymas gali būti labiausiai pastebimas skaičiavimo procesas, tačiau išvados darymas kartojasi kiekvieną kartą, kai žmonės naudoja įdiegtus dirbtinio intelekto įrankius. Pasauliniu mastu toks pakartotinis naudojimas gali tapti pagrindiniu veiksniu, lemiančiu GPU paklausą ir duomenų centrų elektros energijos suvartojimą.

Tiksli vieno AI užklausos energijos sąnauda priklauso nuo modelio dydžio, aparatinės įrangos, duomenų apdorojimo partijomis, išnaudojimo lygio, duomenų centro efektyvumo ir išvesties tipo. Svarbu tai, kad išvados darymas susieja kasdienį AI naudojimą su fizine infrastruktūra: lustais, serveriais, elektros energija, aušinimu ir duomenų centrais.

Dirbtinio intelekto paslaugų teikėjai skiria daug inžinerinių pastangų, siekdami, kad išvados būtų daromos greičiau, pigiau ir efektyviau. Naudojant paketinį apdorojimą galima vienu metu apdoroti kelis užklausimus, talpinant į talpyklą galima pakartotinai panaudoti jau atliktą darbą, o nukreipimas leidžia paprastesnes užduotis perduoti mažesniems arba specializuotiems modeliams.

Kiti metodai leidžia sumažinti reikalingų skaičiavimų apimtį. Kvantizacija leidžia modelio vertes pateikti kompaktiškiau, distiliacija – perkelti elgseną į mažesnį modelį, o apkarpymas arba architektūros pakeitimai – pašalinti nereikalingą darbą, išlaikant naudingą kokybę.

Taip pat svarbi ir specializuota įranga. Vaizdo plokštės (GPU), dirbtinio intelekto (AI) pagreitintuvai, greiti tinklai ir didelės pralaidumo atmintys padeda įdiegtus modelius patikimai veikti dideliu mastu. Didesnis išvadų darymo efektyvumas gali sumažinti vėlavimą, išlaidas ir elektros energijos suvartojimą, tačiau infrastruktūra dėl to neišnyksta.