Kodėl yra tiek daug dirbtinio intelekto modelių?

Kai žmonės kalba apie dirbtinį intelektą, jie dažnai kalba taip, tarsi egzistuotų viena sistema, kuri laikui bėgant tobulėja. Iš tikrųjų dirbtinio intelekto ekosistemą sudaro daugybė modelių grupių, kurias kuria skirtingos komandos, mokina siekiant skirtingų tikslų ir išleidžia skirtingomis versijomis.

GPT, Llama, Mistral, Gemma ir Qwen yra modelių šeimų pavyzdžiai, o ne atskiri fiksuoti produktai. Kiekvienoje šeimoje gali būti baziniai modeliai, pagal instrukcijas pritaikyti modeliai, kodavimo modeliai, vaizdo ir kalbos modeliai, mažesni įrenginyje veikiantys modeliai bei eksperimentiniai kontroliniai taškai.

Būtent dėl to dirbtinio intelekto modelių skaičius auga taip sparčiai. Viena nauja modelių šeima gali duoti daug oficialių variantų, o kiekvienas iš šių variantų vėliau gali tapti atspirties tašku bendruomenės atliekamiems patobulinimams, pritaikymams konkrečioms sritims ir optimizuotoms diegimo versijoms.

Pagrindinis modelis – tai universali paskirties modelis, apmokytas naudojant platų duomenų rinkinį, todėl jis gali būti pritaikytas daugeliui tolesnių naudojimo atvejų. Paprastai tai nėra galutinė forma, naudojama kiekviename produkte. Vietoj to jis tampa platforma, kurią kitos komandos pritaiko, įvertina ir specializuoja.

Pavyzdžiui, bendrasis kalbos modelis gali tapti programavimo asistentu, medicininių tekstų apibendrinimo modeliu, teisinių dokumentų klasifikatoriumi, daugiakalbiu vertimo modeliu arba klientų aptarnavimo asistentu. Pagrindinė architektūra gali būti panaši, tačiau galutiniai modeliai veikia skirtingai, nes jie pritaikyti skirtingoms užduotims.

Šis ekosistemos poveikis yra viena iš pagrindinių priežasčių, dėl kurių modelių skaičius yra toks didelis. Svarbus yra ne tik pirminis bazinis modelis, bet ir daugybė praktinių jo versijų, kurios atsiranda jo pagrindu, pritaikytos konkrečioms kalboms, sritims, saugos politikoms, vėlavimo rodikliams ir aparatinės įrangos aplinkoms.

Fine-tuning reiškia, kad esamas modelis toliau mokomas naudojant konkretesnius pavyzdžius. Vietoj to, kad pradėtų nuo nulio, kūrėjai pradeda nuo modelio, kuris jau supranta kalbą, kodą, vaizdus ar kitus modelius, ir tada jį pritaiko siauresniam tikslui.

LoRA ir kitos adapterių technologijos padaro šį procesą pigesnį ir prieinamesnį. Jos leidžia komandoms pritaikyti modelį konkrečiai užduočiai, nepermokant kiekvieno pradinės sistemos parametro. Rezultatas gali būti paskelbtas kaip naujas modelis arba kaip adapteris, modifikuojantis bazinį modelį.

Ligoninė, bankas, mokslinių tyrimų laboratorija, žaidimų kūrimo studija ar robotikos įmonė – visos jos gali pageidauti modelio, kuris veiktų skirtingai. Fine-tuning leidžia joms kurti specializuotas versijas, pritaikytas prie jų žodyno, dokumentų, apribojimų ir darbo eigos. Kiekvienas naudingas pritaikymas gali tapti dar vienu įrašu viešojo modelių ekosistemoje.

Atviros modelių platformos žymiai pagreitina modelių atsiradimą. „Hugging Face“ leidžia lengvai skelbti, rasti ir pakartotinai naudoti modelius. „GitHub“ leidžia lengvai dalytis mokymo kodu, vertinimo skriptais, duomenų apdorojimo įrankiais ir diegimo pavyzdžiais.

Atvirojo kodo bendruomenės taip pat sumažina eksperimentavimo kliūtis. Nedidelė komanda gali pradėti dirbti su viešai prieinamu modeliu, išbandyti naują duomenų rinkinį, pagerinti modelio veikimą vienai kalbai, suspausti modelį, kad išvados būtų gaunamos pigiau, arba sukurti versiją, veikiančią vartotojams skirtoje aparatinėje įrangoje.

Tai nereiškia, kad kiekvienas viešai prieinamas modelis yra vienodai svarbus ar paruoštas naudoti gamybai. Daugelis jų yra eksperimentai, lyginamieji tyrimai, atšakos arba laipsniški patobulinimai. Tačiau atvira ekosistema yra vertinga, nes ji paverčia modelių kūrimą bendru procesu, o ne uždara veikla, vykstančia tik keliose didelėse laboratorijose.

Didelis modelių skaičius nereiškia, kad pasaulyje yra šimtai tūkstančių sistemų, prilygstančių didžiausiems „frontier“ modeliams. Dauguma modelių nėra GPT-4 masto sistemos, apmokytos nuo nulio naudojant milžiniškus biudžetus ir didžiulę privačią infrastruktūrą.

Daugelis viešai prieinamų modelių yra mažesni, specializuoti arba sukurti remiantis esamais darbais. Kai kurie iš jų yra klasifikatoriai, įterpimo modeliai, kalbos modeliai, vaizdų modeliai, vertimo modeliai, paieškos modeliai, mokslinių tyrimų kontroliniai taškai arba didesnio bazinio modelio patobulinti variantai.

Šis skirtumas yra svarbus analizuojant AI rodiklius. Modelio registras matuoja ekosistemos aktyvumą, o ne pažangiausių laboratorijų skaičių. Jis rodo, kiek pakartotinai naudojamų artefaktų yra skelbiama, pritaikoma ir testuojama platesnėje mašininio mokymosi bendruomenėje.

Specializuoti modeliai yra naudingi, nes skirtingose srityse taikomi skirtingi reikalavimai. Medicininiam modeliui gali prireikti suprasti klinikinę terminologiją, o finansiniam modeliui – apdoroti dokumentus, su rizika susijusią terminiją ir struktūrizuotą rinkos informaciją.

Robotikos modeliai gali susieti suvokimą su fiziniais veiksmais. Vertimo modeliai gali būti skirti retoms kalboms. Vaizdo analizės modeliai gali aptikti pramoninius defektus, palydovų požymius ar medicininius vaizdus. Vienas bendrasis modelis gali būti įspūdingas, tačiau ne visada tai yra geriausias ar pigiausias įrankis kiekvienai užduočiai atlikti.

Ši įvairovė padaro dirbtinio intelekto ekosistemą atsparesnę ir praktiškesnę. Vietoj to, kad vienas modelis bandytų patenkinti visų vartotojų poreikius, daugybė modelių gali būti optimizuoti atsižvelgiant į tikslumą, greitį, privatumą, sąnaudas, kalbų aprėptį, įrenginių apribojimus ar teisinius reikalavimus.

Tikėtina, kad viešai prieinamų modelių skaičius ir toliau augs. Jei modelių kūrimas ir pritaikymas taps paprastesnis, vis daugiau komandų skelbs versijas, pritaikytas konkrečioms pramonės šakoms, kalboms, įrenginiams, darbo srautams ir moksliniams klausimams.

Augimas gali būti ne linijinis. Kai kurie modeliai taps pasenę, kai kurie bus sujungti, o kai kurios platformos gali pašalinti pasikartojančius arba neaktyvius repozitorijus. Tuo pačiu metu, geresnės priemonės galėtų paversti modelių kūrimą tokiu pat įprastu procesu, kaip ir programinės įrangos paketų publikavimą.

Svarbiausias klausimas yra ne tai, ar skaičius sieks šimtus tūkstančių ar milijonų. Naudingiau būtų paklausti, kiek modelių yra patikimų, gerai dokumentuotų, įvertintų ir tinkamų praktiniam naudojimui. Kiekis rodo ekosistemos aktyvumą, o kokybė lemia ilgalaikę vertę.