Prečo existuje toľko modelov umelej inteligencie?

Keď ľudia hovoria o umelej inteligencii, často sa vyjadrujú tak, akoby išlo o jediný systém, ktorý sa v priebehu času zdokonaľuje. V skutočnosti je ekosystém umelej inteligencie tvorený mnohými rodinami modelov, z ktorých každú vyvinuli iné tímy, ktoré boli trénované s rôznymi cieľmi a vydávané v rôznych verziách.

GPT, Llama, Mistral, Gemma a Qwen sú skôr príkladmi rodín modelov ako jednotlivých hotových produktov. Každá rodina môže obsahovať základné modely, modely vyladené na konkrétne inštrukcie, modely na kódovanie, modely spájajúce vizuálne a jazykové údaje, menšie modely určené na použitie priamo v zariadení a experimentálne kontrolné body.

Práve preto počet modelov umelej inteligencie rastie tak rýchlo. Jedna nová rodina modelov môže vygenerovať mnoho oficiálnych variantov a každý z týchto variantov sa neskôr môže stať východiskom pre komunitné vyladenia, prispôsobenia pre konkrétne oblasti a optimalizované verzie určené na nasadenie.

Základný model je univerzálny model, ktorý bol vytrénovaný na rozsiahlom množstve údajov, aby mohol slúžiť na mnohé následné účely. Zvyčajne nejde o konečnú podobu, ktorá sa používa vo všetkých produktoch. Stáva sa skôr platformou, ktorú ostatné tímy prispôsobujú, hodnotia a špecializujú.

Napríklad všeobecný jazykový model sa môže stať pomocníkom pri programovaní, modelom na sumarizáciu lekárskych textov, klasifikátorom právnych dokumentov, modelom na viacjazyčný preklad alebo pomocníkom v oblasti zákazníckej podpory. Základná architektúra môže byť podobná, výsledné modely sa však správajú odlišne, pretože sú prispôsobené na rôzne úlohy.

Tento ekosystémový efekt je jedným z hlavných dôvodov vysokého počtu modelov. Dôležitou jednotkou nie je len pôvodný základný model, ale aj množstvo praktických verzií, ktoré vznikajú v jeho okolí pre konkrétne jazyky, domény, bezpečnostné zásady, ciele v oblasti latencie a hardvérové prostredia.

Dolaďovanie znamená, že sa vezme existujúci model a ďalej sa trénuje na konkrétnejších príkladoch. Namiesto toho, aby začínali od nuly, vývojári vychádzajú z modelu, ktorý už rozumie jazyku, kódu, obrázkom alebo iným vzorom, a následne ho prispôsobujú užšiemu cieľu.

Techniky LoRA a ďalšie adaptérové techniky znížujú náklady na tento proces a zvyšujú jeho dostupnosť. Umožňujú tímom prispôsobiť model konkrétnej úlohe bez toho, aby museli pretrénovať každý parameter v pôvodnom systéme. Výsledok je možné zverejniť ako nový model alebo ako adaptér, ktorý upravuje základný model.

Nemocnica, banka, výskumné laboratórium, herné štúdio či robotická spoločnosť – všetky tieto subjekty môžu potrebovať model, ktorý sa správa odlišne. Vďaka fine-tuningu môžu vytvárať špecializované verzie prispôsobené ich slovnej zásobe, dokumentom, obmedzeniam a pracovným postupom. Každá užitočná úprava sa môže stať ďalším príspevkom do verejného ekosystému modelov.

Otvorené platformy pre modely výrazne zvyšujú rýchlosť, s akou sa modely objavujú. Hugging Face zjednodušuje publikovanie, vyhľadávanie a opätovné využívanie modelov. GitHub uľahčuje zdieľanie kódu na trénovanie, skriptov na vyhodnocovanie, nástrojov na spracovanie údajov a príkladov nasadenia.

Komunity otvoreného zdrojového kódu tiež znižujú bariéry pri experimentovaní. Malý tím môže vychádzať z verejne dostupného modelu, otestovať nový súbor údajov, vylepšiť výkonnosť pre jeden jazyk, komprimovať model s cieľom znížiť náklady na inferenciu alebo vytvoriť verziu, ktorá beží na bežnom spotrebiteľskom hardvéri.

To však neznamená, že každý verejne dostupný model má rovnakú dôležitosť alebo je pripravený na nasadenie do praxe. Mnohé z nich sú experimenty, referenčné modely, odnože alebo postupné vylepšenia. Otvorený ekosystém je však cenný práve preto, že premení vývoj modelov na spoločný proces, a nie na uzavretú činnosť v rámci niekoľkých veľkých laboratórií.

Vysoký počet modelov neznamená, že na svete existujú stovky tisíc systémov porovnateľných s najväčšími modelmi typu „frontier“. Väčšina modelov nie sú systémy v rozsahu GPT-4, ktoré boli vytrénované od nuly s využitím obrovských rozpočtov a rozsiahlej súkromnej infraštruktúry.

Mnohé verejne dostupné modely sú menšie, špecializované alebo odvodené od existujúcich prác. Niektoré z nich sú klasifikátory, modely na vkladanie reprezentácií, rečové modely, obrazové modely, prekladové modely, modely na vyhľadávanie, výskumné kontrolné body alebo vyladené varianty väčšieho základného modelu.

Toto rozlíšenie je dôležité pri analýze ukazovateľov v oblasti umelej inteligencie. Register modelov meria aktivitu v ekosystéme, nie počet špičkových laboratórií. Ukazuje, koľko opakovane použiteľných artefaktov sa zverejňuje, prispôsobuje a testuje v rámci širšej komunity zaoberajúcej sa strojovým učením.

Špecializované modely sú užitočné, pretože rôzne odbory majú rôzne požiadavky. Lekársky model môže potrebovať rozumieť klinickej terminológii, zatiaľ čo finančný model môže potrebovať spracovávať podania, terminológiu týkajúcu sa rizík a štruktúrované informácie o trhu.

Robotické modely môžu prepojiť vnímanie s fyzickými činnosťami. Prekladové modely sa môžu zameriavať na jazyky s obmedzenými zdrojmi. Modely počítačového videnia môžu detekovať priemyselné chyby, charakteristiky satelitných snímok alebo lekárske snímky. Jeden všeobecný model môže byť pôsobivý, nie je však vždy najlepším ani najlacnejším nástrojom pre každú úlohu.

Táto rozmanitosť zvyšuje odolnosť a praktickú využiteľnosť ekosystému umelej inteligencie. Namiesto jedného modelu, ktorý by sa snažil vyhovieť všetkým používateľom, je možné optimalizovať mnoho modelov z hľadiska presnosti, rýchlosti, ochrany súkromia, nákladov, jazykového pokrytia, obmedzení zariadení alebo regulačných požiadaviek.

Je pravdepodobné, že počet verejne dostupných modelov bude naďalej rásť. Ak sa tvorba a prispôsobovanie modelov zjednoduší, viac tímov bude zverejňovať verzie určené pre konkrétne odvetvia, jazyky, zariadenia, pracovné postupy a výskumné otázky.

Tento rast nemusí byť lineárny. Niektoré modely sa stanú zastaranými, niektoré budú zlúčené a niektoré platformy môžu odstrániť duplicitné alebo neaktívne repozitáre. Zároveň by vďaka lepším nástrojom mohlo byť vytváranie modelov rovnako bežnou činnosťou ako publikovanie softvérových balíkov.

Najdôležitejšou otázkou nie je to, či sa tento počet vyšplhá na stovky tisíc alebo milióny. Užitočnejšou otázkou je, koľko modelov je spoľahlivých, dobre zdokumentovaných, vyhodnotených a vhodných na skutočné použitie. Množstvo svedčí o aktivite ekosystému; kvalita určuje dlhodobú hodnotu.