Miksi tekoälymalleja on niin paljon?

Kun ihmiset puhuvat tekoälystä, he puhuvat usein ikään kuin kyseessä olisi yksi ainoa järjestelmä, joka kehittyy ajan myötä. Todellisuudessa tekoälyn ekosysteemi koostuu monista malliperheistä, joista kukin on eri tiimien kehittämä, eri tavoitteiden mukaisesti koulutettu ja eri versioina julkaistu.

GPT, Llama, Mistral, Gemma ja Qwen ovat esimerkkejä malliperheistä eivätkä yksittäisistä, kiinteistä tuotteista. Kukin malliperhe voi sisältää perusmalleja, ohjeistuksella hienosäädettyjä malleja, koodausmalleja, visuaalis-kielimalleja, pienempiä laitteessa toimivia malleja sekä kokeellisia tarkistuspisteitä.

Tästä syystä tekoälymallien määrä kasvaa niin nopeasti. Yksi uusi malliperhe voi tuottaa lukuisia virallisia muunnelmia, ja jokainen näistä muunnelmista voi myöhemmin toimia lähtökohtana yhteisön tekemille hienosäätöille, alakohtaisille mukautuksille ja optimoiduille käyttöönottoversioille.

Perusmalli on yleiskäyttöinen malli, joka on koulutettu laajalla aineistolla, jotta se voi tukea monia jatkokäyttötarkoituksia. Se ei yleensä ole lopullinen muoto, jota käytetään jokaisessa tuotteessa. Sen sijaan siitä tulee alusta, jota muut tiimit mukauttavat, arvioivat ja erikoistavat.

Esimerkiksi yleinen kielimalli voi toimia koodausavustajana, lääketieteellisenä tiivistämismallina, oikeudellisten asiakirjojen luokittelijana, monikielisenä käännösmallina tai asiakastuen avustajana. Niiden taustalla oleva arkkitehtuuri voi olla samankaltainen, mutta tuloksena olevat mallit toimivat eri tavoin, koska ne on optimoitu eri tehtäviä varten.

Tämä ekosysteemivaikutus on yksi tärkeimmistä syistä mallien suuren määrän taustalla. Tärkeä yksikkö ei ole pelkästään alkuperäinen perusmalli, vaan myös sen ympärille syntyvät lukuisat käytännön sovellukset, jotka on räätälöity tiettyjä kieliä, aihealueita, turvallisuusperiaatteita, viivevaatimuksia ja laitteistoympäristöjä varten.

Hienosäätö tarkoittaa sitä, että olemassa olevaa mallia koulutetaan edelleen tarkemmin määriteltyjen esimerkkien avulla. Sen sijaan, että aloitettaisiin tyhjästä, kehittäjät lähtevät liikkeelle mallista, joka jo ymmärtää kieltä, koodia, kuvia tai muita kuvioita, ja mukauttavat sitä sitten kapeampaan tavoitteeseen.

LoRA ja muut sovitintekniikat tekevät tästä prosessista edullisemman ja helpommin saatavilla olevan. Niiden avulla tiimit voivat mukauttaa mallia tiettyä tehtävää varten ilman, että alkuperäisen järjestelmän kaikkia parametreja tarvitsee kouluttaa uudelleen. Tulos voidaan julkaista uutena mallina tai sovittimena, joka muokkaa perusmallia.

Sairaala, pankki, tutkimuslaboratorio, pelistudio tai robotiikkayritys saattavat kaikki tarvita mallia, joka toimii eri tavalla. Hienosäätön avulla ne voivat luoda räätälöityjä versioita omia sanastojaan, asiakirjojaan, rajoituksiaan ja työnkulkujaan varten. Jokaisesta hyödyllisestä mukautuksesta voi tulla uusi osa julkista malliekosysteemiä.

Avoimet mallialustat nopeuttavat mallien julkaisemista huomattavasti. Hugging Facen avulla mallien julkaiseminen, löytäminen ja uudelleenkäyttö on helppoa. GitHubin avulla on helppo jakaa koulutuskoodia, arviointiskriptejä, tietojenkäsittelytyökaluja ja käyttöönottoesimerkkejä.

Avoimen lähdekoodin yhteisöt madaltavat myös kokeilun kynnystä. Pieni tiimi voi aloittaa julkisesti saatavilla olevasta mallista, testata uutta aineistoa, parantaa mallin suorituskykyä tietyn kielen osalta, pakata mallin edullisempaa päättelyä varten tai kehittää version, joka toimii kuluttajille tarkoitetulla laitteistolla.

Tämä ei tarkoita, että jokainen julkinen malli olisi yhtä tärkeä tai tuotantokäyttöön valmis. Monet niistä ovat kokeiluja, vertailuanalyysejä, haaroituksia tai vähittäisiä parannuksia. Avoin ekosysteemi on kuitenkin arvokas, koska se muuttaa mallien kehittämisen yhteiseksi prosessiksi sen sijaan, että se olisi vain muutamien suurten laboratorioiden sisällä tapahtuvaa suljettua toimintaa.

Suuri mallien lukumäärä ei tarkoita, että maailmassa olisi satoja tuhansia järjestelmiä, jotka olisivat verrattavissa suurimpiin frontier-malleihin. Suurin osa malleista ei ole GPT-4-luokan järjestelmiä, joita on koulutettu alusta alkaen valtavilla budjeteilla ja mittavalla yksityisellä infrastruktuurilla.

Monet julkiset mallit ovat pienempiä, erikoistuneita tai johdettuja olemassa olevista töistä. Osa niistä on luokittelijoita, upotusmalleja, puhemalleja, kuvamalleja, käännösmalleja, hakumalleja, tutkimuksen välitavoitteita tai suuremman perusmallin hienosäädettyjä muunnelmia.

Tämä ero on tärkeä tekoälyn kehittäjiä arvioitaessa. Mallirekisteri mittaa ekosysteemin aktiivisuutta, ei edistyksellisten tutkimuslaboratorioiden lukumäärää. Se osoittaa, kuinka monta uudelleenkäytettävää tuotosta julkaistaan, mukautetaan ja testataan laajemmassa koneoppimisyhteisössä.

Erikoistuneet mallit ovat hyödyllisiä, koska eri aloilla on erilaiset vaatimukset. Lääketieteellisessä mallissa saattaa olla tarpeen ymmärtää kliinistä terminologiaa, kun taas rahoitusmallissa saatetaan joutua käsittelemään ilmoituksia, riskikieltä ja jäsenneltyä markkinatietoa.

Robotiikkamallit voivat yhdistää havainnoinnin fyysisiin toimintoihin. Käännösmallit voivat keskittyä kieliin, joiden käännösresurssit ovat vähäiset. Kuvankäsittelymallit voivat tunnistaa teollisuuden virheitä, satelliittikuvien piirteitä tai lääketieteellisiä kuvia. Yksi ainoa yleismalli voi olla vaikuttava, mutta se ei aina ole paras tai edullisin työkalu jokaiseen tehtävään.

Tämä monimuotoisuus tekee tekoälyekosysteemistä joustavamman ja käytännöllisemmän. Sen sijaan, että yksi malli yrittäisi palvella kaikkia käyttäjiä, useita malleja voidaan optimoida tarkkuuden, nopeuden, tietosuojan, kustannusten, kielikattavuuden, laiterajoitusten tai sääntelyvaatimusten suhteen.

On todennäköistä, että julkisten mallien määrä kasvaa edelleen. Jos mallien luominen ja mukauttaminen helpottuu, yhä useammat tiimit julkaisevat versioita, jotka on suunnattu tietyille toimialoille, kielille, laitteille, työnkulkuille ja tutkimuskysymyksille.

Kasvu ei välttämättä ole lineaarista. Osa malleista vanhentuu, osa yhdistetään, ja jotkut alustat saattavat poistaa päällekkäisiä tai käyttämättömiä arkistoja. Samalla parempien työkalujen ansiosta mallien luominen voi tulla yhtä rutiininomaiseksi kuin ohjelmistopakettien julkaiseminen.

Tärkein kysymys ei ole se, nouseeko lukumäärä satoihin tuhansiin vai miljooniin. Hyödyllisempi kysymys on, kuinka monta mallia on luotettavia, hyvin dokumentoituja, arvioituja ja käytännön käyttöön sopivia. Määrä osoittaa ekosysteemin aktiivisuutta; laatu määrää pitkän aikavälin arvon.