De ce există atât de multe modele de IA?

Când oamenii vorbesc despre IA, adesea o prezintă ca și cum ar exista un singur sistem care se perfecționează în timp. În realitate, ecosistemul IA este alcătuit din numeroase familii de modele, fiecare fiind dezvoltată de echipe diferite, antrenată în funcție de obiective diferite și lansată în versiuni diferite.

GPT, Llama, Mistral, Gemma și Qwen sunt exemple de familii de modele, mai degrabă decât de produse individuale fixe. Fiecare familie poate conține modele de bază, modele optimizate pentru instrucțiuni, modele de programare, modele de vizualizare-limbaj, modele mai mici care rulează pe dispozitiv și puncte de verificare experimentale.

Acesta este motivul pentru care numărul modelelor de IA crește atât de rapid. O singură familie nouă poate genera numeroase variante oficiale, iar fiecare dintre aceste variante poate deveni ulterior punctul de plecare pentru ajustări realizate de comunitate, adaptări specifice unui anumit domeniu și versiuni optimizate pentru implementare.

Un model de bază este un model cu utilizare generală, antrenat pe un volum mare de date, astfel încât să poată susține numeroase aplicații ulterioare. De obicei, acesta nu reprezintă forma finală utilizată în fiecare produs. Dimpotrivă, devine o platformă pe care alte echipe o adaptează, o evaluează și o specializează.

De exemplu, un model lingvistic general poate deveni un asistent de programare, un model de sinteză medicală, un clasificator de documente juridice, un model de traducere multilingvă sau un asistent pentru asistența clienților. Arhitectura de bază poate fi similară, dar modelele rezultate se comportă diferit, deoarece sunt optimizate pentru sarcini diferite.

Acest efect de ecosistem este unul dintre principalele motive pentru care numărul modelelor este atât de mare. Elementul important nu este doar modelul de bază inițial, ci și numeroasele variante practice care apar în jurul acestuia, adaptate la limbi specifice, domenii, politici de siguranță, obiective de latență și medii hardware.

Optimizarea înseamnă preluarea unui model existent și antrenarea acestuia în continuare pe exemple mai specifice. În loc să pornească de la zero, dezvoltatorii încep cu un model care înțelege deja limbajul, codul, imaginile sau alte tipare, apoi îl adaptează la un obiectiv mai restrâns.

LoRA și alte tehnici de adaptare fac acest proces mai ieftin și mai accesibil. Acestea permit echipelor să adapteze un model pentru o sarcină specifică fără a fi nevoie să reantreneze fiecare parametru din sistemul inițial. Rezultatul poate fi publicat sub forma unui model nou sau a unui adaptor care modifică un model de bază.

Un spital, o bancă, un laborator de cercetare, un studio de jocuri sau o companie de robotică pot avea nevoie de un model care să funcționeze în mod diferit. Reglarea fină le permite să creeze versiuni specializate adaptate vocabularului, documentelor, constrângerilor și fluxurilor de lucru specifice fiecăruia. Fiecare adaptare utilă poate deveni o nouă intrare în ecosistemul public al modelelor.

Platformele de modele deschise accelerează considerabil ritmul de apariție a modelelor. Hugging Face simplifică publicarea, descoperirea și reutilizarea modelelor. GitHub facilitează partajarea codului de antrenare, a scripturilor de evaluare, a instrumentelor de procesare a datelor și a exemplelor de implementare.

Comunitățile open source reduc, de asemenea, barierele în calea experimentării. O echipă mică poate porni de la un model public, poate testa un nou set de date, poate îmbunătăți performanța pentru o anumită limbă, poate comprima modelul pentru a obține o inferență mai ieftină sau poate crea o versiune care să funcționeze pe hardware de uz general.

Acest lucru nu înseamnă că toate modelele publice au aceeași importanță sau sunt gata de utilizare în producție. Multe dintre ele sunt experimente, teste de performanță, ramificații sau îmbunătățiri incrementale. Totuși, ecosistemul deschis este valoros deoarece transformă dezvoltarea modelelor într-un proces comun, în loc să fie o activitate închisă, desfășurată doar în cadrul câtorva laboratoare mari.

Un număr mare de modele nu înseamnă că există sute de mii de sisteme comparabile cu cele mai mari modele de ultimă generație. Majoritatea modelelor nu sunt sisteme de amploarea GPT-4, antrenate de la zero cu bugete uriașe și o infrastructură privată de proporții.

Multe modele publice sunt mai mici, specializate sau derivate din lucrări existente. Unele sunt clasificatoare, modele de încorporare, modele de recunoaștere a vorbirii, modele de procesare a imaginilor, modele de traducere, modele de recuperare a informațiilor, puncte de referință pentru cercetare sau variante optimizate ale unui model de bază mai mare.

Această distincție este importantă atunci când analizăm indicatorii din domeniul IA. Un registru de modele măsoară activitatea din ecosistem, nu numărul de laboratoare de avangardă. Acesta arată câte artefacte reutilizabile sunt publicate, adaptate și testate în cadrul comunității mai largi de învățare automată.

Modelele specializate sunt utile deoarece diferite domenii au cerințe diferite. Un model medical poate avea nevoie să înțeleagă terminologia clinică, în timp ce un model financiar poate avea nevoie să proceseze documente depuse, terminologia specifică riscurilor și informații structurate despre piață.

Modelele de robotică pot face legătura între percepție și acțiuni fizice. Modelele de traducere se pot concentra pe limbile cu resurse limitate. Modelele de recunoaștere vizuală pot detecta defecte industriale, caracteristici ale imaginilor satelitare sau imagini medicale. Un singur model general poate fi impresionant, dar nu este întotdeauna cel mai bun sau cel mai ieftin instrument pentru fiecare sarcină.

Această diversitate conferă ecosistemului IA o mai mare reziliență și o mai mare utilitate practică. În loc ca un singur model să încerce să răspundă nevoilor tuturor utilizatorilor, numeroase modele pot fi optimizate în funcție de precizie, viteză, confidențialitate, costuri, acoperire lingvistică, limitările dispozitivelor sau cerințele de reglementare.

Este plauzibil ca numărul modelelor publice să continue să crească. Dacă crearea și adaptarea modelelor vor deveni mai ușoare, tot mai multe echipe vor publica versiuni destinate anumitor sectoare de activitate, limbi, dispozitive, fluxuri de lucru și întrebări de cercetare.

Este posibil ca această creștere să nu fie liniară. Unele modele vor deveni depășite, altele vor fi comasate, iar unele platforme ar putea elimina duplicatele sau depozitele inactive. În același timp, un set de instrumente mai performant ar putea face ca procesul de creare a modelelor să devină la fel de obișnuit ca publicarea pachetelor software.

Cea mai importantă întrebare nu este dacă numărul ajunge la sute de mii sau la milioane. O întrebare mai utilă este câte modele sunt fiabile, bine documentate, evaluate și adecvate pentru utilizarea în practică. Cantitatea reflectă activitatea ecosistemului; calitatea determină valoarea pe termen lung.