Dlaczego istnieje tak wiele modeli sztucznej inteligencji?

Kiedy ludzie mówią o sztucznej inteligencji, często przedstawiają to tak, jakby istniał jeden system, który z czasem ulega udoskonaleniu. W rzeczywistości ekosystem sztucznej inteligencji składa się z wielu rodzin modeli, z których każda została stworzona przez inne zespoły, wytrenowana z myślą o różnych celach i udostępniona w różnych wersjach.

GPT, Llama, Mistral, Gemma i Qwen to raczej przykłady rodzin modeli niż pojedynczych, gotowych produktów. Każda rodzina może obejmować modele fundamentalne, modele dostrojone pod kątem instrukcji, modele do kodowania, modele łączące przetwarzanie obrazu z przetwarzaniem języka, mniejsze modele działające na urządzeniach oraz eksperymentalne punkty kontrolne.

Właśnie dlatego liczba modeli sztucznej inteligencji rośnie tak szybko. Jedna nowa rodzina modeli może dać początek wielu oficjalnym wariantom, a każdy z tych wariantów może później stać się punktem wyjścia dla dopracowań tworzonych przez społeczność, adaptacji do konkretnych dziedzin oraz zoptymalizowanych wersji wdrożeniowych.

Model bazowy to model ogólnego przeznaczenia, wytrenowany na obszernych zbiorach danych, dzięki czemu może służyć do wielu zastosowań końcowych. Zazwyczaj nie jest to ostateczna wersja wykorzystywana w każdym produkcie. Stanowi on raczej platformę, którą inne zespoły dostosowują, oceniają i specjalizują.

Na przykład ogólny model językowy może stać się asystentem programistycznym, modelem do tworzenia streszczeń medycznych, klasyfikatorem dokumentów prawnych, modelem tłumaczeń wielojęzycznych lub asystentem obsługi klienta. Architektura leżąca u ich podstaw może być podobna, ale powstałe w ten sposób modele zachowują się inaczej, ponieważ są dostosowane do różnych zadań.

Ten efekt ekosystemowy jest jedną z głównych przyczyn dużej liczby modeli. Istotną jednostką jest nie tylko oryginalny model fundamentalny, ale także liczne praktyczne wersje, które powstają wokół niego z myślą o konkretnych językach, dziedzinach, zasadach bezpieczeństwa, docelowych wartościach opóźnień oraz środowiskach sprzętowych.

Fine-tuning polega na wykorzystaniu istniejącego modelu i dalszym trenowaniu go na bardziej konkretnych przykładach. Zamiast zaczynać od zera, programiści wykorzystują model, który już rozumie język, kod, obrazy lub inne wzorce, a następnie dostosowują go do węszego celu.

Techniki LoRA i inne techniki adaptacyjne sprawiają, że proces ten jest tańszy i bardziej dostępny. Pozwalają one zespołom dostosować model do konkretnego zadania bez konieczności ponownego uczenia wszystkich parametrów w oryginalnym systemie. Wynik można opublikować jako nowy model lub jako adapter modyfikujący model fundamentalny.

Szpital, bank, laboratorium badawcze, studio gier lub firma zajmująca się robotyką – każda z tych instytucji może potrzebować modelu, który działa inaczej. Dzięki precyzyjnemu dostosowywaniu mogą one tworzyć wyspecjalizowane wersje dostosowane do ich słownictwa, dokumentów, ograniczeń i procesów roboczych. Każde przydatne dostosowanie może stać się kolejnym elementem publicznego ekosystemu modeli.

Otwarte platformy modelowe znacznie przyspieszają proces tworzenia modeli. Hugging Face ułatwia publikowanie, wyszukiwanie i ponowne wykorzystywanie modeli. GitHub ułatwia udostępnianie kodu szkoleniowego, skryptów ewaluacyjnych, narzędzi do przetwarzania danych oraz przykładów wdrożeń.

Społeczności open source zmniejszają również bariery związane z eksperymentowaniem. Niewielki zespół może zacząć od publicznie dostępnego modelu, przetestować nowy zbiór danych, poprawić wydajność dla jednego języka, skompresować model w celu obniżenia kosztów wnioskowania lub stworzyć wersję działającą na sprzęcie konsumenckim.

Nie oznacza to jednak, że każdy publicznie dostępny model ma takie samo znaczenie lub jest gotowy do wdrożenia. Wiele z nich to eksperymenty, testy porównawcze, rozgałęzienia lub stopniowe ulepszenia. Otwarty ekosystem ma jednak ogromną wartość, ponieważ sprawia, że tworzenie modeli staje się procesem opartym na współpracy, a nie zamkniętym przedsięwzięciem realizowanym wyłącznie w kilku dużych laboratoriach.

Duża liczba modeli nie oznacza, że na świecie istnieją setki tysięcy systemów porównywalnych z największymi modelami typu „frontier”. Większość modeli to nie są systemy na miarę GPT-4, trenowane od podstaw przy użyciu ogromnych budżetów i rozbudowanej prywatnej infrastruktury.

Wiele modeli publicznych jest mniejszych rozmiarów, ma charakter specjalistyczny lub powstało na podstawie istniejących rozwiązań. Niektóre z nich to klasyfikatory, modele osadzania, modele mowy, modele obrazów, modele tłumaczeniowe, modele wyszukiwania, punkty kontrolne badań lub warianty większego modelu bazowego poddane dostrajaniu.

To rozróżnienie ma znaczenie przy analizowaniu wskaźników dotyczących sztucznej inteligencji. Rejestr modeli mierzy aktywność w ekosystemie, a nie liczbę pionierskich laboratoriów. Pokazuje, ile artefaktów nadających się do ponownego wykorzystania jest publikowanych, dostosowywanych i testowanych w szeroko pojętej społeczności zajmującej się uczeniem maszynowym.

Modele specjalistyczne są przydatne, ponieważ różne dziedziny mają różne wymagania. Model medyczny może wymagać zrozumienia terminologii klinicznej, podczas gdy model finansowy może wymagać przetwarzania dokumentów, terminologii związanej z ryzykiem oraz ustrukturyzowanych informacji rynkowych.

Modele robotyki mogą łączyć percepcję z działaniami fizycznymi. Modele tłumaczeniowe mogą skupiać się na językach o ograniczonych zasobach. Modele wizyjne mogą wykrywać wady przemysłowe, cechy charakterystyczne obrazów satelitarnych lub obrazy medyczne. Pojedynczy, uniwersalny model może robić wrażenie, ale nie zawsze jest najlepszym lub najtańszym narzędziem do każdego zadania.

Ta różnorodność sprawia, że ekosystem sztucznej inteligencji jest bardziej odporny i praktyczny. Zamiast jednego modelu, który miałby zaspokajać potrzeby wszystkich użytkowników, wiele modeli można zoptymalizować pod kątem dokładności, szybkości, prywatności, kosztów, obsługiwanych języków, ograniczeń urządzeń lub wymogów regulacyjnych.

Można się spodziewać, że liczba publicznie dostępnych modeli będzie nadal rosnąć. Jeśli tworzenie i dostosowywanie modeli stanie się łatwiejsze, coraz więcej zespołów będzie publikować wersje przeznaczone dla konkretnych branż, języków, urządzeń, procesów roboczych i zagadnień badawczych.

Wzrost ten może nie przebiegać liniowo. Niektóre modele staną się przestarzałe, inne zostaną połączone, a niektóre platformy mogą usunąć zduplikowane lub nieaktywne repozytoria. Jednocześnie lepsze narzędzia mogą sprawić, że tworzenie modeli stanie się tak rutynowe, jak publikowanie pakietów oprogramowania.

Najważniejsze nie jest to, czy liczba ta wyniesie setki tysięcy, czy miliony. Bardziej przydatne jest pytanie, ile modeli jest wiarygodnych, dobrze udokumentowanych, poddanych ocenie i nadających się do rzeczywistego zastosowania. Ilość świadczy o aktywności ekosystemu; jakość decyduje o długoterminowej wartości.