Кратък отговор
Изводът се прави, когато вече обучен модел на изкуствен интелект обработва подкана, изображение, аудиофайл или друг вход, за да генерира резултат. Всеки отговор на ChatGPT, генериране на изображение с изкуствен интелект или заявка за препоръка изисква изчисление на изводите.
Изводът е изпълнение на модел на изкуствен интелект
По време на извеждането обучен модел анализира входящите данни и изготвя прогнози или генерира съдържание. За разлика от обучението, при изводите моделът не получава нови знания. Вместо това той използва предварително научени параметри, за да реагира на потребителите в реално време.
Обучението и изводът са различни
При обучението моделът се изгражда чрез обработка на огромни масиви от данни за дълъг период от време, като се използват огромни количества изчислителна техника. Изводът е оперативната фаза, в която потребителите взаимодействат с обучения модел. Обикновено обучението е по-интензивно от гледна точка на изчисленията за едно събитие, но изводът се прави непрекъснато в глобален мащаб.
Изводът изисква графични процесори и специализиран хардуер
Съвременните изводи на ИИ често се изпълняват на графични процесори или ускорители на ИИ, оптимизирани за паралелна обработка. Големите езикови модели могат да изискват значителна пропускателна способност на паметта и изчислителна мощност, особено когато обслужват милиони потребители едновременно.
Заключението консумира електроенергия
Всяка заявка за извод консумира електроенергия чрез изчислителен хардуер, мрежи, инфраструктура за съхранение и охлаждане. С нарастването на разпространението на изкуствения интелект в световен мащаб работните натоварвания с изводи стават все по-важна част от глобалното търсене на електроенергия в центровете за данни.
Изводът може да бъде оптимизиран
Доставчиците на изкуствен интелект непрекъснато оптимизират изводите чрез групиране, квантуване, дестилация на модели, кеширане и по-ефективен хардуер. Тези техники имат за цел да намалят латентността, потреблението на електроенергия и оперативните разходи, като същевременно поддържат качеството на модела.