AI 추론이란 무엇인가?

AI 추론은 모델이 이미 학습을 마친 후에 이루어집니다. 사용자, 애플리케이션 또는 자동화 시스템이 새로운 입력 데이터를 보내면, 학습된 모델은 학습 과정에서 습득한 지식을 활용하여 유용한 출력 결과를 생성합니다.

이러한 입력은 텍스트 프롬프트, 검색어, 제품 이미지, 음성 녹음, 코드 한 줄 또는 데이터베이스의 한 행일 수 있습니다. 출력은 답변, 생성된 이미지, 분류 결과, 추천, 번역 또는 예측일 수 있습니다.

이것이 바로 ChatGPT의 모든 응답, AI 이미지 생성, 검색 보조 기능의 결과, 추천 엔진, 콘텐츠 검토 결정에 추론이 수반되는 이유입니다. 모델이 매번 새로 구축되는 것이 아니라, 새로운 데이터를 바탕으로 실행되는 것입니다.

훈련과 추론은 동일한 AI 시스템의 두 가지 서로 다른 단계입니다. 훈련은 방대한 데이터 세트를 처리하고, 예측 결과를 실제 사례와 비교하며, 수많은 반복 단계를 거쳐 내부 매개변수를 조정함으로써 모델을 생성하거나 업데이트합니다.

추론은 이러한 훈련 과정을 통해 사용 가능한 모델이 생성된 후에 시작됩니다. 훈련된 모델은 서버에 배포되어 새로운 입력 데이터를 수신하며, 전체 훈련 과정을 다시 거치지 않고도 학습된 패턴을 적용합니다.

이 둘의 차이를 기억하는 간단한 방법은 다음과 같습니다. ‘훈련’은 모델이 학습하는 과정이고, ‘추론’은 모델이 사용되는 방식입니다. 첫 번째 단계에 대한 더 자세한 설명은 AI 모델 훈련 방법에 대한 가이드를 참고하세요.

정확한 단계는 모델의 유형에 따라 다르지만, 기본적인 흐름은 비슷합니다. 입력이 들어오면 시스템이 모델이 요구하는 형식으로 이를 준비하고, 모델이 매개변수를 바탕으로 계산을 수행한 뒤, 시스템이 모델의 출력을 사용자가 읽거나, 보거나, 사용할 수 있는 형태로 변환합니다.

언어 모델의 경우, 프롬프트는 대개 토큰으로 분할됩니다. 모델은 이러한 토큰을 분석하여 한 단계씩 다음 토큰을 예측합니다. 이미지 모델의 경우, 입력은 텍스트, 이미지 또는 둘 다일 수 있으며, 모델은 요청에 부합하는 픽셀이나 시각적 특징을 점진적으로 생성합니다.

다른 시스템들은 문서를 분류하거나, 검색 결과를 순위 매기거나, 이미지 속 물체를 인식하거나, 음성을 텍스트로 변환하거나, 제품을 추천할 수도 있습니다. 이러한 모든 경우에 추론은 새로운 입력을 모델의 출력으로 변환하는 실시간 실행 단계입니다.

AI 추론은 단순히 데이터베이스에서 정보를 조회하는 것이 아닙니다. 대규모 모델은 수십억 개의 매개변수를 포함할 수 있으며, 이를 사용하려면 모델 내에서 정보를 전달하고 다음 출력을 계산하기 위해 수많은 수학적 연산이 필요합니다.

이러한 계산은 대개 신속하게 이루어져야 합니다. 챗봇의 답변, 검색 도우미의 응답 또는 실시간 번역은 몇 초 이내에 제공되어야 하므로, 추론 시스템에서는 지연 시간, 메모리 대역폭, 배치 처리, 모델 크기 및 하드웨어 활용도를 중요하게 여깁니다.

GPU 및 기타 AI 가속기는 수많은 병렬 연산을 효율적으로 수행할 수 있기 때문에 유용합니다. 모델이 클수록, 컨텍스트가 길수록, 동시 접속 사용자 수가 많을수록 추론 인프라를 더욱 신중하게 설계해야 합니다.

챗봇이 질문에 답할 때, 이는 추론을 수행하는 것입니다. 이미지 생성기가 프롬프트를 바탕으로 그림을 만들 때, 코딩 도우미가 함수를 제안할 때, 또는 번역 도구가 문장을 다른 언어로 변환할 때도 마찬가지입니다.

추론은 눈에 잘 띄지 않는 시스템에서도 나타납니다. 동영상을 순위 매기는 추천 피드, 거래를 의심스러운 것으로 표시하는 사기 탐지 시스템, 관심 영역을 강조 표시하는 의료 영상 모델, 또는 결함을 감지하는 공장 비전 시스템 등은 모두 새로운 데이터에 대해 훈련된 모델을 활용합니다.

이 예시들은 사용자에게는 다르게 보이지만, 모두 동일한 기본 패턴을 공유합니다. 즉, 훈련된 모델이 입력을 받아 계산을 수행한 뒤, 의사 결정, 답변 또는 생성된 결과를 뒷받침하는 출력을 반환합니다.

단일 추론 요청은 규모가 작을 수 있지만, 현대의 AI 시스템은 방대한 규모로 운영됩니다. 수백만 건 또는 수십억 건에 달하는 프롬프트, 이미지 요청, 추천 및 API 호출은 GPU, 네트워킹, 스토리지 및 냉각 시스템 전반에 걸쳐 지속적인 부하를 발생시킬 수 있습니다.

이것이 바로 추론이 AI 인프라의 핵심인 이유입니다. 훈련이 가장 눈에 띄는 컴퓨팅 작업일지 모르지만, 추론은 사람들이 배포된 AI 도구를 사용할 때마다 반복적으로 이루어집니다. 전 세계적 규모에서 볼 때, 이러한 반복적인 사용은 GPU 수요와 데이터센터 전력 소비의 주요 원동력이 될 수 있습니다.

단일 AI 쿼리의 정확한 에너지 소비량은 모델 규모, 하드웨어, 배치 처리 방식, 활용도, 데이터센터 효율성 및 출력 유형에 따라 달라집니다. 중요한 점은 추론 과정이 일상적인 AI 사용을 칩, 서버, 전력, 냉각 시스템, 데이터센터와 같은 물리적 인프라와 연결한다는 것입니다.

AI 제공업체들은 추론 속도를 높이고, 비용을 절감하며, 효율성을 높이기 위해 많은 엔지니어링 노력을 기울입니다. 일괄 처리(batching)를 통해 여러 요청을 한꺼번에 처리할 수 있고, 캐싱을 통해 반복되는 작업을 재사용할 수 있으며, 라우팅을 통해 더 간단한 작업은 규모가 작거나 특화된 모델로 전달할 수 있습니다.

다른 기법들은 필요한 연산량을 줄여줍니다. 양자화는 모델 값을 더 간결하게 표현할 수 있고, 증류는 모델의 동작을 더 작은 모델로 이전할 수 있으며, 프루닝이나 아키텍처 변경은 유용한 품질을 유지하면서 불필요한 작업을 제거할 수 있습니다.

전용 하드웨어도 중요합니다. GPU, AI 가속기, 고속 네트워킹, 고대역폭 메모리는 배포된 모델이 대규모 환경에서도 안정적으로 응답할 수 있도록 돕습니다. 추론 효율을 높이면 지연 시간, 비용, 전력 소비를 줄일 수 있지만, 그렇다고 해서 인프라가 사라지는 것은 아닙니다.