AI 데이터 센터란 무엇인가요?

AI 데이터 센터는 인공 지능 시스템을 구축, 배포 및 운영하는 데 필요한 컴퓨팅 장비를 갖춘 전문 시설입니다. 이 시설은 모델 훈련, 추론, 데이터 처리, 검색 보조 기능, 이미지 생성, 추천 시스템 또는 기업용 AI 애플리케이션을 지원할 수 있습니다.

‘데이터 센터’라는 말만 들으면 인프라가 추상적으로 들릴 수 있지만, 사실 이는 전력망, 광섬유 네트워크, 냉각 시스템, 그리고 냉각수 또는 폐열 배출 시설에 연결된 실제 건물들입니다. AI는 소프트웨어처럼 느껴질 수 있지만, 실제로는 실제 장소에 있는 실제 기계들에 의존하고 있습니다.

기존의 클라우드 데이터 센터는 다양한 종류의 워크로드를 처리할 수 있습니다. 반면 AI 데이터 센터는 대개 매우 고밀도 연산, 특히 방대한 양의 병렬 수학적 연산을 수행하는 GPU 또는 가속기 클러스터에 최적화되어 있습니다.

눈에 띄는 핵심은 서버 랙들입니다. AI 시설에서는 이러한 서버 중 상당수에 GPU, AI 가속기, 고대역폭 메모리 및 특수 네트워킹 카드가 탑재되어 있습니다. 이 시스템들은 데이터를 빠르게 전송하고 행렬 연산을 효율적으로 수행하도록 설계되었습니다.

컴퓨팅 하드웨어를 둘러싸고 더 광범위한 지원 시스템이 구축되어 있습니다. 여기에는 데이터 세트 및 모델 체크포인트를 위한 스토리지, 네트워크 스위치, 광섬유 연결, 전력 변환 장비, 백업 시스템, 모니터링, 화재 진압 시스템 및 물리적 보안 시스템이 포함됩니다.

냉각은 연산만큼이나 중요합니다. 고밀도 AI 하드웨어는 지속적으로 열을 발생시키므로, 시설에서는 설계 및 현지 여건에 따라 공기 냉각, 액체 냉각, 냉각기, 펌프, 냉각탑 또는 열교환기를 사용합니다.

가장 큰 차이점은 밀도와 워크로드의 형태입니다. AI 훈련은 수천 개의 가속기를 장기간 동안 계속 가동시킬 수 있는 반면, 추론 시스템은 사용자의 명령, API 호출, 추천 정보 또는 생성된 이미지에 신속하게 대응해야 합니다.

AI 클러스터는 또한 기계 간에 매우 빠른 통신이 필요합니다. 훈련 과정에서 GPU들은 기울기와 모델 데이터를 끊임없이 주고받습니다. 추론 단계에서는 서버가 모델 가중치를 불러오고, 컨텍스트를 처리하며, 낮은 지연 시간으로 출력을 반환해야 합니다.

고밀도 칩, 높은 전력 소비, 고속 네트워킹, 열 관리가 결합된 이 특성으로 인해 AI 인프라는 기존의 많은 웹 또는 엔터프라이즈 워크로드보다 더 까다로운 요구 사항을 갖습니다.

훈련은 모델이 데이터로부터 학습하는 단계입니다. 이 과정에는 방대한 데이터 세트, 긴 실행 시간, 반복적인 계산, 그리고 함께 작동하는 GPU 클러스터가 필요할 수 있습니다. 훈련은 대규모의 집중적인 인프라 수요를 발생시키기 때문에, 종종 가장 눈에 띄는 AI 컴퓨팅 유형으로 꼽힙니다.

추론은 훈련된 모델이 활용되는 단계입니다. 챗봇의 답변, 이미지 생성, 검색 도우미의 응답, 분류 요청 등 모든 작업에서 추론이 수행됩니다. 개별 요청은 작을 수 있지만, 전 세계적인 사용량으로 인해 지속적인 수요가 발생합니다.

많은 AI 데이터 센터가 두 단계 모두를 지원하지만, 그 방식이 항상 동일한 것은 아닙니다. 훈련 단계에서는 대규모의 동기화된 클러스터가 중요한 반면, 추론 단계에서는 지연 시간, 가용성, 라우팅, 배치 처리 및 요청당 비용이 매우 중요합니다.

AI 하드웨어는 전력을 필요로 하며, 그 전력의 거의 전부가 결국 열로 변합니다. 따라서 시설에는 장비를 가동하기에 충분한 전력 공급과 열을 안정적으로 제거할 수 있는 충분한 냉각 용량이 필요합니다.

바로 그 때문에 AI 데이터 센터는 단순히 제곱미터 단위가 아니라 메가와트나 기가와트 단위로 논의되는 경우가 많습니다. 제한 요인은 토지 자체뿐만 아니라 계통 연계, 변압기, 예비 발전 설비, 냉각수, 열 배출 또는 지역 허가 문제일 수 있습니다.

더 우수한 칩, 수냉식 냉각 시스템, 그리고 더 효율적인 데이터 센터 설계는 작업당 에너지 소비량을 줄일 수 있지만, AI 사용량이 효율성 개선 속도보다 빠르게 증가한다면 총 에너지 수요는 여전히 늘어날 수 있다.

AI 데이터 센터는 운영사가 전력, 부지, 광섬유 연결, 냉각 옵션, 세금 및 인허가 조건, 인력 확보 가능성, 그리고 사용자나 클라우드 리전과의 근접성 등을 종합적으로 고려하여 건설됩니다.

일부 지역은 AI 슈퍼컴퓨터 또는 AI 인프라 사이트로 공식적으로 지정되어 있습니다. 다른 지역들은 AI 워크로드를 실행할 수 있는 일반적인 하이퍼스케일 클라우드 리전이지만, 특정 모델이나 제품과 공식적으로 연계되어 있지는 않습니다.

신중한 전반적인 개요를 보려면 다음 관련 항목을 참조하십시오: AI 데이터 센터는 어디에 위치해 있나요?.

AI 데이터 센터가 중요한 이유는 일상적인 AI 사용을 물리적 인프라와 연결해 주기 때문입니다. 노트북이나 스마트폰에서 입력한 프롬프트는 GPU 서버 내부의 연산을 촉발할 수 있으며, 이 서버들은 전력, 냉각, 물, 칩, 부지 및 네트워크에 의존합니다.

이는 지역 사회에도 중요한 문제입니다. 대규모 시설은 투자와 일자리를 창출할 수 있지만, 전력망 수용 능력, 물 사용, 토지 이용, 소음, 배출, 투명성, 그리고 지원 인프라 비용을 누가 부담할 것인지에 대한 의문을 제기할 수도 있습니다.

따라서 AI의 영향에 대한 진지한 논의는 추상적인 모델의 성능을 넘어 더 넓은 시각을 가져야 합니다. 여기에는 인프라가 어디에서 운영되는지, 어떻게 전력을 공급받는지, 냉각 효율은 어느 정도인지, 그리고 운영자가 자원 사용 현황을 얼마나 투명하게 보고하는지도 포함되어야 합니다.