Apa Itu Pusat Data AI?

Pusat data AI adalah fasilitas khusus yang menampung peralatan komputasi yang diperlukan untuk membangun, menerapkan, dan mengoperasikan sistem kecerdasan buatan. Fasilitas ini dapat mendukung pelatihan model, inferensi, pemrosesan data, asisten pencarian, pembuatan gambar, sistem rekomendasi, atau aplikasi AI untuk perusahaan.

Istilah "pusat data" mungkin membuat infrastruktur tersebut terdengar abstrak, namun pada kenyataannya ini adalah bangunan fisik yang terhubung ke jaringan listrik, jaringan serat optik, sistem pendingin, serta infrastruktur pembuangan air atau panas. AI mungkin terkesan seperti perangkat lunak, namun sebenarnya bergantung pada mesin-mesin nyata yang berada di lokasi-lokasi nyata.

Pusat data awan konvensional dapat menjalankan berbagai jenis beban kerja. Pusat data AI biasanya dioptimalkan untuk komputasi dengan kepadatan sangat tinggi, terutama kluster GPU atau akselerator yang melakukan sejumlah besar operasi matematika secara paralel.

Inti yang terlihat adalah deretan rak server. Di fasilitas AI, banyak dari server tersebut dilengkapi dengan GPU, akselerator AI, memori berbandwidth tinggi, dan kartu jaringan khusus. Mesin-mesin ini dirancang untuk mentransfer data dengan cepat dan melakukan perhitungan matriks secara efisien.

Di sekitar perangkat keras komputasi terdapat sistem pendukung yang lebih luas: penyimpanan untuk kumpulan data dan titik pemeriksaan model, sakelar jaringan, koneksi serat optik, peralatan konversi daya, sistem cadangan, pemantauan, sistem pemadam kebakaran, dan keamanan fisik.

Pendinginan sama pentingnya dengan proses komputasi. Perangkat keras AI yang padat terus-menerus menghasilkan panas, sehingga fasilitas-fasilitas tersebut menggunakan pendinginan udara, pendinginan cair, chiller, pompa, menara pendingin, atau penukar panas, tergantung pada desain dan kondisi setempat.

Perbedaan utamanya terletak pada kepadatan dan pola beban kerja. Pelatihan AI dapat membuat ribuan akselerator tetap sibuk dalam jangka waktu yang lama, sementara sistem inferensi harus merespons dengan cepat terhadap perintah pengguna, panggilan API, rekomendasi, atau gambar yang dihasilkan.

Kluster AI juga memerlukan komunikasi yang sangat cepat antar mesin. Selama proses pelatihan, GPU saling bertukar gradien dan data model secara terus-menerus. Selama proses inferensi, server harus memuat bobot model, memproses konteks, dan mengembalikan hasil dengan latensi rendah.

Kombinasi antara chip yang padat, konsumsi daya yang tinggi, jaringan berkecepatan tinggi, dan manajemen panas ini membuat infrastruktur AI memiliki tuntutan yang lebih tinggi dibandingkan banyak beban kerja web atau perusahaan tradisional.

Pelatihan adalah tahap di mana sebuah model belajar dari data. Proses ini dapat memerlukan kumpulan data yang besar, waktu eksekusi yang lama, perhitungan berulang, serta kelompok GPU yang bekerja secara bersamaan. Ini sering kali merupakan jenis komputasi AI yang paling mencolok karena menimbulkan permintaan infrastruktur yang besar dan terkonsentrasi.

Inferensi adalah tahap di mana model yang telah dilatih digunakan. Setiap jawaban chatbot, pembuatan gambar, respons asisten pencarian, atau permintaan klasifikasi melibatkan proses inferensi. Satu permintaan mungkin kecil, tetapi penggunaan secara global menciptakan permintaan yang terus-menerus.

Banyak pusat data AI mendukung kedua fase tersebut, meskipun tidak selalu dengan cara yang sama. Proses pelatihan lebih mengutamakan kluster besar yang tersinkronisasi, sedangkan proses inferensi sangat memperhatikan latensi, ketersediaan, perutean, pengelompokan, dan biaya per permintaan.

Perangkat keras AI membutuhkan listrik, dan hampir seluruh listrik tersebut pada akhirnya berubah menjadi panas. Oleh karena itu, sebuah fasilitas memerlukan pasokan daya yang memadai untuk mengoperasikan peralatan tersebut serta kapasitas pendinginan yang cukup untuk menghilangkan panas secara andal.

Itulah sebabnya kapasitas pusat data AI sering dibahas dalam satuan megawatt atau gigawatt, bukan hanya dalam meter persegi. Faktor pembatasnya mungkin terletak pada koneksi jaringan listrik, trafo, pembangkit cadangan, air pendingin, pembuangan panas, atau izin lokal—bukan hanya lahan semata.

Chip yang lebih baik, pendinginan cair, dan desain pusat data yang lebih efisien dapat mengurangi konsumsi energi per tugas, namun kebutuhan energi secara keseluruhan tetap dapat meningkat jika penggunaan AI berkembang lebih cepat daripada peningkatan efisiensi.

Pusat data AI dibangun di lokasi-lokasi di mana operator dapat memadukan pasokan listrik, lahan, konektivitas serat optik, opsi pendinginan, ketentuan perpajakan dan perizinan, ketersediaan tenaga kerja, serta kedekatan dengan pengguna atau wilayah cloud.

Beberapa lokasi secara terbuka diidentifikasi sebagai lokasi superkomputer AI atau infrastruktur AI. Lokasi lainnya merupakan wilayah cloud hyperscale umum yang dapat menjalankan beban kerja AI, namun tidak secara terbuka dikaitkan dengan satu model atau produk tertentu.

Untuk gambaran umum yang lebih hati-hati, lihat daftar terkait: Di mana Pusat Data AI Tersebut Berada?.

Pusat data AI sangat penting karena menghubungkan penggunaan AI sehari-hari dengan infrastruktur fisik. Sebuah perintah pada laptop atau ponsel dapat memicu proses komputasi di dalam server GPU, yang bergantung pada listrik, sistem pendingin, air, chip, lahan, dan jaringan.

Hal ini juga penting bagi masyarakat setempat. Fasilitas berskala besar memang dapat mendatangkan investasi dan lapangan kerja, namun juga dapat memunculkan pertanyaan seputar kapasitas jaringan listrik, penggunaan air, penggunaan lahan, kebisingan, emisi, transparansi, serta siapa yang menanggung biaya infrastruktur pendukungnya.

Oleh karena itu, pembahasan serius mengenai dampak kecerdasan buatan (AI) harus melampaui sekadar kemampuan model yang abstrak. Pembahasan tersebut harus mencakup lokasi beroperasinya infrastruktur, sumber daya yang digunakan untuk mengoperasikannya, seberapa efisien sistem pendinginannya, serta sejauh mana operatornya secara transparan melaporkan penggunaan sumber daya.