Apa Itu Inferensi AI?

Inferensi AI terjadi setelah sebuah model telah dilatih. Seorang pengguna, aplikasi, atau sistem otomatis mengirimkan masukan baru, dan model yang telah dilatih tersebut menggunakan apa yang telah dipelajarinya selama proses pelatihan untuk menghasilkan keluaran yang bermanfaat.

Masukan tersebut bisa berupa petunjuk tertulis, kueri pencarian, gambar produk, rekaman suara, baris kode, atau baris dalam basis data. Keluaran tersebut bisa berupa jawaban, gambar yang dihasilkan, klasifikasi, rekomendasi, terjemahan, atau prediksi.

Inilah sebabnya mengapa setiap respons ChatGPT, hasil pembangkitan gambar berbasis AI, hasil asisten pencarian, mesin rekomendasi, dan keputusan moderasi konten melibatkan proses inferensi. Model tersebut tidak dibangun ulang setiap kali; melainkan dijalankan pada data baru.

Pelatihan dan inferensi adalah dua fase berbeda dari sistem AI yang sama. Pelatihan menciptakan atau memperbarui model dengan memproses kumpulan data besar, membandingkan prediksi dengan contoh-contoh, dan menyesuaikan parameter internal melalui banyak langkah yang diulang-ulang.

Proses inferensi dimulai setelah proses pelatihan tersebut menghasilkan model yang dapat digunakan. Model yang telah dilatih tersebut diimplementasikan pada server, menerima masukan baru, dan menerapkan pola-pola yang telah dipelajarinya tanpa harus melalui proses pelatihan secara penuh lagi.

Cara sederhana untuk mengingat perbedaannya adalah sebagai berikut: pelatihan adalah proses bagaimana model belajar, sedangkan inferensi adalah cara model tersebut digunakan. Untuk penjelasan lebih mendalam mengenai tahap pertama, lihat panduan tentang cara melatih model AI.

Langkah-langkah pastinya bergantung pada jenis modelnya, tetapi alur dasarnya serupa. Sebuah masukan masuk, sistem menyiapkannya dalam format yang diharapkan oleh model, model melakukan perhitungan terhadap parameter-parameternya, dan sistem mengubah keluaran model menjadi sesuatu yang dapat dibaca, dilihat, atau digunakan oleh pengguna.

Pada model bahasa, prompt biasanya dipecah menjadi token-token. Model tersebut menganalisis token-token tersebut dan memprediksi token berikutnya yang paling mungkin, selangkah demi selangkah. Pada model gambar, masukan dapat berupa teks, gambar, atau keduanya, dan model tersebut secara bertahap menghasilkan piksel atau fitur visual yang sesuai dengan permintaan.

Sistem lain mungkin dapat mengklasifikasikan dokumen, menentukan peringkat hasil pencarian, mendeteksi objek dalam sebuah gambar, mentranskripsikan ucapan, atau merekomendasikan produk. Dalam setiap kasus tersebut, inferensi adalah langkah eksekusi secara real-time yang mengubah masukan baru menjadi keluaran model.

Inferensi AI bukanlah sekadar pencarian sederhana dalam basis data. Sebuah model besar dapat berisi miliaran parameter, dan penggunaannya memerlukan banyak operasi matematis untuk mengalirkan informasi melalui model tersebut serta menghitung hasil berikutnya.

Perhitungan ini sering kali harus dilakukan dengan cepat. Jawaban dari chatbot, respons asisten pencarian, atau terjemahan real-time harus muncul dalam hitungan detik atau bahkan lebih cepat, sehingga sistem inferensi sangat memperhatikan latensi, bandwidth memori, pengelompokan (batching), ukuran model, dan pemanfaatan perangkat keras.

GPU dan akselerator AI lainnya sangat berguna karena mampu menjalankan banyak operasi paralel secara efisien. Semakin besar modelnya, semakin panjang konteksnya, dan semakin banyak pengguna yang menggunakan layanan secara bersamaan, maka infrastruktur inferensi harus dirancang dengan lebih cermat.

Ketika sebuah chatbot menjawab sebuah pertanyaan, chatbot tersebut sedang melakukan inferensi. Hal yang sama juga berlaku ketika sebuah generator gambar membuat gambar berdasarkan prompt, asisten pemrograman menyarankan sebuah fungsi, atau alat terjemahan mengubah sebuah kalimat ke dalam bahasa lain.

Inferensi juga terdapat dalam sistem-sistem yang kurang terlihat. Baik itu umpan rekomendasi yang menentukan peringkat video, sistem pendeteksi penipuan yang menandai suatu transaksi, model pencitraan medis yang menyoroti area yang menjadi fokus, maupun sistem penglihatan pabrik yang mendeteksi cacat—semuanya menggunakan model yang telah dilatih pada data baru.

Contoh-contoh ini terlihat berbeda bagi pengguna, tetapi memiliki pola dasar yang sama: sebuah model yang telah dilatih menerima masukan, melakukan perhitungan, dan menghasilkan keluaran yang mendukung suatu keputusan, jawaban, atau hasil yang dihasilkan.

Satu permintaan inferensi mungkin berukuran kecil, tetapi sistem AI modern beroperasi dalam skala yang sangat besar. Jutaan atau miliaran prompt, permintaan gambar, rekomendasi, dan panggilan API dapat menimbulkan permintaan yang terus-menerus terhadap GPU, jaringan, penyimpanan, dan sistem pendingin.

Inilah sebabnya mengapa inferensi memegang peranan sentral dalam infrastruktur AI. Meskipun pelatihan mungkin merupakan proses komputasi yang paling terlihat, inferensi justru dilakukan berulang kali setiap kali orang menggunakan alat AI yang telah diterapkan. Dalam skala global, penggunaan berulang tersebut dapat menjadi pendorong utama permintaan GPU dan konsumsi listrik di pusat data.

Biaya energi yang tepat untuk satu kueri AI bergantung pada ukuran model, perangkat keras, pengelompokan (batching), tingkat pemanfaatan, efisiensi pusat data, dan jenis hasilnya. Poin pentingnya adalah bahwa proses inferensi menghubungkan penggunaan AI sehari-hari dengan infrastruktur fisik: chip, server, daya listrik, sistem pendingin, dan pusat data.

Penyedia layanan AI mengerahkan banyak upaya teknis untuk membuat proses inferensi menjadi lebih cepat, lebih murah, dan lebih efisien. Pengelompokan (batching) memungkinkan pemrosesan beberapa permintaan secara bersamaan, penyimpanan dalam cache (caching) memungkinkan penggunaan kembali hasil kerja yang berulang, dan perutean (routing) memungkinkan pengalihan tugas-tugas yang lebih sederhana ke model yang lebih kecil atau khusus.

Teknik-teknik lain dapat mengurangi beban komputasi yang diperlukan. Kuantisasi dapat merepresentasikan nilai-nilai model secara lebih ringkas, distilasi dapat mentransfer perilaku ke dalam model yang lebih kecil, dan pemangkasan atau perubahan arsitektur dapat menghilangkan proses yang tidak perlu sambil tetap mempertahankan kualitas yang berguna.

Perangkat keras khusus juga berperan penting. GPU, akselerator AI, jaringan berkecepatan tinggi, dan memori berbandwidth tinggi membantu model yang telah diterapkan merespons secara andal dalam skala besar. Efisiensi inferensi yang lebih baik dapat mengurangi latensi, biaya, dan konsumsi listrik, namun hal itu tidak membuat infrastruktur menjadi tidak diperlukan.