Permintaan memori untuk pusat data AI menekan pasokan komponen smartphone, menaikkan harga, dan mempersempit pilihan perangkat murah.
Hedra.ID, Jakarta - Ketika membicarakan infrastruktur AI, perhatian mudah tertuju pada proses melatih model besar. Training memang membutuhkan komputasi dalam jumlah besar karena model harus mempelajari pola dari data melalui banyak iterasi.
Namun, pekerjaan komputasi tidak selesai ketika training berakhir. Begitu model dipakai dalam chatbot, pencarian, aplikasi perusahaan, atau layanan AI lainnya, muncul pekerjaan lain yang disebut inference. Pada tahap inilah kemampuan yang sudah dipelajari model dipakai untuk memproses masukan dan menghasilkan keluaran.
Perbedaan ini menjadi semakin penting ketika penggunaan AI membesar. Semakin banyak orang dan aplikasi memakai sebuah model, semakin besar pula pekerjaan komputasi yang terjadi setelah model itu selesai dibuat.
Secara sederhana, training adalah proses membentuk kemampuan sebuah model. Model memproses data, membuat prediksi, membandingkan hasilnya dengan target tertentu, lalu menyesuaikan parameter internalnya berulang kali.
Inference terjadi setelah proses itu. Model yang sudah dilatih menerima data baru, lalu menggunakan kemampuan yang dimilikinya untuk menghasilkan keluaran.
Pada model bahasa, misalnya, pengguna mengirim prompt. Sistem memproses input tersebut lalu menghasilkan token-token keluaran yang akhirnya muncul sebagai jawaban. Ketika ada permintaan baru, proses serupa berjalan lagi.
Karena itu, model tidak cukup hanya selesai dilatih dan disimpan sebagai kumpulan parameter. Agar benar-benar bisa digunakan, tetap dibutuhkan kapasitas komputasi setiap kali seseorang meminta model melakukan sesuatu.
Di sinilah skala penggunaan mengubah kebutuhan infrastrukturnya. Training dapat menjadi pekerjaan komputasi yang sangat besar ketika model dikembangkan. Inference berbeda: pekerjaannya terus berulang selama model digunakan.
Satu model bisa menghadapi permintaan dari banyak pengguna atau aplikasi pada saat yang sama. Infrastruktur pun bukan hanya harus mampu menjalankan model, tetapi juga melayani permintaan tersebut dengan kapasitas dan kecepatan yang memadai.
Kebutuhan inference tidak hanya ditentukan oleh seberapa cepat sebuah chip melakukan perhitungan. NVIDIA menjelaskan bahwa inference pada model bahasa mencakup pemrosesan input dan pembentukan token keluaran. Dalam penggunaan berskala besar, kecepatan respons, kapasitas pemrosesan, dan biaya untuk menghasilkan token ikut menjadi bagian dari persoalan.
Itu sebabnya GPU tetap penting setelah training selesai. Namun, GPU bukan satu-satunya komponen.
Ketika pekerjaan dibagi ke banyak GPU atau server, jaringan yang menghubungkan sistem ikut menentukan bagaimana kapasitas tersebut dapat dimanfaatkan. Perangkat lunak yang mengatur model dan beban kerja juga berperan dalam menjaga penggunaan sumber daya tetap efisien.
Contoh konkretnya terlihat dari kesepakatan IBM dan Together AI yang diumumkan Selasa (11/8/2026), di mana Reuters melaporkan keduanya menandatangani perjanjian beberapa tahun senilai 240 juta dolar AS untuk membangun cluster AI di IBM Cloud. Cluster tersebut ditujukan untuk menyediakan inference bagi model terbuka dan menggunakan sistem NVIDIA HGX B300 beserta jaringan Spectrum-X Ethernet.
Tahap awal cluster itu disebut akan memakai sekitar 2.000 chip NVIDIA Blackwell 300 di Amerika Serikat. IBM menargetkan ketersediaannya pada kuartal pertama 2027. Yang penting dari proyek tersebut bukan sekadar jumlah chipnya. Infrastruktur itu memang diposisikan khusus untuk pekerjaan inference. Artinya, menjalankan model yang sudah tersedia dapat menjadi kebutuhan infrastruktur tersendiri, bukan sekadar pekerjaan lanjutan yang memakai fasilitas training.
Perhatian terhadap inference juga membantu menjelaskan kenapa pertumbuhan AI tidak cukup dibaca dari siapa yang mampu melatih model paling besar.
Setelah model tersedia, muncul persoalan lain: berapa banyak permintaan yang dapat dilayani, seberapa cepat jawabannya muncul, dan berapa besar sumber daya yang dibutuhkan untuk menghasilkan setiap keluaran.
Kebutuhan itu bahkan dapat berbeda untuk model yang sama. Jumlah pengguna, panjang permintaan, dan jenis tugas yang dijalankan ikut menentukan beban komputasinya.
Model reasoning yang melakukan pemrosesan lebih panjang, misalnya, dapat membutuhkan komputasi inference lebih besar daripada tugas yang menghasilkan respons sederhana. NVIDIA menyebut meningkatnya kompleksitas model ikut mendorong kebutuhan sumber daya komputasi pada tahap ini.
Dengan melihat inference secara terpisah, dua lapisan infrastruktur AI menjadi lebih mudah dibedakan. Membangun kemampuan model adalah satu pekerjaan. Menyediakan kemampuan tersebut kepada pengguna dalam skala besar adalah pekerjaan lain.
Kesepakatan IBM dan Together AI menunjukkan bagaimana pekerjaan kedua mulai diterjemahkan menjadi cluster khusus, GPU generasi baru, jaringan berkecepatan tinggi, dan perhatian pada efisiensi produksi token.
Besarnya infrastruktur inference, bagaimanapun, tidak otomatis berarti sebuah model lebih pintar atau menghasilkan jawaban yang lebih baik. Infrastruktur itu terutama menunjukkan kapasitas yang disiapkan untuk menjalankan beban kerja AI.
Pegangan sederhananya, training menjelaskan bagaimana model memperoleh kemampuan. Inference menjelaskan apa yang dibutuhkan ketika kemampuan itu dipakai lagi dan lagi. Semakin luas AI digunakan, semakin besar peran tahap kedua ini dalam menentukan seperti apa infrastruktur yang harus tersedia.
