Persaingan infrastruktur kecerdasan buatan memasuki babak baru ketika perusahaan rintisan chip d-Matrix mengumumkan rencana menggunakan teknologi penghubung chip milik Nvidia untuk memasukkan prosesor buatannya ke sistem pusat data Nvidia. Kolaborasi ini memperlihatkan bahwa industri AI tidak hanya membutuhkan perangkat untuk melatih model berukuran besar, tetapi juga semakin membutuhkan sistem yang efisien untuk menjalankan model dalam penggunaan sehari-hari.

Dari pelatihan model menuju penggunaan AI

Dalam pengembangan kecerdasan buatan, ada dua pekerjaan besar yang sering dibahas. Pertama adalah pelatihan, yaitu proses ketika model mempelajari pola dari data dalam jumlah sangat besar. Kedua adalah inferensi, yaitu tahap ketika model yang sudah dilatih digunakan untuk menjawab pertanyaan, membuat ringkasan, menulis kode, mengenali suara, atau menjalankan tugas lain.

Pelatihan membutuhkan komputasi intensif dan biasanya berlangsung dalam skala besar. Inferensi berlangsung terus-menerus ketika layanan digunakan oleh banyak orang. Karena itu, kecepatan respons, konsumsi energi, biaya operasional, dan kemampuan melayani permintaan dalam jumlah tinggi menjadi faktor penting. Perusahaan yang menyediakan chatbot, asisten pemrograman, dan agen suara membutuhkan infrastruktur yang dapat merespons dengan latensi rendah.

Raptor akan terhubung dengan sistem Nvidia

d-Matrix menyatakan prosesor AI generasi berikutnya yang disebut Raptor akan menggunakan NVLink Fusion agar dapat terhubung langsung dengan sistem server pusat data Nvidia. Teknologi penghubung ini dirancang untuk memungkinkan chip khusus dari perusahaan lain bekerja dalam ekosistem komputasi Nvidia melalui konektor dan memori yang sesuai.

Rencana tersebut belum berarti seluruh produk sudah tersedia di pasar. Perusahaan menyebut tahap desain akhir chip Raptor ditargetkan selesai pada penghujung 2026, sedangkan rak server yang kompatibel dengan Nvidia diperkirakan tersedia pada 2027. Rincian nilai finansial kerja sama tidak diumumkan.

Mengapa chip khusus semakin dibutuhkan?

Selama beberapa tahun terakhir, GPU menjadi komponen utama dalam banyak sistem pelatihan AI. Namun, kebutuhan inferensi memiliki karakter berbeda. Layanan yang melayani pengguna secara langsung harus mampu mengelola banyak permintaan dengan waktu respons yang konsisten. Chip yang dirancang khusus untuk tugas tertentu berpotensi membantu meningkatkan efisiensi, meskipun hasil akhirnya tetap bergantung pada perangkat lunak, sistem memori, jaringan, dan beban kerja.

Kolaborasi antara penyedia chip khusus dan pembangun ekosistem pusat data juga menunjukkan bahwa industri tidak selalu bergerak menuju satu jenis prosesor untuk semua pekerjaan. Infrastruktur AI dapat terdiri dari berbagai komponen yang dirancang untuk tugas berbeda, lalu dihubungkan agar dapat bekerja sebagai satu sistem.

Ekosistem dan persaingan tetap menjadi tantangan

d-Matrix bukan pemain baru yang sepenuhnya berdiri sendiri. Perusahaan tersebut telah memperoleh dukungan Microsoft sejak putaran pendanaan pada 2023 dan sebelumnya mengumpulkan pendanaan besar yang mendorong valuasinya mencapai sekitar 2 miliar dolar AS. Perusahaan juga bekerja sama dengan Astera Labs untuk solusi konektivitas yang membantu perpindahan data di dalam sistem.

Meski demikian, keberhasilan teknologi tidak hanya ditentukan oleh spesifikasi chip. Pengembang perlu menyediakan perangkat lunak yang mudah digunakan, dukungan teknis, ketersediaan produk, serta hasil pengujian yang konsisten. Perusahaan pengguna juga akan membandingkan biaya total kepemilikan, konsumsi daya, kecepatan, dan kompatibilitas dengan aplikasi yang sudah berjalan.

Apa artinya bagi pengguna layanan AI?

Bagi pengguna akhir, perkembangan ini dapat terasa melalui layanan yang lebih responsif dan biaya komputasi yang lebih efisien apabila teknologi tersebut berhasil diterapkan secara luas. Namun, manfaat itu tidak terjadi seketika. Perusahaan masih harus menyelesaikan desain, pengujian, integrasi, dan penyediaan perangkat keras.

Pengumuman d-Matrix dan Nvidia menjadi sinyal bahwa tahap penggunaan AI sehari-hari semakin penting dalam persaingan teknologi. Setelah model menjadi semakin besar dan mampu, tantangan berikutnya adalah menjalankannya secara cepat, stabil, dan terjangkau bagi jutaan pengguna.