Supermicro dan SambaNova Rancang Server Inferensi AI dengan Pembagian Beban Pemrosesan
Supermicro dan SambaNova mengumumkan kolaborasi strategis pada 3 November 2026 untuk mengembangkan server inferensi kecerdasan buatan dengan sistem pembagian beban pemrosesan. Kerja sama ini menggabungkan GPU NVIDIA dan chip SambaNova SN50 Reconfigurable Dataflow Unit (RDU) dalam satu infrastruktur pusat data. Melalui pendekatan disaggregated inference, proses memahami masukan pengguna dan menghasilkan respons AI dijalankan oleh perangkat keras yang berbeda sesuai karakteristik pekerjaannya. Inovasi TEKNOLOGI tersebut dirancang untuk meningkatkan efisiensi, mempercepat respons model bahasa besar, serta mendukung kebutuhan agentic AI. Kedua perusahaan merencanakan penggunaan awal 10.000 chip SN50 untuk membangun sistem inferensi yang dapat diterapkan pada berbagai lingkungan komputasi.
Kerja Sama Strategis untuk Meningkatkan Efisiensi Pemrosesan Kecerdasan Buatan
Produsen infrastruktur server Supermicro bersama pengembang chip SambaNova menjalin kemitraan dalam bidang infrastruktur AI untuk mengembangkan sistem pemrosesan kecerdasan buatan yang menggabungkan beberapa jenis akselerator. Kerja sama teknologi ini berfokus pada sistem disaggregated inference dengan mengintegrasikan GPU NVIDIA dan RDU SambaNova. Berkat pembagian tugas tersebut, setiap perangkat keras dapat menangani pekerjaan yang sesuai. Tujuan utamanya adalah meningkatkan efisiensi inferensi model AI ketika permintaan layanan terus meningkat.
Berdasarkan rencana kolaborasi, Supermicro menyiapkan rencana awal untuk 10.000 unit akselerator SN50. Rencana penggunaan chip ini menjadi dasar pengembangan kapasitas inferensi. Dalam pembagian pekerjaan, Supermicro menjalankan perakitan sistem, validasi, pengiriman, serta layanan pelanggan. Sebagai mitra pengembangan, SambaNova berkontribusi melalui chip SN50 serta keahlian inferensi. Pengaturan peran kedua perusahaan berpotensi mempercepat penyediaan kapasitas komputasi bagi operator pusat data dan penyedia layanan cloud.
Cara Kerja Disaggregated Inference dalam Membagi Beban Pemrosesan AI
Prinsip pemrosesan yang digunakan dalam kolaborasi Supermicro dan SambaNova adalah disaggregated inference. Konsep pemrosesan ini menggambarkan pemisahan dua tahapan utama inferensi. Bagian pertama inferensi dinamakan prefill, yaitu proses menganalisis informasi yang diberikan kepada model. Ketika masukan sedang dianalisis, perangkat memproses sejumlah operasi matematika secara bersamaan. GPU NVIDIA bertugas menangani analisis masukan karena memiliki kemampuan pengolahan matematis berskala besar.
Tahap kedua disebut decode, yaitu aktivitas menyusun keluaran model satu token demi satu token. Dibandingkan tahap analisis prompt, decoding sering dibatasi bandwidth memori, terutama ketika permintaan menggunakan konteks yang panjang. Untuk menangani karakteristik tersebut, SambaNova menempatkan akselerator SN50 pada tahap decode. Perangkat pemrosesan SambaNova tersebut ditujukan mengoptimalkan aliran data selama pemrosesan. Melalui pembagian ini, pemrosesan paralel tetap ditangani GPU, sedangkan generasi token diarahkan menuju chip SambaNova.
Mengapa RDU Digunakan Bersama GPU NVIDIA pada Server AI
SambaNova SN50 merupakan prosesor khusus generasi kelima yang dikembangkan SambaNova. Chip inferensi tersebut dikembangkan guna memproses jaringan saraf kompleks. Salah satu karakteristik penting adalah pengoptimalan perpindahan informasi antarunit pemrosesan. Dalam tahapan pembentukan token, perpindahan data dapat menentukan kecepatan keluaran. Untuk mengurangi hambatan pemrosesan, arsitektur RDU diarahkan pada efisiensi aliran data. Strategi perangkat keras tersebut dapat membantu mempercepat keluaran token.
Integrasi dua jenis perangkat pemrosesan berbeda dari penggunaan akselerator dengan tugas yang sama. Sebaliknya, perangkat digunakan sesuai keunggulan teknisnya. Akselerator NVIDIA berfokus pada perhitungan paralel pada prefill, sementara chip SambaNova digunakan pada tahap keluaran. Meski rancangan ini menjanjikan, koordinasi GPU dan RDU menjadi faktor penting. Ketika integrasi perangkat tidak optimal, manfaat percepatan dapat berkurang. Oleh sebab itu, konfigurasi jaringan serta pemrosesan harus disesuaikan.
Strategi Supermicro Menyediakan Server GPU dan RDU untuk Pusat Data
Dalam kerja sama terbaru, Supermicro menggunakan portofolio DCBBS untuk menyediakan infrastruktur inferensi. Pendekatan modular Supermicro dikenal sebagai strategi penyediaan komponen infrastruktur pusat data. Dengan arsitektur modular ini, penyedia layanan dapat memilih susunan komputasi yang sesuai. Pada penerapan server kecerdasan buatan, GPU NVIDIA dan RDU SambaNova menjadi komponen saling melengkapi. Perusahaan penyedia server tersebut berperan menjamin komponen dapat bekerja secara terpadu.
Selain integrasi perangkat keras, Supermicro menangani distribusi dan layanan teknis pelanggan. Layanan yang direncanakan melibatkan dukungan on-site apabila diperlukan. Sebagai pelengkap layanan tersebut, tim teknis SambaNova mendukung optimalisasi inferensi agar menghasilkan performa sesuai konfigurasi perangkat. Kolaborasi teknis ini bertujuan menyederhanakan penerapan bagi pelanggan. Berkat dukungan kedua perusahaan, pengelola pusat data memperoleh solusi yang lebih terintegrasi. Walaupun dukungan teknis tersedia, kompatibilitas model harus dipastikan secara khusus.
Manfaat Pembagian Beban Pemrosesan untuk Efisiensi Pusat Data
Fokus pasar utama dari kolaborasi Supermicro dan SambaNova adalah agentic AI. Istilah tersebut menggambarkan aplikasi yang melakukan beberapa langkah pekerjaan berdasarkan perintah yang harus diselesaikan secara bertahap. Berbeda dari chatbot sederhana, aplikasi agentic AI sering membutuhkan sejumlah panggilan inferensi. Masing-masing proses tersebut, mungkin melibatkan konteks serta keluaran berukuran besar. Akibatnya, kapasitas generasi token menjadi semakin penting. Melalui arsitektur heterogen, sistem berpotensi meningkatkan kemampuan melayani permintaan.
Ketika sistem mulai disediakan kepada pelanggan, Supermicro dan SambaNova menargetkan penyedia NeoCloud serta sovereign cloud. NeoCloud merupakan layanan komputasi yang menyediakan kapasitas GPU dan sistem AI. Sementara itu, sovereign cloud dirancang memenuhi kebutuhan kedaulatan data organisasi atau negara. Dalam pengembangan pasar berikutnya, sistem akan ditawarkan kepada perusahaan dengan pusat data sendiri. Pendekatan pemasaran tersebut mendukung penerapan sistem pada berbagai skala operasional.
Selain mempercepat inferensi, kombinasi akselerator yang direncanakan bertujuan meningkatkan pemanfaatan infrastruktur yang tersedia. Berdasarkan karakteristik yang disampaikan perusahaan, SN50 dapat menjalankan inferensi model besar tanpa kebutuhan kepadatan daya rak yang ekstrem. Pendekatan efisiensi daya tersebut dapat membantu operator menambah kapasitas tanpa membangun fasilitas baru. Dalam konteks investasi perangkat keras, perangkat NVIDIA yang tersedia bisa digunakan untuk tahap prefill. Walaupun manfaat tersebut menjanjikan, penghematan biaya serta energi aktual tetap membutuhkan pengukuran. Perusahaan belum mengumumkan angka benchmark khusus sistem gabungan SN50 dan GPU dalam kerja sama ini.
Masa Depan Server Inferensi dengan Pembagian Beban GPU dan RDU
Kolaborasi Supermicro dan SambaNova menunjukkan perkembangan penting dalam pemanfaatan TEKNOLOGI komputasi modern. Melalui pembagian tahapan prefill dan decode, GPU NVIDIA digunakan untuk pemrosesan masukan, sedangkan chip RDU digunakan untuk proses decoding. Rancangan pembagian pekerjaan tersebut berpotensi mempercepat inferensi model besar. Penyediaan tahap pertama sebanyak 10.000 akselerator menggambarkan komitmen awal dalam penyediaan sistem. Walaupun kolaborasi ini menjanjikan, hasil efisiensi belum dapat digeneralisasi tanpa benchmark. Berkat integrasi yang terus ditingkatkan, arsitektur tersebut berpotensi mendukung pertumbuhan agentic AI. Bagaimana menurut Anda mengenai pengembangan infrastruktur AI oleh Supermicro dan SambaNova? Sampaikan pandangan Anda mengenai masa depan komputasi kecerdasan buatan yang lebih efisien.
