Peneliti Google Kembangkan Kerangka Sleep agar Model AI Dapat Mempertahankan Pengetahuan Lama
Google Research memperkenalkan pendekatan baru dalam pengembangan kecerdasan buatan melalui kerangka Sleep yang dirancang untuk membantu model AI mempelajari informasi baru tanpa mudah melupakan pengetahuan sebelumnya. Penelitian yang dipublikasikan pada 27 Oktober 2026 ini berfokus pada masalah catastrophic forgetting, yaitu penurunan kemampuan model ketika mempelajari tugas atau informasi tambahan. Terinspirasi dari proses konsolidasi ingatan manusia saat tidur, kerangka Sleep menggabungkan pembelajaran aktif dan penguatan memori secara berkala. Inovasi TEKNOLOGI tersebut membuka peluang pengembangan model bahasa besar yang lebih adaptif, mampu mempertahankan pengetahuan jangka panjang, serta meningkatkan kemampuan penalaran melalui proses pembelajaran berkelanjutan.
research.google+1
Google Research Memperkenalkan Kerangka Sleep untuk Pembelajaran AI
Google Research memperkenalkan kerangka pembelajaran bernama Sleep untuk mengatasi keterbatasan model bahasa besar. Pengembangan kerangka ini diumumkan dalam pembahasan penelitian Oktober 2026 oleh tim Google Research yang diwakili Ali Behrouz dan Vahab Mirrokni. Fokus utama penelitian adalah mendukung pembelajaran tanpa harus mengabaikan kemampuan terdahulu. Dalam sistem AI konvensional, pengetahuan model dibentuk melalui proses pretraining. Ketika proses pelatihan utama selesai, kemampuan menyerap pengetahuan permanen biasanya terbatas. Pendekatan baru ini dirancang untuk membantu mengintegrasikan informasi baru secara lebih stabil.
Persoalan mendasar dalam penelitian tersebut adalah fenomena hilangnya kemampuan lama setelah pembelajaran baru. Fenomena tersebut sering ditemukan ketika parameter model diperbarui menggunakan informasi tambahan. Ketika pelatihan tidak dikelola dengan baik, pengetahuan sebelumnya dapat terganggu. Sebagai contoh, asisten digital yang dilatih pada bidang tertentu mungkin kehilangan sebagian keterampilan yang telah dikuasai. Pendekatan Google berupaya mengurangi masalah tersebut melalui mekanisme pemindahan informasi menuju penyimpanan jangka panjang. Dengan pendekatan tersebut, pengetahuan baru diharapkan tidak merusak pengetahuan lama.
Mekanisme Pembelajaran Aktif serta Konsolidasi Memori AI
Kerangka Sleep menggunakan dua kondisi operasional utama, yaitu fase wake dan sleep. Selama tahap penggunaan berlangsung, sistem memberikan respons terhadap permintaan. Informasi yang diperoleh dapat disimpan dalam komponen memori sementara. Fase tersebut menggambarkan kondisi ketika sistem memperoleh informasi. Namun demikian, model AI tidak benar-benar mengalami kesadaran atau tidur biologis. Siklus pemrosesan tersebut tetap mengikuti rancangan perangkat lunak.
Pada periode konsolidasi offline, model menghentikan sementara penerimaan tugas baru. Kemampuan pemrosesan selanjutnya difokuskan pada penguatan memori. Melalui mekanisme pembelajaran offline, pengetahuan jangka pendek diintegrasikan ke struktur jangka panjang. Mekanisme tersebut mengadopsi gagasan pemantapan informasi setelah pengalaman. Meski demikian, konsolidasi dijalankan oleh mekanisme komputasi. Dengan memisahkan kedua fase, proses penyimpanan informasi menjadi lebih terstruktur. Hal yang perlu diperhatikan adalah adanya periode khusus ketika model tidak memproses tugas baru.
Cara Konsolidasi Memori Menyimpan Informasi Baru pada Parameter AI
Tahap memory consolidation merupakan fondasi pembelajaran jangka panjang yang diusulkan. Ketika konsolidasi berlangsung, sistem memanfaatkan arsitektur Mixture of Experts. Pendekatan pemrosesan tersebut memungkinkan penggunaan sejumlah modul ahli. Dalam rancangan Sleep digunakan pengaktifan blok parameter tambahan agar pengetahuan tambahan tidak langsung menimpa seluruh parameter lama. Modul memori baru tersebut memanfaatkan parameter berdimensi rendah untuk menyimpan pembaruan secara lebih ringkas. Melalui rancangan tersebut, gangguan terhadap parameter sebelumnya dapat dikurangi.
Sebagai tahapan konsolidasi berikutnya, peneliti menerapkan knowledge seeding. Metode tersebut menyerap informasi dari komponen memori jangka pendek. Dalam pelaksanaannya, sistem memanfaatkan GKD bersama metode imitation learning yang memanfaatkan penguatan. Hasil konsolidasi tersebut memperhitungkan karakteristik semantik respons. Setelah proses selesai, komponen berfrekuensi tinggi dapat dikosongkan melalui proses pengaturan ulang memori sementara. Prosedur tersebut membantu menyediakan kapasitas untuk siklus baru.
Fase Dreaming Membantu Model AI Meningkatkan Kemampuan Penalaran
Di samping penguatan pengetahuan jangka panjang, peneliti memperkenalkan mekanisme dreaming. Konsep mimpi dalam sistem AI menggambarkan aktivitas menghasilkan latihan buatan. Pada fase tersebut, sistem membangun data pelatihan tambahan untuk melatih kemampuan penalaran. Pendekatan teknis yang digunakan adalah aktivasi acak sejumlah komponen MoE. Dengan pemilihan ahli yang berbeda, model dapat menggabungkan informasi dari berbagai bidang. Mekanisme simulasi tersebut bertujuan menghasilkan sinyal pembelajaran lebih beragam.
Contoh latihan dari fase dreaming melewati proses pemilihan terlebih dahulu. Peneliti menerapkan pemilihan data berbasis gradien untuk menentukan contoh latihan yang paling bermanfaat. Setelah tahapan seleksi, model dapat menjalani supervised fine-tuning. Tahapan optimasi berikutnya juga menerapkan optimasi berbasis sinyal penghargaan untuk menilai dampak latihan terhadap performa. Walaupun proses ini menjanjikan, data sintetis tetap harus dinilai kualitasnya. Jika informasi keliru digunakan kembali, kualitas pengetahuan justru bisa menurun. Oleh sebab itu, pengawasan kualitas data harus dipertahankan.
Kemampuan Model AI Mempertahankan Informasi hingga Jutaan Token
Google Research melaporkan, kerangka Sleep menunjukkan hasil menjanjikan pada berbagai pengujian. Evaluasi yang mendapat perhatian berkaitan dengan kemampuan mempertahankan informasi dari masukan besar. Melalui benchmark BABILong, sistem menunjukkan hasil pada konteks mencapai sepuluh juta token. Hasil tersebut menunjukkan kemampuan menyerap konteks panjang melalui pembelajaran offline. Namun demikian, hasil laboratorium tidak menjamin setiap informasi akan selalu diingat. Oleh sebab itu, hasil penelitian perlu dipahami sesuai konteks pengujiannya.
Di samping evaluasi penyimpanan informasi, sistem digunakan dalam eksperimen continual translation. Melalui evaluasi penerjemahan bertahap, AI menerima tugas penerjemahan baru dalam beberapa tahap. Berdasarkan hasil yang dipublikasikan, penurunan kemampuan sebelumnya mendekati nol dalam evaluasi tertentu. Penelitian juga mencakup tugas penggabungan pengetahuan faktual. Pada benchmark terkait, pengujian single-task menunjukkan skor 48,9 persen. Di sisi pembelajaran lanjutan, skor yang diperoleh sebesar 46,2 persen. Angka tersebut hanya menggambarkan performa dalam pengaturan pengujian tertentu.
Keterbatasan Teknis Kerangka Sleep Sebelum Digunakan Secara Luas
Apabila penelitian konsolidasi memori semakin matang, pengembang berpeluang membangun layanan yang lebih responsif terhadap informasi baru. Peluang penerapan yang menarik adalah aplikasi pendukung produktivitas organisasi. Untuk kebutuhan operasional perusahaan, pengetahuan internal sering berubah. Dengan pembelajaran berkelanjutan, asisten AI berpotensi mempertahankan pengetahuan sebelumnya. Potensi adaptasi ini juga bermanfaat untuk aplikasi pendidikan. Namun demikian, kerangka Sleep belum otomatis menjadi kemampuan layanan komersial.
Penggunaan metode konsolidasi AI masih menghadapi sejumlah tantangan teknis. Tantangan utama yang perlu diperhatikan adalah kebutuhan sumber daya untuk pelatihan offline. Selama proses pembelajaran internal berlangsung, proses pelatihan membutuhkan waktu serta energi. Sebagai tantangan berikutnya, keamanan data yang dipelajari harus dijaga. Jika informasi pengguna dikonsolidasikan menjadi memori jangka panjang, mekanisme pembatasan akses dan penghapusan informasi perlu dikaji. Pemeriksaan kemampuan lama setelah pembaruan juga dibutuhkan untuk mendeteksi penurunan kemampuan. Dengan demikian, pengembangan AI adaptif dapat dilakukan dengan lebih hati-hati.
Peran Penelitian Google untuk Mengurangi Catastrophic Forgetting
Kerangka Sleep yang dikembangkan Google Research menunjukkan arah baru pengembangan model bahasa besar. Berkat penggunaan siklus pembelajaran berbeda, sistem dapat memperkuat pengetahuan tanpa mengganggu seluruh kemampuan lama. Integrasi memory consolidation bersama mekanisme dreaming mendukung pembelajaran dan penalaran. Evaluasi memori menggunakan konteks panjang serta kemajuan dalam pengujian kemampuan faktual memberikan gambaran manfaat sistem. Namun demikian, keandalan dalam penggunaan nyata harus terus diteliti.
Di tengah inovasi TEKNOLOGI model bahasa, kemampuan mempertahankan pengetahuan menjadi semakin penting. Pengembangan Google Research tersebut menunjukkan bahwa pembelajaran AI tidak harus berhenti setelah pretraining. Walaupun inovasinya menarik, evaluasi kemampuan lama harus menjadi bagian pengembangan. Melalui pengembangan dan pengujian berikutnya, kerangka serupa berpotensi mendukung AI yang lebih adaptif. Bagaimana menurut Anda, apakah kerangka Sleep dapat membantu AI mengingat pengetahuan secara lebih baik? Anda dapat berbagi pengalaman dan pemikiran mengenai perkembangan teknologi continual learning.
