Peneliti Google Kembangkan Kerangka Sleep agar Model AI Dapat Mempertahankan Pengetahuan Lama
Google Research memperkenalkan pendekatan baru dalam pengembangan kecerdasan buatan melalui kerangka Sleep yang dirancang untuk membantu model AI mempelajari informasi baru tanpa mudah melupakan pengetahuan sebelumnya. Penelitian yang dipublikasikan pada 27 Oktober 2026 ini berfokus pada masalah catastrophic forgetting, yaitu penurunan kemampuan model ketika mempelajari tugas atau informasi tambahan. Terinspirasi dari proses konsolidasi ingatan manusia saat tidur, kerangka Sleep menggabungkan pembelajaran aktif dan penguatan memori secara berkala. Inovasi TEKNOLOGI tersebut membuka peluang pengembangan model bahasa besar yang lebih adaptif, mampu mempertahankan pengetahuan jangka panjang, serta meningkatkan kemampuan penalaran melalui proses pembelajaran berkelanjutan.
research.google+1
Google Research Memperkenalkan Kerangka Sleep untuk Pembelajaran AI
Para ilmuwan Google Research mengusulkan sistem pengelolaan memori AI yang disebut Sleep untuk mengatasi keterbatasan model bahasa besar. Inovasi kecerdasan buatan tersebut dijelaskan melalui publikasi akhir Oktober 2026 oleh Ali Behrouz dan Vahab Mirrokni. Tujuan mendasar pendekatan tersebut adalah mendukung pembelajaran tanpa harus mengabaikan kemampuan terdahulu. Pada sebagian besar model bahasa modern, pengetahuan model dibentuk melalui proses pretraining. Ketika proses pelatihan utama selesai, pembaruan pengetahuan membutuhkan mekanisme tambahan. Pendekatan baru ini dirancang untuk membantu mengintegrasikan informasi baru secara lebih stabil.
Salah satu masalah penting adalah fenomena hilangnya kemampuan lama setelah pembelajaran baru. Kondisi ini muncul ketika parameter model diperbarui menggunakan informasi tambahan. Dalam beberapa keadaan, pengetahuan sebelumnya dapat terganggu. Dalam ilustrasi sederhana, asisten digital yang dilatih pada bidang tertentu mungkin mengalami penurunan kemampuan pada tugas sebelumnya. Pendekatan Google berupaya mengurangi masalah tersebut melalui pemisahan fase penggunaan dan konsolidasi memori. Berkat pengelolaan memori yang lebih terstruktur, pengetahuan baru diharapkan tidak merusak pengetahuan lama.
Mekanisme Pembelajaran Aktif serta Konsolidasi Memori AI
Kerangka Sleep menggunakan dua fase pembelajaran yang saling melengkapi, yaitu fase wake dan sleep. Pada fase wake, sistem memberikan respons terhadap permintaan. Pengetahuan baru selama interaksi dapat disimpan dalam komponen memori sementara. Fase tersebut menggambarkan kondisi ketika sistem memperoleh informasi. Walaupun istilahnya terinspirasi dari manusia, istilah wake hanya menggambarkan keadaan komputasi tertentu. Seluruh aktivitas tersebut tetap mengikuti rancangan perangkat lunak.
Ketika memasuki fase sleep, model menghentikan sementara penerimaan tugas baru. Sumber daya komputasi kemudian diarahkan menuju pembelajaran jangka panjang. Melalui mekanisme pembelajaran offline, informasi sementara dipindahkan menuju parameter yang lebih stabil. Sistem pengelolaan tersebut mengambil analogi dari proses penguatan memori saat beristirahat. Namun, konsolidasi dijalankan oleh mekanisme komputasi. Melalui pembagian aktivitas tersebut, pembelajaran dapat dikelola dalam periode khusus. Konsekuensi pendekatan ini adalah perlunya sumber daya untuk menjalankan konsolidasi.
Memory Consolidation Menggunakan Mixture of Experts dan Knowledge Seeding
Proses konsolidasi memori merupakan bagian penting dalam kerangka Sleep. Dalam proses penguatan memori, pembelajaran dilakukan melalui komponen MoE. Struktur jaringan tersebut memungkinkan penggunaan sejumlah modul ahli. Dalam rancangan Sleep digunakan pembukaan modul memori yang telah dialokasikan agar informasi baru memperoleh ruang penyimpanan. Komponen yang ditambahkan dirancang melalui representasi berperingkat rendah untuk mengelola tambahan pengetahuan secara efisien. Berkat pembagian kapasitas ini, gangguan terhadap parameter sebelumnya dapat dikurangi.
Di samping pengembangan modul memori, sistem menggunakan proses knowledge seeding. Pendekatan penguatan memori tersebut menyerap informasi dari komponen memori jangka pendek. Pada mekanisme yang dijelaskan, Generalized Knowledge Distillation digunakan bersama pembelajaran imitasi berbasis reinforcement learning. Pengetahuan yang dipindahkan tidak hanya mempertimbangkan kecocokan kata. Ketika informasi telah dikonsolidasikan, parameter memori sementara tertentu dapat diatur ulang melalui proses pengaturan ulang memori sementara. Pengaturan memori ini mendukung keberlanjutan proses pembelajaran.
Simulasi Pengalaman Sintetis dalam Kerangka Sleep Google
Tidak hanya berfokus pada penyimpanan informasi, pendekatan Google menggunakan tahapan simulasi pembelajaran. Konsep mimpi dalam sistem AI menggambarkan aktivitas menghasilkan latihan buatan. Dalam tahapan dreaming, AI menyusun skenario pembelajaran buatan untuk mencoba kombinasi informasi yang berbeda. Pendekatan teknis yang digunakan adalah pemilihan modul ahli secara acak. Melalui metode tersebut, model dapat menggabungkan informasi dari berbagai bidang. Pendekatan tersebut membantu menghindari latihan yang terlalu seragam.
Materi pembelajaran buatan tersebut disaring berdasarkan potensi manfaatnya. Kerangka Sleep memanfaatkan mekanisme gradient-based data selection untuk memilih sampel yang berpotensi meningkatkan kemampuan. Ketika contoh terbaik telah dipilih, sistem menggunakan penyesuaian model berbasis contoh terpilih. Tahapan optimasi berikutnya juga menggunakan metode pembelajaran penguatan untuk memperbaiki kemampuan pada tugas tertentu. Namun demikian, contoh latihan buatan tidak otomatis selalu benar. Ketika data latihan tidak cukup akurat, model berpotensi memperkuat kekeliruan. Karena itu, evaluasi kemampuan lama serta baru tetap diperlukan.
Hasil Pengujian Sleep Menunjukkan Peningkatan Memori dan Penalaran AI
Dalam hasil eksperimennya tim peneliti menjelaskan, pendekatan baru ini memberikan peningkatan dalam sejumlah tugas. Evaluasi yang mendapat perhatian berkaitan dengan pemahaman konteks panjang. Pada pengujian pemahaman konteks BABILong, peneliti melaporkan kemampuan mempertahankan informasi hingga 10 juta token. Temuan eksperimen ini menunjukkan kemampuan menyerap konteks panjang melalui pembelajaran offline. Walaupun angka tersebut besar, hasil laboratorium tidak menjamin setiap informasi akan selalu diingat. Dengan pertimbangan tersebut, hasil penelitian perlu dipahami sesuai konteks pengujiannya.
Di samping evaluasi penyimpanan informasi, peneliti mengevaluasi kemampuan penerjemahan berkelanjutan. Melalui evaluasi penerjemahan bertahap, model dilatih menghadapi bahasa yang sebelumnya tidak dikenal. Tim peneliti menyampaikan, proses pembelajaran menunjukkan gangguan minimal pada tugas terdahulu. Penelitian juga mencakup penilaian kemampuan memasukkan fakta tambahan. Melalui evaluasi kemampuan faktual, hasil yang dilaporkan mencapai 48,9 persen pada tugas tunggal. Sementara itu, penilaian mencatat angka 46,2 persen. Hasil pengukuran ini tidak boleh dianggap sebagai tingkat akurasi universal.
Manfaat Pembelajaran Berkelanjutan untuk Asisten Digital dan Sistem Cerdas
Ketika mekanisme pembelajaran berkelanjutan berhasil ditingkatkan, pengembang berpeluang membangun layanan yang lebih responsif terhadap informasi baru. Peluang penerapan yang menarik adalah aplikasi pendukung produktivitas organisasi. Pada aktivitas bisnis, pengetahuan internal sering berubah. Dengan pembelajaran berkelanjutan, asisten AI berpotensi mempertahankan pengetahuan sebelumnya. Potensi adaptasi ini juga relevan bagi penelitian ilmiah. Walaupun manfaatnya cukup luas, hasil eksperimen belum menunjukkan penerapan umum pada seluruh asisten digital.
Penerapan kerangka Sleep masih membutuhkan evaluasi lebih mendalam. Tantangan utama yang perlu diperhatikan adalah biaya komputasi selama fase sleep. Saat sistem memperbarui parameter, perangkat komputasi harus menjalankan operasi tambahan. Sebagai tantangan berikutnya, privasi pengguna menjadi aspek penting. Apabila model menyimpan pengetahuan baru dalam parameter, mekanisme pembatasan akses dan penghapusan informasi perlu dikaji. Pengujian regresi juga menjadi bagian penting pengembangan. Berkat pengawasan teknis yang tepat, risiko perubahan perilaku model dapat dikurangi.
Peran Penelitian Google untuk Mengurangi Catastrophic Forgetting
Inovasi konsolidasi memori AI melalui Sleep menjadi langkah penelitian penting dalam continual learning. Melalui pembagian fase wake dan sleep, pembaruan informasi dapat dikelola menggunakan mekanisme khusus. Penerapan konsolidasi memori bersama proses peningkatan kemampuan offline membuka peluang perbaikan kemampuan AI. Evaluasi memori menggunakan konteks panjang serta kemajuan dalam pengujian kemampuan faktual memberikan gambaran manfaat sistem. Walaupun hasilnya menjanjikan, penerapan praktis masih membutuhkan pembuktian tambahan.
Di tengah inovasi TEKNOLOGI model bahasa, kemampuan mempertahankan pengetahuan menjadi semakin penting. Pendekatan konsolidasi memori ini menggambarkan bahwa model berpotensi terus memperbarui pengetahuan secara terstruktur. Namun, keamanan informasi dan biaya komputasi tetap perlu diperhatikan. Melalui pengembangan dan pengujian berikutnya, model bahasa dapat memperoleh mekanisme memori yang lebih andal. Apa pandangan Anda, seberapa penting kemampuan pembelajaran berkelanjutan bagi asisten AI? Silakan bagikan pendapat Anda mengenai kerangka Sleep Google.
