Peneliti Google Kembangkan Kerangka Sleep agar Model AI Dapat Mempertahankan Pengetahuan Lama
Google Research memperkenalkan pendekatan baru dalam pengembangan kecerdasan buatan melalui kerangka Sleep yang dirancang untuk membantu model AI mempelajari informasi baru tanpa mudah melupakan pengetahuan sebelumnya. Penelitian yang dipublikasikan pada 27 Oktober 2026 ini berfokus pada masalah catastrophic forgetting, yaitu penurunan kemampuan model ketika mempelajari tugas atau informasi tambahan. Terinspirasi dari proses konsolidasi ingatan manusia saat tidur, kerangka Sleep menggabungkan pembelajaran aktif dan penguatan memori secara berkala. Inovasi TEKNOLOGI tersebut membuka peluang pengembangan model bahasa besar yang lebih adaptif, mampu mempertahankan pengetahuan jangka panjang, serta meningkatkan kemampuan penalaran melalui proses pembelajaran berkelanjutan.
research.google+1
Inovasi Sleep Membantu Model Bahasa Mempertahankan Pengetahuan
Tim peneliti Google mengembangkan sistem pengelolaan memori AI yang disebut Sleep untuk meningkatkan kemampuan model AI dalam menyimpan pengetahuan. Pengembangan kerangka ini diumumkan dalam pembahasan penelitian Oktober 2026 oleh tim Google Research yang diwakili Ali Behrouz dan Vahab Mirrokni. Sasaran penting pengembangan adalah memungkinkan sistem AI menyerap pengetahuan baru secara berkelanjutan. Dalam pendekatan pengembangan model yang umum, informasi utama diperoleh selama pelatihan awal. Ketika proses pelatihan utama selesai, kemampuan menyerap pengetahuan permanen biasanya terbatas. Sistem pembelajaran tersebut bertujuan membantu mengintegrasikan informasi baru secara lebih stabil.
Persoalan mendasar dalam penelitian tersebut adalah catastrophic forgetting. Kondisi ini muncul ketika sistem dilatih kembali dengan kumpulan data baru. Pada proses pembelajaran tertentu, kemampuan yang sudah dipelajari bisa menurun. Dalam ilustrasi sederhana, sistem AI yang menerima informasi tambahan mungkin menjadi kurang akurat saat menjawab pertanyaan lama. Pendekatan Google berupaya mengurangi masalah tersebut melalui mekanisme pemindahan informasi menuju penyimpanan jangka panjang. Dengan pendekatan tersebut, model berpotensi mempertahankan kemampuan terdahulu.
Perbedaan Fase Terjaga dan Tidur pada Kerangka Sleep Google
Kerangka Sleep menggunakan dua fase pembelajaran yang saling melengkapi, yaitu periode aktif serta konsolidasi. Ketika sistem berada dalam kondisi aktif, AI menjalankan tugas serta berinteraksi dengan masukan. Informasi yang diperoleh ditampung melalui mekanisme penyimpanan jangka pendek. Periode pemrosesan langsung tersebut menggambarkan kondisi ketika sistem memperoleh informasi. Namun demikian, model AI tidak benar-benar mengalami kesadaran atau tidur biologis. Seluruh aktivitas tersebut dikendalikan melalui prosedur pembelajaran yang ditentukan.
Ketika memasuki fase sleep, model menghentikan sementara penerimaan tugas baru. Kemampuan pemrosesan selanjutnya difokuskan pada penguatan memori. Melalui mekanisme pembelajaran offline, pengetahuan jangka pendek diintegrasikan ke struktur jangka panjang. Pendekatan ini terinspirasi dari konsolidasi ingatan manusia. Meski demikian, proses tersebut berlangsung melalui algoritma pelatihan. Melalui pembagian aktivitas tersebut, proses penyimpanan informasi menjadi lebih terstruktur. Konsekuensi pendekatan ini adalah kebutuhan waktu komputasi tambahan selama fase offline.
Memory Consolidation Menggunakan Mixture of Experts dan Knowledge Seeding
Mekanisme penguatan pengetahuan merupakan fondasi pembelajaran jangka panjang yang diusulkan. Pada tahap tersebut, model menggunakan struktur Mixture of Experts atau MoE. Struktur jaringan tersebut menyediakan kelompok parameter dengan fungsi tertentu. Dalam rancangan Sleep digunakan penambahan kapasitas parameter secara terkontrol agar informasi baru memperoleh ruang penyimpanan. Modul memori baru tersebut menggunakan struktur low-rank untuk membantu menekan kebutuhan sumber daya. Berkat pembagian kapasitas ini, pembaruan informasi dapat dilakukan secara lebih terarah.
Selain penambahan kapasitas, sistem menggunakan proses knowledge seeding. Teknik pemindahan informasi ini menyerap informasi dari komponen memori jangka pendek. Dalam pelaksanaannya, peneliti menerapkan teknik distilasi pengetahuan umum bersama metode imitation learning yang memanfaatkan penguatan. Hasil konsolidasi tersebut menekankan pula kesesuaian makna. Ketika informasi telah dikonsolidasikan, ruang penyimpanan jangka pendek dipersiapkan kembali melalui mekanisme yang dianalogikan sebagai synaptic pruning. Langkah tersebut membantu menyediakan kapasitas untuk siklus baru.
Fase Dreaming Membantu Model AI Meningkatkan Kemampuan Penalaran
Di samping penguatan pengetahuan jangka panjang, kerangka Sleep menghadirkan fase dreaming. Istilah dreaming menggambarkan aktivitas menghasilkan latihan buatan. Pada fase tersebut, model menghasilkan contoh latihan sintetis untuk melatih kemampuan penalaran. Metode penting dalam proses tersebut adalah penggunaan random expert selection. Melalui metode tersebut, sistem berpeluang mengeksplorasi hubungan antarkonsep. Mekanisme simulasi tersebut membantu menghindari latihan yang terlalu seragam.
Contoh latihan dari fase dreaming melewati proses pemilihan terlebih dahulu. Kerangka Sleep memanfaatkan teknik penyaringan berdasarkan informasi gradien untuk memprioritaskan data dengan sinyal pembelajaran tinggi. Sesudah data latihan dievaluasi, model dapat menjalani supervised fine-tuning. Tahapan optimasi berikutnya juga memanfaatkan reinforcement learning untuk mengevaluasi apakah penalaran mengalami peningkatan. Namun demikian, data sintetis tetap harus dinilai kualitasnya. Ketika data latihan tidak cukup akurat, kualitas pengetahuan justru bisa menurun. Oleh sebab itu, pengawasan kualitas data harus dipertahankan.
Kemampuan Model AI Mempertahankan Informasi hingga Jutaan Token
Dalam hasil eksperimennya tim peneliti menjelaskan, pendekatan baru ini memberikan peningkatan dalam sejumlah tugas. Evaluasi yang mendapat perhatian berkaitan dengan kemampuan mempertahankan informasi dari masukan besar. Melalui benchmark BABILong, peneliti melaporkan kemampuan mempertahankan informasi hingga 10 juta token. Temuan eksperimen ini menggambarkan potensi penyimpanan pengetahuan dalam parameter jangka panjang. Walaupun angka tersebut besar, kemampuan tersebut belum membuktikan ketahanan memori pada seluruh penggunaan nyata. Oleh sebab itu, performa masih harus dievaluasi pada aplikasi berbeda.
Selain pengujian konteks panjang, sistem digunakan dalam eksperimen continual translation. Dalam pengujian tersebut, AI menerima tugas penerjemahan baru dalam beberapa tahap. Google Research melaporkan, proses pembelajaran menunjukkan gangguan minimal pada tugas terdahulu. Evaluasi tambahan dilakukan pada eksperimen penyimpanan informasi baru. Melalui evaluasi kemampuan faktual, pengujian single-task menunjukkan skor 48,9 persen. Sementara itu, hasilnya mencapai 46,2 persen. Angka tersebut hanya menggambarkan performa dalam pengaturan pengujian tertentu.
Keterbatasan Teknis Kerangka Sleep Sebelum Digunakan Secara Luas
Ketika mekanisme pembelajaran berkelanjutan berhasil ditingkatkan, berbagai aplikasi AI berpotensi memperoleh manfaat. Salah satu contoh penggunaan adalah sistem bantuan berbasis AI dalam perusahaan. Pada aktivitas bisnis, kebijakan perusahaan mengalami penyesuaian. Berkat sistem memori jangka panjang yang adaptif, model dapat mempelajari pembaruan tanpa melupakan seluruh informasi terdahulu. Pendekatan pembelajaran tersebut juga bermanfaat untuk aplikasi pendidikan. Namun demikian, penelitian ini belum berarti tersedia sebagai fitur semua produk AI.
Penerapan kerangka Sleep masih menghadapi sejumlah tantangan teknis. Salah satu persoalan penting adalah penggunaan kapasitas pemrosesan tambahan. Saat sistem memperbarui parameter, proses pelatihan membutuhkan waktu serta energi. Sebagai tantangan berikutnya, keamanan data yang dipelajari harus dijaga. Apabila model menyimpan pengetahuan baru dalam parameter, mekanisme pembatasan akses dan penghapusan informasi perlu dikaji. Pengujian regresi juga dibutuhkan untuk mendeteksi penurunan kemampuan. Berkat pengawasan teknis yang tepat, risiko perubahan perilaku model dapat dikurangi.
Masa Depan Model AI dengan Kemampuan Pembelajaran Berkelanjutan
Kerangka Sleep yang dikembangkan Google Research menunjukkan arah baru pengembangan model bahasa besar. Melalui pembagian fase wake dan sleep, model berpotensi menyerap informasi baru secara lebih stabil. Integrasi memory consolidation bersama simulasi latihan sintetis mendukung pembelajaran dan penalaran. Evaluasi memori menggunakan konteks panjang serta kemajuan dalam pengujian kemampuan faktual menunjukkan potensi pendekatan tersebut. Meski eksperimen menunjukkan kemajuan, keandalan dalam penggunaan nyata harus terus diteliti.
Seiring kemajuan TEKNOLOGI pembelajaran mesin, kemampuan mempertahankan pengetahuan menjadi semakin penting. Pengembangan Google Research tersebut menunjukkan bahwa kemampuan adaptasi dapat diteliti melalui siklus komputasi khusus. Walaupun inovasinya menarik, evaluasi kemampuan lama harus menjadi bagian pengembangan. Berkat penyempurnaan metode secara bertahap, sistem pembelajaran berkelanjutan mungkin semakin matang. Apa pandangan Anda, apakah pendekatan konsolidasi memori akan mengubah cara model bahasa dikembangkan? Anda dapat berbagi pengalaman dan pemikiran mengenai masa depan memori kecerdasan buatan.
