Berita viral dari dunia kecerdasan buatan datang dari laboratorium Google: model bahasa besar ternyata perlu tidur. Tim Google Research mengusulkan kerangka sleep dalam continual learning, sebuah siklus yang membagi hidup model menjadi fase bangun dan fase tidur. Tujuannya satu, agar model bisa menyerap fakta baru tanpa melupakan yang lama.
Berita Viral: AI Google Kini Punya Fase Tidur
Gagasan itu dipublikasikan di blog resmi Google Research pada 27 Oktober 2026 oleh Ali Behrouz dan Vahab Mirrokni. Makalah lengkapnya tersedia di arXiv dengan judul Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories. Penulisnya Ali Behrouz dari Google dan Cornell University, Farnoosh Hashemi dari Cornell, Adel Javanmard dari Google dan University of Southern California, serta Vahab Mirrokni.
Selama ini model bahasa bekerja dengan dua cara yang sama-sama terbatas. Model bisa belajar dari konteks percakapan, tetapi begitu sesi berakhir, informasi itu hilang. Model juga bisa diperbarui dengan pelatihan ulang, tetapi cara itu mahal dan sering merusak kemampuan lama.
Kerangka sleep menawarkan jalan ketiga. Model tidak lagi dibagi antara masa latih dan masa pakai, melainkan menjalani siklus berkala: menerima input saat bangun, lalu mengolah ingatannya saat tidur. Analogi biologisnya sederhana, tetapi mekanisme teknisnya cukup rumit.
Iklan
Campus Commercial Park: rukost di kawasan kampus
C.CO Park menghadirkan kawasan ruko dan kost dalam satu gerbang, dirancang untuk mahasiswa dan penghuni sekitar kampus. Cocok untuk yang mencari aset produktif dengan pengelolaan kawasan yang tertata.
Cara Kerja: Fase Bangun dan Fase Tidur
Pada fase bangun, model menerima, memproses, dan merespons input seperti biasa. Informasi baru disimpan sementara di komponen memori jangka pendek yang cepat berubah. Komponen ini setara dengan konteks percakapan yang kita kenal sehari-hari.
Pada fase tidur, model berhenti menerima input. Komputasinya diarahkan ke konsolidasi memori dan perbaikan diri. Blok memori Mixture of Experts yang sudah dialokasikan akan dibuka, lalu bobot model diperbarui memakai contoh latihan yang dihasilkan sendiri.
Yang penting, kerangka ini tidak mengubah arsitektur dasar model. Semua proses berjalan di dalam arsitektur tetap dan aturan pelatihan yang ditentukan manusia. Istilah tidur, bermimpi, dan memperbaiki diri dipinjam dari neurosains, tetapi tidak ada kesadaran di dalamnya.
Konsolidasi Memori dan Knowledge Seeding
Tahap pertama tidur adalah konsolidasi memori. Model memperluas kapasitasnya secara bertahap dengan menambahkan pakar low-rank baru ke blok memori yang frekuensi pembaruannya lebih rendah. Penambahan itu menyimpan pengetahuan baru tanpa mengganggu parameter lama.
Setelah kapasitas bertambah, pengetahuan dipindahkan lewat proses yang disebut knowledge seeding. Memori jangka pendek di lapisan berfrekuensi tinggi didistilasi ke parameter jangka panjang yang baru dibuka. Distilasi ini memakai Generalized Knowledge Distillation yang dipadukan dengan imitation learning berbasis reinforcement learning.
Ada dua mekanisme di dalamnya. On-policy distillation membuat model siswa belajar dari distribusi guru pada urutan yang dihasilkan sendiri. Learning to imitate memberi hadiah berdasarkan kemiripan semantik dan jarak Levenshtein saat menyelesaikan teks guru.
Setelah transfer selesai, pakar sementara di lapisan cepat direset. Proses ini mirip pemangkasan sinapsis pada otak dan membebaskan ruang untuk pembelajaran berikutnya. Tanpa reset, kapasitas model akan cepat penuh.
Dreaming: Latihan dari Data Buatan Sendiri
Tahap kedua disebut dreaming. Model menghasilkan kurikulum data sintetis untuk mengulang pengetahuan baru dan mempertajam kemampuan lama. Latihan ini memakai reinforcement learning tanpa pengawasan manusia langsung.
Bagian ini menjawab masalah yang sering muncul pada pembaruan berulang. Setiap kali model dilatih pada tugas baru, kemampuannya pada tugas lama menurun. Dengan menggabungkan konsolidasi memori dan latihan mimpi, penurunan itu ditekan.
Peneliti menyebut pendekatan ini sebagai jalur menuju sistem yang belajar terus-menerus. Model tidak lagi bergantung pada tanggal putus pengetahuan yang tetap, tetapi bisa menyerap informasi baru sepanjang siklus hidupnya.
Hasil Uji: Konteks 10 Juta Token dan Bahasa Langka
Klaim terbesar ada pada retensi konteks panjang. Menurut blog Google Research, model dengan kerangka sleep mampu mempertahankan pengetahuan hingga 10 juta token. Sebagai pembanding, model bahasa umumnya mulai kehilangan akurasi jauh sebelum angka itu.
Pengujian juga dilakukan pada continual translation untuk bahasa yang jarang dipakai, seperti Manchu dan Kalamang. Model dengan kerangka sleep nyaris tidak mengalami penurunan pada evaluasi bertahap. Metode pembanding seperti in-context learning, Cartridges, dan supervised fine-tuning justru kehilangan kemampuan sebelumnya.
Pada penalaran matematika, model dasar yang diperkuat sleep mencapai akurasi 79,2 persen di AIME 24, 69,0 persen di AIME 25, dan 46,1 persen di HMMT 25. Angka itu mengungguli supervised fine-tuning, group relative policy optimization, dan on-policy self-distillation versi biasa.
Media teknologi Jepang Gigazine merangkum temuan ini sebagai mekanisme yang memungkinkan model terus belajar setelah selesai dilatih. Rangkuman itu menekankan sisi praktisnya: pengetahuan baru tidak lagi harus menunggu pelatihan ulang skala besar.
