Viral hari ini di kalangan pemilik situs adalah kabar bahwa empat perusahaan AI besar sepakat membaca satu sinyal yang sama di berkas robots.txt. Kesepakatan itu diumumkan pada 30 Oktober 2026 dan menyangkut cara penerbit menolak karyanya dipakai untuk pelatihan model. Selama bertahun-tahun, penolakan seperti itu harus ditulis satu per satu untuk setiap perusahaan.
Apa yang Disepakati pada 30 Oktober
OpenAI menyatakan akan menghormati sinyal bersama di robots.txt untuk preferensi pelatihan AI generatif. Pengumuman resmi itu terbit 30 Oktober 2026 dan menyebut langkah tersebut sebagai cara mengurangi beban pemilik situs. Sebelumnya, setiap penyedia punya aturan dan nama crawler sendiri.
Google, Microsoft, dan Anthropic ikut dalam pengumuman yang sama menurut laporan The Verge. Keempatnya menyatakan akan membaca satu sinyal yang disebut policy token. Sinyal itu ditempatkan di dalam robots.txt, berkas yang sejak lama dipakai menyatakan crawler mana yang boleh mengakses situs.
OpenAI menyebut sinyal ini tidak menggantikan kontrol yang sudah ada. Aturan per crawler tetap berlaku, termasuk dokumentasi resmi soal GPTBot, OAI-SearchBot, dan agen lain. Situs yang menolak crawler tertentu tetap bisa memakai aturan lama itu sebagai cadangan.
Pengumuman dibuat bersama peserta lain dalam kelompok kerja di Internet Engineering Task Force. Artinya, ini bukan produk satu perusahaan, melainkan langkah menuju kesepakatan teknis lintas penyedia. Rincian pengumuman ada di laman resmi OpenAI.
Iklan
Paviliun Akademika: punya kost tanpa repot kelola
Paviliun Akademika menghadirkan pilihan investasi kost terkelola di Akademika Townhouse, Gowa. Unit disiapkan untuk disewakan, dengan pengelolaan kawasan yang ditangani pemilik proyek.
Cara Kerja Policy Token di Robots.txt
Robots.txt adalah berkas teks sederhana yang diletakkan di akar sebuah domain. Isinya instruksi untuk bot, misalnya larangan memindai folder tertentu. Mesin pencari sudah lama mematuhi berkas ini sebagai norma, meski bukan hukum.
Policy token memperluas fungsi itu. Pemilik situs menulis satu preferensi, misalnya penolakan penggunaan konten untuk pelatihan AI, lalu preferensi itu dibaca oleh semua penyedia yang ikut sepakat. Ringkasan teknisnya ada di Unite.AI.
Draf yang mendasarinya diajukan Kevin Kelley, tokoh standar di Anthropic, lewat IETF. Draf tersebut diberi nomor draft-kelley-aipref-training-preference-signal-00 dan bertanggal 30 Oktober 2026. Naskahnya bisa dibaca di datatracker IETF.
Draf itu berlaku sebagai dokumen individu, bukan standar resmi. IETF mencatat dokumen individu tidak mendapat pengesahan lembaga dan tidak punya kedudukan formal dalam proses standar. Masa berlakunya berakhir Mei 2027, sehingga pembahasan masih panjang.
Siapa yang Sudah dan Belum Menerapkan
Anthropic disebut sudah mulai menerapkan sinyal tersebut. Google dan Microsoft menyatakan rencana dukungan pada tahun berikutnya. OpenAI menyebut akan mengimplementasikannya dalam beberapa bulan ke depan dan akan memberi kabar rinci saat penerapan dimulai.
Microsoft menambahkan kontrol yang lebih rinci. Perusahaan itu memisahkan penolakan pelatihan dari penggunaan konten sebagai sumber jawaban atau grounding. Situs tetap muncul di hasil pencarian Bing apa pun preferensi yang dipilih.
Perbedaan waktu penerapan ini penting bagi pemilik situs. Menulis satu sinyal belum otomatis menghentikan pengambilan data oleh semua perusahaan pada hari yang sama. Praktik aman adalah mempertahankan aturan per crawler sampai setiap penyedia mengonfirmasi dukungan.
Kesepakatan lisensi tetap punya jalur sendiri. Draf menyebut perjanjian privat bisa mengesampingkan sinyal ini. Pemilik situs yang punya kontrak data dengan satu perusahaan tidak otomatis terikat pada preferensi umum yang ia tulis.
