Viral nusantara di kalangan pengembang hari ini adalah temuan yang cukup menyengat: agen coding terbaik hanya menyelesaikan 26,4 persen tugas yang diambil dari permintaan pengguna nyata. Angka itu berasal dari Co-Design Bench, benchmark baru yang dibangun tim peneliti Alibaba bersama beberapa universitas. Hasilnya kontras dengan skor tinggi yang biasa dipamerkan pada uji coba sintetis.
Benchmark ini dipublikasikan di arXiv pada 26 Oktober 2026. Tim penulisnya berasal dari Alibaba Token Hub, Fudan University, Zhejiang University, The Chinese University of Hong Kong, Shanghai Jiao Tong University, dan Nanyang Technological University. Situs resmi benchmark menyediakan data tugas dan rubrik penilaian.
Viral Nusantara Teknologi: Apa Itu Co-Design Bench
Co-Design Bench adalah uji kemampuan agen coding menerjemahkan permintaan multimodal menjadi perubahan aplikasi yang benar-benar berjalan. Pengujian tidak memakai prompt buatan, tetapi permintaan yang diambil dari sesi kerja nyata. Setiap tugas menyertakan aplikasi awal yang bisa dijalankan sebelum diedit.
Ada dua jalur pengujian. Multimodal Editing menguji perubahan terbatas yang bisa disertai gambar, audio, video, atau dokumen. Repository Editing menguji perubahan yang harus dikoordinasikan di banyak berkas, rute, state, dan aliran data dalam satu basis kode.
Tugas-tugas itu dipetakan ke tiga dimensi kemampuan: pemahaman yang berpijak pada bukti, transformasi antarmuka, dan implementasi fungsi. Penilaian memakai rubrik tersembunyi yang ditulis pakar, bukan membandingkan hasil dengan kode emas. Pendekatan ini disebut reference-free karena tidak ada satu jawaban benar yang dijadikan patokan.
Iklan

Paviliun Akademika: punya kost tanpa repot kelola
Paviliun Akademika menghadirkan pilihan investasi kost terkelola di Akademika Townhouse, Gowa. Unit disiapkan untuk disewakan, dengan pengelolaan kawasan yang ditangani pemilik proyek.
Cara Benchmark Ini Dibangun dari Sesi Nyata
Tim peneliti mengumpulkan 37.463 kueri yang sudah dideduplikasi dari 26.314 sesi coding pengguna nyata. Dari jumlah itu, mereka menyaring 273 tugas yang dinilai paling representatif. Penyaringan memberi bobot pada tanda kegagalan sebelumnya, misalnya pengguna yang mengulang permintaan dua kali atau lebih.
Setiap tugas dilengkapi kriteria penerimaan yang ditulis pakar, totalnya 2.331 kriteria. Kriteria itu disembunyikan dari agen yang diuji. Aplikasi awal dipulihkan dan diverifikasi agar bisa dijalankan, sehingga penilaian tidak bergantung pada deskripsi tekstual semata.
Penilaian memakai protokol judge-then-refute. Satu penilai agen menguji aplikasi hasil edit di peramban dan memeriksa kode sumber. Penilai kedua menantang setiap putusan lulus atau sebagian lulus untuk menangkap mock-up dan hasil yang di-hardcode. Cara ini dirancang menutup celah penilaian yang terlalu mudah percaya.
Hasilnya dirangkum dalam makalah berjudul Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models. arXiv mencatat abstrak yang menyebut kesenjangan antara pemenuhan sebagian kriteria dan keberhasilan tugas secara utuh sebagai fokus utama studi.
Papan Skor Sepuluh Model
Pengujian utama menjalankan sepuluh endpoint model melalui harness yang sama, yaitu Claude Code. Model teratas adalah GPT-6 Astra dengan rata-rata 69,9 persen kriteria terpenuhi, tetapi hanya 26,4 persen tugas yang tuntas sepenuhnya. Pada jalur multimodal ia mencapai 41,0 persen, sedangkan pada jalur repositori hanya 17,9 persen.
Peringkat berikutnya ditempati Claude Opus 5 dengan 66,1 persen kriteria dan 18,3 persen tugas tuntas. Qwen3.8-Max mencatat 65,3 persen dan 16,5 persen, lalu Kimi K3 dengan 62,9 persen dan 15,8 persen. Qwen3.8-27B mencatat 64,4 persen kriteria tetapi hanya 15,0 persen tugas tuntas.
Di bawahnya ada GPT-5.6 Sol dengan 61,1 persen kriteria dan 14,3 persen tugas tuntas, GLM-5.3 Flash 57,3 persen dan 10,6 persen, Claude Opus 4.8 58,1 persen dan 10,3 persen, serta GLM-5.2 56,7 persen dan 9,5 persen. Posisi terakhir ditempati Grok 4.6 dengan 51,1 persen kriteria dan 6,6 persen tugas tuntas.
Rincian papan skor itu dirangkum Chip Dispatch dan MLQ.ai dari makalah yang sama. Yang menarik, urutan model tidak selalu konsisten antar jalur. Sebuah model bisa unggul di edit multimodal tetapi tertinggal saat harus mengubah repositori secara terkoordinasi.
Kenapa Nilai Kriteria dan Tugas Tuntas Berbeda Jauh
Angka 69,9 persen dan 26,4 persen mengukur dua hal berbeda. Nilai kriteria menghitung rata-rata butir yang lolos per tugas. Nilai tugas tuntas hanya menghitung tugas yang seluruh kriterianya lolos sekaligus. Satu kriteria yang gagal sudah cukup menggugurkan sebuah tugas dari hitungan kedua.
Kesenjangan itu menunjukkan pola yang lazim pada agen coding. Model bisa memenuhi sebagian besar permintaan, tetapi melewatkan satu detail yang membuat hasil akhirnya belum bisa dipakai. Dalam pekerjaan nyata, satu tombol yang tidak berfungsi atau satu nilai yang tidak ikut berubah sudah cukup membuat pengguna harus memperbaiki sendiri.
The Decoder merumuskan temuan ini dengan kalimat sederhana: hampir tiga dari empat keluaran masih membutuhkan pembersihan manusia. Rumusan itu membantu menjelaskan mengapa klaim bahwa agen coding hampir menggantikan programmer perlu dibaca dengan hati-hati, terutama untuk pekerjaan yang menuntut hasil selesai, bukan sekadar potongan kode.


