Bagian Tersulit: Repo dengan Tiga sampai Empat Perubahan
Semua endpoint menunjukkan pola serupa: capaian menurun saat tugas menyentuh tiga atau empat jenis perubahan sekaligus. Perubahan yang hanya menyentuh satu atau dua jenis lebih mudah diselesaikan. Begitu antarmuka, state, rute, dan data harus berubah bersamaan, agen kehilangan konsistensi.
Pada jalur repositori, model terbaik hanya menyelesaikan 17,9 persen tugas. Angka itu jauh di bawah jalur multimodal editing yang mencapai 41,0 persen untuk model yang sama. Artinya, kemampuan mengedit tampilan belum tentu diikuti kemampuan merawat struktur kode yang saling bergantung.
Temuan ini relevan bagi tim produk yang mengerjakan tiket berukuran sedang, karena paket perubahan seperti itu paling sering gagal diselesaikan penuh.
Iklan

Paviliun Akademika: punya kost tanpa repot kelola
Paviliun Akademika menghadirkan pilihan investasi kost terkelola di Akademika Townhouse, Gowa. Unit disiapkan untuk disewakan, dengan pengelolaan kawasan yang ditangani pemilik proyek.
Apa Artinya bagi Pengguna Agen Coding
Pertama, hasil agen perlu diperiksa dengan kriteria yang eksplisit. Jika pengguna hanya menilai apakah kode terlihat masuk akal, kriteria yang terlewat tidak akan terdeteksi. Membuat daftar penerimaan sendiri, walau singkat, membantu menutup celah yang paling sering muncul.
Kedua, pekerjaan besar sebaiknya dipecah. Temuan tentang penurunan performa pada tiga sampai empat jenis perubahan memberi alasan teknis untuk memecah tugas menjadi beberapa iterasi kecil. Pemecahan itu bukan sekadar soal kenyamanan, tetapi cara menjaga agen tetap berada dalam rentang yang bisa ditangani.
Ketiga, agen tetap berguna untuk mempercepat bagian awal. Angka 69,9 persen kriteria menunjukkan bahwa sebagian besar pekerjaan memang tertangani. Nilai praktisnya ada pada pengurangan waktu menulis kode dan eksplorasi alternatif, bukan pada penghapusan peran manusia di tahap akhir.
Batas Studi yang Perlu Dibaca
Penulis menyatakan batasannya secara terbuka. Setiap permintaan bersifat tetap, sehingga agen tidak bisa bertanya balik atau menerima koreksi di tengah tugas. Pengujian karenanya mengukur penyelesaian otonom di bawah rubrik ketat, bukan pengembangan interaktif bersama manusia.
Penilai berbasis model bahasa juga bisa keliru. Protokol judge-then-refute mengurangi risiko itu, tetapi tidak menghilangkannya sepenuhnya. Selain itu, semua model dijalankan melalui satu harness, sehingga hasilnya mencerminkan kombinasi model dan alat, bukan kemampuan model secara terisolasi.
Meski begitu, skala datanya cukup besar untuk dijadikan rujukan. Sebanyak 273 tugas dan 2.331 kriteria jauh lebih banyak daripada uji demo yang biasa dipakai vendor. Karena tugas diambil dari sesi nyata, distribusinya juga lebih dekat ke pekerjaan sehari-hari daripada benchmark yang dibangun dari soal kompetisi.
Apa yang Diketahui dan Apa yang Belum Terkonfirmasi
Yang diketahui, Co-Design Bench dirilis pada 26 Oktober 2026 dan menguji sepuluh endpoint model. Model terbaik mencapai 69,9 persen kriteria dan 26,4 persen tugas tuntas. Semua model melemah pada tugas repositori yang menyentuh tiga sampai empat jenis perubahan. Angka itu konsisten di abstrak, tabel, dan pemberitaan teknologi.
Yang belum terkonfirmasi, seberapa jauh hasil ini berlaku untuk pekerjaan di Indonesia. Belum ada studi lokal yang memakai benchmark serupa dengan basis kode dan permintaan pengguna dalam bahasa Indonesia. Belum ada pula pengujian independen yang mereplikasi papan skor di luar harness yang dipakai penulis, seperti dicatat AI Weekly. Untuk konteks model, lihat artikel Kimi K3.1 Pro dan kebocoran kredensial Claude Code.
FAQ Seputar Co-Design Bench
Apa yang diukur Co-Design Bench?
Kemampuan agen coding mengubah aplikasi yang sudah berjalan berdasarkan permintaan pengguna nyata. Penilaian mencakup pemenuhan kriteria per tugas dan keberhasilan menyelesaikan seluruh kriteria sekaligus.
Mengapa angkanya jauh lebih rendah dari benchmark lain?
Karena tugas diambil dari sesi nyata yang sebelumnya sulit diselesaikan, bukan soal sintetis. Selain itu, tugas hanya dihitung tuntas bila semua kriteria lolos, sehingga satu detail yang terlewat menggugurkan hasil.
Siapa yang membangun benchmark ini?
Tim peneliti dari Alibaba Token Hub bersama Fudan University, Zhejiang University, The Chinese University of Hong Kong, Shanghai Jiao Tong University, dan Nanyang Technological University.
Baca juga
- Berita Indonesia: Cuti Bersama Tak Potong Cuti Tahunan
- Tambang Nasional: Kejagung Dalami Isu Beking Raja Nikel
- Berita Viral: MUI Haramkan Vape dari Produksi sampai Jual
Kumpulan berita terbaru seputar Luwu Timur hari ini ada di kanal Luwu Timur hari ini.


