Iklan
Paviliun Akademika: punya kost tanpa repot kelola
Paviliun Akademika menghadirkan pilihan investasi kost terkelola di Akademika Townhouse, Gowa. Unit disiapkan untuk disewakan, dengan pengelolaan kawasan yang ditangani pemilik proyek.
Aleph Alpha, startup teknologi asal Jerman, merilis Kolibri, model bahasa bersistem pakar campuran atau Mixture-of-Experts dengan 78,1 miliar parameter. Yang menarik, model ini hanya mengaktifkan sekitar 3,46 miliar parameter per token, atau sekitar 4,4 persen dari totalnya. Bobot penuhnya tersedia gratis di Hugging Face di bawah lisensi Apache 2.0, sebuah langkah yang jarang diambil perusahaan yang menyasar sektor publik dan industri teregulasi. Pengumuman resminya bisa dibaca di blog Aleph Alpha.
Peluncuran itu dilakukan pada 3 Oktober 2026, tepat pada Hari Penyatuan Jerman. Pilihan tanggalnya bukan kebetulan. Aleph Alpha secara terbuka memosisikan Kolibri sebagai jawaban atas kebutuhan kedaulatan digital Eropa, yaitu kemampuan menjalankan model canggih di infrastruktur sendiri tanpa mengirim data ke layanan pihak ketiga.
Kolibri, Model Startup Teknologi Jerman Berbobot Terbuka
Kolibri adalah model transformer dua bahasa, Jerman dan Inggris, yang dibangun dari hulu ke hilir oleh tim di Jerman. Perusahaan mengontrol seluruh rantai proses, mulai dari pengumpulan dan kurasi data, arsitektur, infrastruktur pelatihan, pasca pelatihan, sampai evaluasi akhir. Pelatihan berlangsung di infrastruktur yang berada di Jerman dan Finlandia.
Model ini menyasar pekerjaan kritis di sektor publik, industri, dan kedirgantaraan. Aleph Alpha menyebut rancangannya mengikuti pedoman General-Purpose AI Code of Practice Uni Eropa, Undang Undang AI Eropa, dan aturan perlindungan data GDPR. Perusahaan juga menyatakan saluran datanya menyunting data pribadi sebelum dipakai untuk pelatihan.
Model sebelumnya, Kolibri Origin, adalah model validasi dengan 30 miliar parameter total, 3 miliar parameter aktif, dan jendela konteks 65 ribu token. Jarak rilis keduanya relatif singkat. Menurut perusahaan, itu adalah hasil investasi pada saluran pelatihan yang stabil, sehingga ratusan eksperimen ablasi bisa berjalan tanpa campur tangan manusia ketika perangkat keras bermasalah.
Arsitektur Mixture-of-Experts yang Hemat
Secara arsitektur, Kolibri menumpuk 50 blok transformer dengan lebar model 2.560. Setiap lapisan MoE menilai seluruh 384 pakar terarah memakai sigmoid router, mengirim setiap token ke enam pakar teratas, dan selalu menjalankan satu pakar bersama. Beban antar pakar diseimbangkan dengan Exact Quantile Balancing dan Load-Error Injection.
Mekanisme perhatiannya memakai grouped-query attention dengan 48 kepala kueri dan 4 kepala nilai. Setiap blok kelima memakai perhatian penuh tanpa penyandian posisi, sedangkan 40 blok lain memakai perhatian jendela geser atas 512 token sebelumnya dengan RoPE. Lapisan jendela geser menyimpan cache nilai dan kunci berukuran tetap, sehingga hanya sepuluh lapisan yang tumbuh seiring panjang konteks.
Hasilnya, pada beban komputasi yang setara, tim Aleph Alpha melaporkan arsitektur hibrida ini mampu menangani urutan sekitar empat kali lebih panjang daripada model berperhatian penuh. Konteks maksimumnya mencapai 1.048.576 token, meski jendela asli yang direkomendasikan berada di kisaran 262.144 token. Pengguna juga bisa mengatur tingkat penalaran per permintaan.
Pelatihan Kolibri berjalan bertahap. Pra pelatihan mencakup 20 triliun token pada 768 GPU NVIDIA B200, lalu dilanjutkan 3,44 triliun token pelatihan menengah pada panjang urutan 65.536 token. Tahap konteks panjang kemudian melatih model atas urutan 262.144 token. Aleph Alpha menambahkan lebih dari dua triliun token berbahasa Jerman yang dikurasi dari web maupun dibangkitkan secara sintetis sebelum masuk tahap pasca pelatihan.
Dari sisi penyebaran, pos pemeriksaan FP8 berukuran sekitar 78 GB. Ukuran itu cukup untuk dijalankan pada satu GPU B200, B300, atau H200, atau pada dua GPU H100 SXM5. Penyajiannya memakai vLLM dengan parser penalaran dan pemanggilan alat khusus Kolibri. Rincian arsitektur dan angka pelatihan ini diuraikan MarkTechPost berdasarkan laporan teknis perusahaan.
