Berita viral hari ini datang dari ajang PyTorch Conference 2026. Dalam satu hari, Google membuka TorchTPU sebagai proyek open source, Amazon merilis TorchNeuron untuk chip Trainium, dan komunitas llm-d mengumumkan versi 1.0. Ketiganya menyerang persoalan yang sama: ketergantungan industri kecerdasan artifisial pada satu jenis perangkat keras dan satu lapisan perangkat lunak.
Berita Viral: Apa Itu TorchTPU dan Mengapa Disebut Sejarah
TorchTPU adalah lapisan PyTorch native untuk Tensor Processing Unit milik Google. Artinya, kode PyTorch yang selama ini ditulis untuk GPU kini bisa dijalankan di TPU dengan perubahan kode yang minim, memakai API yang sudah dikenal pengembang. Proyek ini dikembangkan bersama tim PyTorch di Meta dan kodenya dibuka di repositori GitHub Google.
Dengan langkah ini, TPU bergabung dengan GPU dan CPU sebagai perangkat native di ekosistem PyTorch. Google menyebut pengguna bisa melatih, menyajikan, dan menerapkan model di TPU memakai perkakas yang sudah mereka pakai, termasuk vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, dan Hugging Face. Rincian teknisnya dijelaskan dalam pengumuman resmi Google Cloud.
Untuk pengembang, perubahan paling terasa ada di Hugging Face Transformers versi 5. Menerapkan model ke TPU cukup dengan mengirim parameter device_map bernilai tpu. Pustaka Diffusers juga berjalan native di TPU dengan dukungan eager mode, torch.compile, dan tensor parallelism untuk model generatif berukuran besar.
Iklan
Campus Commercial Park: rukost di kawasan kampus
C.CO Park menghadirkan kawasan ruko dan kost dalam satu gerbang, dirancang untuk mahasiswa dan penghuni sekitar kampus. Cocok untuk yang mencari aset produktif dengan pengelolaan kawasan yang tertata.
TorchNeuron: PyTorch Native di Chip Trainium Amazon
Di hari yang sama, Amazon membuka TorchNeuron sebagai backend PyTorch native untuk Trainium. Proyek ini dirilis sebagai open source dengan lisensi Apache 2.0 dan masuk tahap beta publik pada 20 Oktober 2026, dengan dukungan Trainium2 dan Trainium3. Penjelasan lengkap ada di blog resmi PyTorch.
Perubahan kode yang diminta terbilang sederhana. Model cukup dipindahkan dengan pemanggil .to atau to dengan nama perangkat neuron, lalu torch.compile diarahkan ke backend yang sama. TorchNeuron mendaftarkan Trainium lewat PrivateUse1, titik ekstensi resmi PyTorch untuk perangkat keras baru, sehingga torch.nn, torch.distributed, dan torch.profiler bekerja seperti biasa.
Amazon juga menyediakan Neuron Kernel Interface untuk menulis kernel khusus, plus Neuron Explorer yang memakai torch.profiler untuk melacak eksekusi dari kerangka kerja sampai perangkat keras. Untuk penyajian model, ada vLLM Neuron dan vLLM Omni Neuron yang dibangun di atas dukungan torch.compile yang sama.
llm-d 1.0 dan Ekonomi Inferensi yang Berubah
Front ketiga adalah llm-d, proyek inferensi terdistribusi berbasis Kubernetes yang didirikan Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA pada 2025. Versi 1.0 kini berada di bawah tata kelola Cloud Native Computing Foundation dan dikerjakan lebih dari 500 kontributor dari 25 organisasi lebih, menurut rilis resmi IBM.
Versi 1.0 membawa kualitas layanan multi tenant, operasi tanpa downtime lewat router high availability dan pembaruan bergulir, API konfigurasi v1 yang stabil, serta routing sadar agen. Fitur terakhir menjaga percakapan multi giliran tetap dekat dengan konteks yang sudah tersimpan di cache, sehingga komputasi ulang berkurang.
Angka yang dipakai komunitas cukup mencolok. Dalam demonstrasi memakai model open weight GLM 5.2 berukuran sekitar 753 miliar parameter di GPU NVIDIA, llm-d melayani lebih dari 6,6 juta token keluaran per menit pada puncaknya. Uji itu menjalankan sampai 3.000 agen pengodean bersamaan tanpa preemption, dengan biaya per token yang disebut 5 sampai 10 kali lebih rendah daripada harga API komersial setara.
Angka Kinerja yang Disebut Google
Google tidak hanya mengumumkan ketersediaan kode, tetapi juga membawa angka kinerja. Jalur pelatihan TorchTitan di TorchTPU menunjukkan sampai 52 persen Model Flops Utilization pada Qwen 3 8B, dengan penskalaan nyaris linear di 8.192 TPU Ironwood. TorchTitan sendiri menyediakan resep pelatihan untuk model dense seperti Llama 3 70B dan 405B, Qwen 3 8B dan 32B, serta model Mixture-of-Experts Qwen 3 235B dan diffusion transformer FLUX.1 12B.
Untuk pelatihan lanjutan, Google mengunggah backend TPU ke VeRL beserta resep GRPO untuk penalaran matematika. Ray juga mendapat dukungan TorchTPU native sehingga satu alur kerja bisa menjadwalkan pemrosesan data, pelatihan, dan penyajian ke CPU, GPU, atau TPU sesuai kebutuhan tiap tahap.
