Kimi K3.1 Pro: uji sendiri sebelum percaya pada benchmark

Apa yang dirilis, dan mengapa ramai dibicarakan

Moonshot AI merilis Kimi K3.1 Pro pada Jumat 23 Oktober, dan pengumumannya menyebutnya "our most capable 3T-class open-weight model to date". Jendela konteksnya 1 juta token. ID model di API adalah kimi-k3.1-pro dan kimi-k3.1-pro-highspeed, yang kedua berjalan 2-3 kali lebih cepat.

Moonshot juga menyatakan "Full model weights will be released by Nov 4, 2026". Halaman pengumuman tidak menyebut lisensinya. Menurut Notebookcheck, hingga Minggu belum ada bobot K3.1 di Hugging Face. Jadi untuk saat ini ini adalah model API dengan janji open-weight.

Utas Hacker News mencapai 1.057 poin dan 650 komentar, menurut sebuah rangkuman AI. Ada dua perdebatan yang berjalan bersamaan. Pertama, seberapa dekat lab dari Tiongkok kini dengan garis depan. Kedua, apakah sebuah lab boleh memangkas kemampuan model sebelum rilis, padahal bobot yang sudah dirilis tidak bisa ditarik kembali.

Menurut saya keduanya paling baik dijawab dengan cara yang sama: dengan pengukuran Anda sendiri, bukan dengan postingan peluncuran.

Angkanya dari Moonshot sendiri

Pada Terminal-Bench 4.0 versi laporan Moonshot, K3.1 Pro mendapat 65,7%, Claude Opus 5.5 mendapat 66,4%, dan GPT-6 Astra mendapat 58,2%. Itu hampir seri dengan model tertutup terbaik pada benchmark agen coding.

Perlakukan sebagai klaim. Semua angka itu dijalankan vendor dan belum diverifikasi. Satu-satunya rujukan independen di brief adalah indeks Artificial Analysis, yang menempatkan K3.1 Pro di 55 dibanding 58 untuk Opus 5.5. Selisih itu nyata, dan searah dengan pengakuan Moonshot sendiri bahwa mereka masih tertinggal dari model tertutup terdepan, yang menurut mereka sudah dipublikasikan setidaknya tiga bulan.

Klaim halusinasi perlu kehati-hatian yang sama. Moonshot melaporkan bahwa halusinasi tingkat klaim pada tes sulit miliknya, dijalankan dengan alat bantu, turun dari 23,4% pada K3 menjadi 8,3%. Liputan Unite.ai mencatat bahwa Moonshot sendiri mengatakan tes itu dirancang untuk menguji kasus rawan salah, bukan untuk mencerminkan tingkat kesalahan yang lazim. Jangan membaca 8,3% sebagai "model ini salah 8% dari waktu". Bacalah sebagai "model ini membaik pesat pada tes yang dirancang untuk menjebaknya".

Harga adalah berita sebenarnya

Harga API adalah $2 untuk input dan $10 untuk output per juta token, dibanding $3 dan $15 untuk K3, menurut OrcaRouter. Itu potongan sepertiga. Highspeed seharga $4 dan $20. Cache hit dikenai $0,20, dan tidak ada biaya tambahan konteks panjang di seluruh jendela 1.048.576 token.

Poin terakhir itu penting jika Anda memasukkan seluruh repositori ke konteks. Banyak penyedia menaikkan harga setelah melewati ambang tertentu, dan itu diam-diam mengubah ekonomi dari loop agen. Di sini tarif per token tetap datar.

Ada kendala di sisi biaya, dan itu berasal dari dokumentasi seperti diringkas Unite.ai:

• Thinking wajib aktif. Mematikannya menghasilkan HTTP 400.
• reasoning_effort menerima low, high atau max, dan max adalah defaultnya.
• ID model yang salah ketik di alat pihak ketiga akan jatuh ke K2.8 Preview tanpa thinking.

Default thinking berusaha maksimal berarti token output, sisi yang mahal di $10, bisa membengkak pada tugas yang mudah. Tarif yang lebih murah tidak menjamin tagihan yang lebih murah. Perilaku fallback-nya lebih buruk dengan cara lain: salah ketik di konfigurasi Anda diam-diam menukar model dengan yang lebih lama, dan hasil Anda memburuk tanpa pesan galat apa pun.

Cara menjalankan bake-off

Model yang mendekati Opus 5.5 menurut angka orang lain, dengan harga sekitar dua pertiga K3, layak diuji pada kode Anda sendiri. Buatlah sederhana dan terkendali.

1. Pilih 20 sampai 40 tugas nyata dari riwayat repo Anda. Isu yang sudah ditutup dengan perbaikan yang diketahui cocok dipakai. Sertakan beberapa yang menyentuh berkas besar, karena jendela konteks adalah nilai jualnya.
2. Pakai harness yang sama untuk semua model. Loop agen, alat, prompt, dan batas waktu yang sama. Ubah hanya ID modelnya.
3. Tetapkan reasoning_effort dan catat. Jalankan K3.1 Pro pada max (default) dan pada high, lalu tulis di hasilnya. Jika Anda membandingkan satu model pada effort default dengan model lain pada setelan lebih rendah, yang Anda ukur adalah setelannya.
4. Catat token, bukan hanya tingkat lulus. Rekam token input, output, dan cache per tugas, lalu hitung biaya per tugas yang berhasil. Angka itulah yang menentukan apakah diskon sepertiga di daftar harga bertahan menghadapi thinking wajib.
5. Pastikan ID model saat startup. Minta harness mencetak nama model yang terselesaikan dari respons dan gagal jika bukan kimi-k3.1-pro. Ini melindungi dari fallback diam-diam ke K2.8 Preview.
6. Jalankan tiap tugas lebih dari sekali. Hasil agen bervariasi. Laporkan tingkat lulus dari beberapa pengulangan, bukan satu kali lulus yang beruntung.

Jalankan varian Highspeed pada sebagian tugas jika latensi penting bagi Anda, misalnya pada asisten coding interaktif. Dengan harga $4/$20 biayanya dua kali lipat harga dasar, jadi bayar hanya di tempat yang masalahnya memang waktu tunggu.

Trade-off siber, dalam angka

Hal yang tidak biasa dari rilis ini adalah Moonshot mempublikasikan harga dari pilihan keamanannya sendiri. Mereka mengaku menemukan data terkait siber pada mid-training dan pada lingkungan reinforcement learning, lalu membuangnya dari kedua tahap sambil mempertahankan tugas coding umum, menurut The Next Web.

Pada xdev-bench-hard internal Moonshot, dengan pass@3, checkpoint tanpa pemangkasan menyelesaikan 90,5%. Model rilis menyelesaikan 81,0%. K3 menyelesaikan 33,3%. Itu penurunan 9,5 poin akibat pemangkasan, tetapi masih jauh di atas generasi sebelumnya.

Ada dua pembacaan yang wajar. Yang optimis: pemangkasan itu hanya menelan sebagian kecil kemampuan dan meninggalkan keterampilan coding yang dibutuhkan kebanyakan pengguna. Yang skeptis: ini satu benchmark internal yang dinilai vendor, dan model yang meraih 81,0% pada tes sulit bernuansa siber tetap model yang mumpuni.

Lalu ada bagian yang belum bisa dituntaskan siapa pun. Bobot yang sudah dirilis tidak bisa ditarik setelah diunduh. Jika pemangkasannya dangkal, seseorang akan melakukan fine-tuning untuk mengembalikan kemampuan itu, dan Anda tidak bisa menambalnya setelahnya. Jika pemangkasannya bertahan, itu preseden yang berarti bagi rilis terbuka. Bobot dijanjikan paling lambat 4 November, dan saat itulah peneliti luar bisa mengujinya, bukan sekadar mengutip vendor.

Yang perlu dilakukan minggu ini

• Jangan pindahkan produksi berdasarkan angka hari peluncuran. Anggap 65,7% pada Terminal-Bench 4.0 sebagai alasan untuk menguji, bukan hasil.
• Jalankan bake-off sekarang lewat API, dengan pengecekan ID model dan pencatatan token seperti di atas. Anda akan punya angka biaya per tugas berhasil sendiri sebelum bobotnya terbit.
• Periksa lisensi pada 4 November. Halaman pengumuman tidak menyebutnya, dan lisensi menentukan apakah Anda boleh hosting sendiri atau fine-tuning.
• Jika Anda menangani pekerjaan keamanan, uji pada pekerjaan itu. Jangan menganggap pemangkasan tidak relevan bagi Anda, atau bahwa ia kedap. Ukur tugas yang benar-benar Anda jalankan.
• Setel reasoning_effort secara eksplisit di setiap klien alih-alih mengandalkan default max, dan batasi token output per permintaan.

Pelajaran terpenting dari peluncuran ini bukan posisi di papan peringkat. Vendor memberi Anda angka trade-off yang konkret dan jarang ada, lalu meminta Anda memercayai sisanya begitu saja. Verifikasi sisanya.