Apa yang dirilis
Pukul 03.21 UTC pagi ini TypeSafe AI menerbitkan "Introducing System One Models and Jev", dan tulisan itu bertahan di puncak Hacker News sepanjang hari. Jev adalah "System One Model" publik pertama dari perusahaan ini: model yang tidak pernah mengembalikan teks. Anda memberinya sebuah state dan sekumpulan pertanyaan bertipe, lalu ia mengembalikan pilihan, skor, atau boolean, masing-masing disertai distribusi probabilitas dan angka keyakinan. Dalam kata-kata perusahaan itu sendiri, "Possible outputs and structure are defined in advance. The model never makes type errors." Keluaran dan strukturnya ditetapkan di muka; modelnya tidak pernah membuat kesalahan tipe.
Angka-angka di tulisan peluncuran itu agresif. TypeSafe mengklaim waktu respons ujung ke ujung 70 ms sampai 500 ms, yang mereka gambarkan sebagai 40x sampai 200x lebih cepat dari LLM pada kelas tugas yang sama, dan memasang harga input $0,042 per juta token dengan output gratis. Model ini dilatih dengan metode yang perusahaan sebut Reinforcement Learning for Calibrated Decisions dan dilayani oleh sampler paralel, bukan pembangkitan token autoregresif. Statusnya early access di belakang daftar tunggu dan sebuah console.
Perusahaannya sendiri keluar dari mode stealth kemarin dengan pendanaan seed $40 juta yang dipimpin DCVC. Para pendirinya adalah Diogo Almeida (CEO), Erik Gafni (CTO) dan Sasha Sheng (COO), dan modelnya dinamai dari Paradoks Jevons, pengamatan bahwa membuat sebuah sumber daya lebih murah cenderung menaikkan total konsumsinya. Halaman tim menyatakan bahwa Almeida "co-invented RLHF and InstructGPT, the methods that lead to ChatGPT and GPT4", yakni ikut menciptakan RLHF dan InstructGPT, dan sebelumnya bekerja di Google Brain. Itu sebagian besar alasan mengapa peluncuran ini menyebar sejauh ini.
Saya ingin menyingkirkan dulu soal ulasan produk, karena saya belum punya akses ke console-nya. Yang layak Anda perhatikan hari ini adalah polanya, karena hampir pasti Anda sudah mengimplementasikan pola itu dengan buruk.
Langkah yang sudah Anda palsukan
Lihat pipeline agen mana pun di produksi dan Anda akan menemukan langkah System One di mana-mana. Arahkan tiket ini ke billing, technical, atau abuse. Putuskan mana dari lima tool yang dipanggil berikutnya. Nilai apakah draf jawaban ini mengandung pelanggaran kebijakan. Beri skor relevansi satu sampai lima untuk passage hasil retrieval ini. Tidak satu pun dari langkah itu memerlukan satu paragraf prosa. Setiap langkah adalah keputusan atas sekumpulan opsi yang tetap.
Cara standar membangun langkah itu hari ini adalah LLM frontier dengan JSON mode, system prompt yang memohon satu kata saja, temperature nol, dan regex atau parse Pydantic di sisi lain. Bentuknya kira-kira seperti ini:
resp = llm.chat(
model="frontier-model",
temperature=0,
response_format={"type": "json_object"},
messages=[
{"role": "system", "content":
"Classify the ticket. Reply with JSON: "
'{"category": one of ["billing","technical","abuse","other"]}'},
{"role": "user", "content": ticket_text},
],
)
try:
category = json.loads(resp.text)["category"]
assert category in {"billing", "technical", "abuse", "other"}
except (KeyError, ValueError, AssertionError):
category = "other" # cabang gagal yang diam-diam
Semua yang salah di sini sudah akrab. Model bisa mengembalikan label yang tidak ada di himpunan. Ia bisa membungkus JSON dalam fence Markdown. Ia membangkitkan token satu per satu, sehingga klasifikasi lima arah punya lantai latensi yang sama dengan menulis haiku. Dan hal yang sebenarnya Anda inginkan, gambaran seberapa yakin modelnya, tidak ada. Anda bisa memintanya menuliskan angka keyakinan, tapi angka yang ditulis model autoregresif ke sebuah field JSON adalah sepotong teks, bukan probabilitas terkalibrasi, dan perilakunya pun seperti teks.
Primitif Choice dari TypeSafe adalah langkah yang sama dengan bagian palsunya dibuang. Dokumentasinya menggambarkan sebuah request sebagai state plus peta questions bertipe, dievaluasi secara paralel lewat client.system_one(...) di SDK Python atau JavaScript, atau lewat POST ke https://api.typesafe.ai/v1/systemone. Choice mengembalikan choice, probabilities dan confidence; Score mengembalikan score, probabilities dan confidence; primitif ketiga, Noul, mengembalikan keyakinan boolean 0 sampai 1. Dalam bentuk sketsa, dengan nama field seperti yang digambarkan dokumentasi:
result = client.system_one(
state={"ticket": ticket_text, "customer_tier": tier},
questions={
"category": Choice(["billing", "technical", "abuse", "other"]),
"urgency": Score(1, 5),
"needs_human": Noul(),
},
)
category = result["category"]
print(category.choice) # "technical"
print(category.probabilities) # {"billing": 0.04, "technical": 0.91, ...}
print(category.confidence) # 0.91
Tiga pertanyaan, satu request, dievaluasi paralel, dan tanpa langkah parsing karena tidak ada yang perlu di-parse. Bagian terakhir itulah arti sebenarnya dari "never makes type errors", dan kita akan kembali ke seberapa banyak dan seberapa sedikit maknanya.
Apa yang dibeli probabilitas terkalibrasi
Keluaran yang menarik di sketsa itu bukan choice. Yang menarik adalah probabilities. Distribusi atas himpunan opsi mengubah apa yang bisa Anda bangun di hilir dalam tiga cara spesifik.
Pertama, ambang batas menjadi bisa disetel. Dengan label LLM Anda punya biner: model bilang "abuse" atau tidak. Dengan distribusi Anda bisa mengarahkan ke antrean abuse pada 0,6 di satu pasar dan 0,8 di pasar lain, dan Anda bisa menggeser ambang itu tanpa menyentuh prompt. Kalau klaim kalibrasinya benar, 0,7 seharusnya berarti kira-kira tujuh dari sepuluh tiket itu memang abuse, dan itulah yang membuat Anda bisa bernalar soal tingkat false positive yang Anda terima.
Kedua, Anda mendapat cabang abstain yang jujur. Fallback category = "other" di versi LLM menyala saat parse gagal, bukan saat ketidakpastian yang sungguhan. Dengan angka keyakinan Anda bisa mengirim apa pun di bawah lantai Anda ke manusia atau ke model yang lebih lambat dan lebih mahal, dan Anda tahu persis seberapa sering itu terjadi karena angkanya Anda yang pilih.
Ketiga, ekonomi map-reduce berubah. Ketika satu keputusan berbiaya puluhan milidetik dan sepersekian sen, Anda berhenti mengambil sampel dan mulai menilai semuanya. Mike Taylor, Head of Evals di Every, memberi demonstrasi awal yang paling jelas: ia menjalankan 777 penilaian atas 37 dokumen dalam 0,7 detik dengan biaya sekitar $0,0025, melaporkan median 0,35 detik per passage dibanding 8,83 detik untuk Fable 5.1 dan biaya sekitar 580x lebih rendah. Jev menangkap enam dari tujuh cacat yang ditanam, sementara Fable menangkap ketujuhnya. Kegagalan itu penting, dan saya tidak akan pura-pura sebaliknya, tapi bentuk beban kerjanya yang jadi intinya. Anda tidak menjalankan judge frontier atas setiap passage dari setiap dokumen yang pernah Anda tulis. Pada harga ini, mungkin saja Anda melakukannya.
Apa yang benar dari para skeptis
Thread Hacker News, dengan 1.178 poin dan 342 komentar saat saya membacanya, layak Anda baca, dan dua keberatan terkuatnya bertahan.
Pertama, "cannot hallucinate" mencampuradukkan type safety dengan kebenaran. Jev tidak bisa mengeluarkan nilai di luar skema Anda. Tapi ia sepenuhnya bisa memilih nilai yang salah, dengan penuh keyakinan. Klaimnya nyata tapi sempit, dan pemasarannya bersandar pada pembacaan yang luas. Perlakukan sebagai "tidak akan merusak parser saya", bukan "tidak akan salah". Hasil Every adalah contoh kecil yang nyata: satu cacat yang ditanam, keluaran valid, jawaban salah.
Kedua, perbandingan kecepatannya adalah prediksi terstruktur melawan pembangkitan teks autoregresif, dan itu bukan pertarungan yang adil. Model yang mengeluarkan distribusi atas 255 opsi dalam satu tembakan akan mengalahkan model yang harus menuliskan jawabannya token demi token, apa pun yang diketahui keduanya. Para kritikus menunjukkan bahwa classifier encoder open-weight sudah melakukan klasifikasi zero-shot tanpa membangkitkan teks, dan GLiClass disebut secara spesifik. Pertanyaan yang belum dijawab TypeSafe di publik adalah seberapa jauh Jev lebih baik dari mereka, karena belum ada paper dan belum ada eval pihak ketiga. Almeida, yang memposting sebagai CompleteSkeptic, menjawab bahwa arsitekturnya masih dijaga "close to the chest" sampai paper terbit, dan bahwa "data is probably far most interesting than architecture", datanya mungkin jauh lebih menarik daripada arsitekturnya. Seorang co-founder mengonfirmasi context window 32k dan input JSON terstruktur.
Tulisan peluncurannya juga terbuka soal keterbatasan, dan itu saya hargai. Jev tidak membangkitkan string sama sekali. Satu choice mendukung paling banyak 255 opsi, sehingga masalah berkardinalitas lebih tinggi perlu penilaian dua tahap. Ia menerima program state terstruktur dan teks, tapi tidak menerima gambar. Eval alur kerja perusahaan membandingkannya dengan GPT-5.6 Terra, GPT-6 Astra dan Fable 5.1, yang merupakan himpunan pembanding yang tepat, tapi itu eval milik perusahaan sendiri. Manifesto mereka menyatakan tesisnya dengan gamblang: "the bottleneck isn't raw intelligence. It's that today's intelligence is hard to build on." dan "We're building prod, not God." Hambatannya bukan kecerdasan mentah, melainkan kecerdasan hari ini sulit dijadikan fondasi; mereka membangun prod, bukan Tuhan. Itu tesis yang masuk akal. Tapi belum terbukti.
Apa yang harus dilakukan minggu ini
Anda tidak perlu slot daftar tunggu untuk bertindak. Buka pipeline Anda dan tandai setiap panggilan ke language model yang keluarannya langsung Anda reduksi menjadi label, angka, atau ya-atau-tidak. Routing, pemilihan tool, penilaian relevansi, pemeriksaan keamanan, keputusan coba-lagi-atau-eskalasi. Hitung jumlahnya. Kalikan dengan latensi dan biaya per panggilan. Itulah tagihan yang Anda bayar untuk teks yang Anda buang.
Untuk masing-masing, ajukan tiga pertanyaan. Apakah himpunan opsinya tetap dan kecil? Apakah distribusi probabilitas memungkinkan Anda menambah ambang batas atau cabang abstain yang saat ini tidak ada? Apakah Anda menjalankan langkah ini atas cukup banyak item sehingga 40x lebih murah mengubah apa yang Anda lakukan, bukan hanya berapa yang Anda bayar? Jika jawaban ketiganya ya, langkah itu adalah langkah System One dan tempatnya bukan di model frontier.
Lalu pilih penggantinya dengan jujur. Jev adalah satu opsi, masih early access, dengan tim yang kuat di belakangnya dan belum ada bukti eksternal. Classifier encoder terbuka adalah opsi lain, dan ia berjalan di perangkat keras Anda sendiri. Model kecil yang di-fine-tune di belakang softmax yang benar adalah opsi ketiga. Yang dimiliki semuanya, dan tidak dimiliki versi LLM-plus-regex, adalah distribusi sungguhan atas skema sungguhan. Bangun cabang abstain dulu, ukur seberapa sering ia menyala, dan baru setelah itu putuskan apakah angka keyakinan yang Anda dapat cukup terkalibrasi untuk dipercaya. Jika TypeSafe menerbitkan paper-nya dan seseorang di luar perusahaan mereproduksi angka Every, keputusannya menjadi lebih mudah. Sampai saat itu, polanya yang layak diadopsi. Vendornya bisa menunggu.
Komentar (0)
Belum ada komentar. Mulai percakapannya.