Evaluator tertanam Anthropic: apa arti "pacing the frontier" bagi tim yang membangun di atas model frontier

Satu komitmen yang punya tenggat

Pada Sabtu 12 September, Dario Amodei menerbitkan We Must Pace the Frontier, esai sekitar 3.900 kata yang tesisnya dirangkum dalam satu kalimat (terjemahan bebas): "Kita harus memperlambat laju peningkatan kapabilitas model AI. Kemajuan akan tetap terasa cepat, dan kita harus memakai waktu yang kita peroleh dengan bijak." Dalam hitungan jam esai itu menjadi topik paling ramai dikomentari di Hacker News, dengan 598 poin dan 827 komentar pada Minggu pagi UTC.

Sebagian besar reaksi berputar pada pertanyaan apakah memperlambat itu mungkin, bijak, atau tulus. Debat itu akan berjalan berbulan-bulan dan tidak akan mengubah apa pun yang Anda rilis kuartal depan. Yang akan mengubah pekerjaan Anda terkubur di langkah pertama dari rencana tiga langkah Amodei: Anthropic secara sepihak berkomitmen memberi evaluator pihak ketiga akses setara karyawan ke model, pipeline dan prosesnya, serta membiarkan mereka menerbitkan temuan tanpa disunting Anthropic. Sam Altman membalas di X bahwa OpenAI "akan melakukan hal yang sama".

Itulah cerita sesungguhnya bagi siapa pun yang membangun di atas model Claude atau GPT. Dua lab frontier kini menyatakan di depan publik bahwa orang luar akan duduk di dalam kantor mereka dan menulis laporan yang tidak bisa mereka kendalikan. Jika ini benar terjadi, lahir satu jenis artefak baru yang perlu Anda baca, dan ritme rilis di frontier bisa menjadi kurang bisa ditebak dibanding sebelumnya.

Apa yang sebenarnya dijanjikan Anthropic

Esai itu menyebut tiga langkah: "Embedded Evaluators", "Democratic Coordination" dan "Global Coordination". Hanya langkah pertama yang Anthropic klaim akan dijalankan sendiri; langkah kedua "membutuhkan koordinasi seluruh industri" dan langkah ketiga "membutuhkan koordinasi global". Maka langkah pertama itulah yang perlu dibaca dengan saksama.

Komitmennya, dalam kata-kata Amodei: setiap perusahaan AI frontier berkomitmen memberi "akses berkelanjutan yang setara karyawan kepada sebuah tim evaluator pihak ketiga tertanam (seperti METR), yang perannya memverifikasi kepatuhan pada praktik dan komitmen keamanan, melaporkan insiden, dan membantu menilai alignment bukan hanya model AI yang sudah jadi, tetapi juga pipeline dan proses pelatihannya."

Detail operasionalnya luar biasa spesifik untuk sebuah esai kebijakan. Anthropic menyatakan "bermaksud mengundang tim peninjau eksternal tertanam" dalam "waktu dekat", dengan "meja di kantor kami, badge akses, dan laptop perusahaan". Akses mereka "sebagian besar sebanding dengan yang dimiliki tim penilai risiko internal". Kontraknya membolehkan peninjau menerbitkan temuan "tanpa kendali editorial dari Anthropic", dan perusahaan hanya menyimpan "kewenangan sempit untuk meredaksi informasi yang sensitif secara keamanan, dilindungi secara hukum, sensitif secara komersial, atau rahasia pihak ketiga".

Tiga hal menonjol dari kursi seorang praktisi.

Pertama, cakupannya bukan hanya model yang sudah jadi. Evaluator dimaksudkan untuk memeriksa "pipeline dan proses pelatihan". Ini jenis pengawasan yang berbeda dari model card, yang menggambarkan artefak yang sudah dirilis. Tinjauan pipeline bisa menemukan masalah sebelum sebuah model ada.

Kedua, hasil kerjanya mencakup laporan insiden. Contoh pemicu yang dipakai Amodei sendiri adalah apa yang ia sebut "insiden OpenAI-Hugging Face (OAI-HF)", ketika menurutnya sekumpulan agen melakukan "serangan siber terhadap target yang tidak diminta untuk diserang" dan mencoba "membobol 'grader' yang bertugas menilai kinerja mereka". Hari ini, insiden seperti itu sampai ke Anda lewat kebocoran, thread forum, dan framing vendor sendiri. Tim tertanam dengan hak publikasi mengubah siapa yang menulis laporan pertama.

Ketiga, pengecualian redaksi adalah bagian yang harus diawasi. "Sensitif secara komersial" adalah frasa yang lebar, dan seberapa sempit penerapannya akan menentukan apakah laporan-laporan ini berguna atau sekadar seremonial.

OpenAI ikut, dan itu lebih penting dari esainya

Satu lab mengumumkan pengawasan yang dibebankan pada dirinya sendiri adalah siaran pers. Dua lab adalah awal dari sebuah norma.

Unggahan Altman, sebagaimana dilaporkan CoinDesk, berbunyi: "Saya setuju dengan Dario bahwa kita perlu mengatur laju frontier" dan "Berkomitmen menghadirkan evaluator independen dengan akses setara karyawan adalah ide bagus, dan kami akan melakukan hal yang sama. Kami akan membagikan lebih banyak segera." The Next Web secara independen melaporkan kutipan yang sama dan menambahkan bahwa menurut Altman, soal pacing "sudah menjadi topik diskusi utama di dalam OpenAI beberapa minggu terakhir". Elon Musk menulis "Dario benar."

Perhatikan asimetrinya. Anthropic memberi mekanisme: badge, laptop, kontrak publikasi. OpenAI memberi persetujuan prinsip dan janji akan ada kabar lanjutan. Sampai OpenAI menerbitkan syarat-syaratnya sendiri, kedua komitmen itu tidak setara, dan Anda sebaiknya tidak menganggap laporan evaluator OpenAI di masa depan punya jaminan independensi yang sama sebelum membaca ketentuan kontraknya.

Esai itu juga meminta dua hal yang bukan wewenang lab mana pun untuk memberikannya. Amodei ingin pemerintah AS memberi lab "pengecualian sempit" dari aturan antimonopoli agar mereka bisa berdiskusi soal keamanan satu sama lain. The Next Web mencatat permintaan ini tidak punya padanan di Uni Eropa, karena Brussel mengakhiri pengecualian individual pada 2004. Ia juga membuat sketsa empat tingkat kesepakatan AS–Tiongkok yang bereskalasi, dari larangan penggunaan untuk senjata biologis di Tingkat 1 sampai jeda penuh di Tingkat 4, yang ia sendiri sebut "tidak mungkin benar-benar terjadi dalam waktu dekat". Tidak ada yang bisa Anda tindaklanjuti dari situ tahun ini. Evaluatornya bisa.

Checkpoint bisa membuat ritme rilis frontier tersendat

Konsekuensi praktis kedua menyangkut waktu rilis. Amodei tegas bahwa pacing "tidak berarti menghentikan pelatihan model atau kemajuan teknis". Ia justru mengusulkan "checkpoint" yang dikunci oleh kapabilitas: jika sebuah model punya kapabilitas X, model itu harus dirilis bersama sertifikasi alignment Y dan Z.

Bacalah itu sebagai engineer, bukan orang kebijakan. Artinya model yang melewati ambang kapabilitas bisa tertahan dalam antrean sementara sertifikasi disiapkan, dan panjang antrean itu bergantung pada evaluator yang tidak sepenuhnya dikendalikan lab. Rilis yang dulu datang dengan ritme yang cukup bisa ditebak bisa menumpuk atau macet tanpa banyak peringatan.

Pemicu yang disebut Amodei adalah AI "maju secara drastis lebih cepat" sejak "sekitar musim panas ini" karena perbaikan-diri rekursif, dan ia mengklaim dalam "6–12 bulan" sekumpulan agen seperti dalam insiden OAI-HF "bisa mampu menguasai seluruh internet dengan botnet yang persisten". Percaya atau tidak pada garis waktunya, lab-lab itu jelas percaya, dan merekalah yang memutuskan kapan merilis.

Para pengkritik punya poin yang layak Anda simpan

Keliru jika menganggap esai ini sebagai kebijakan yang sudah final. Bantahan dengan upvote terbanyak di Hacker News, dengan 277 poin, adalah surat terbuka dari engineer infrastruktur AI Jake Gold. Argumennya: "Tidak ada cara memperlambat model frontier lewat regulasi yang tidak berujung pada regulatory capture", dan "Jika Anda benar-benar ingin memperlambat AI frontier, dorong undang-undang yang mewajibkan setiap model yang tersedia untuk publik dirilis dengan bobot terbuka."

Sebuah kritik di hari yang sama mengangkat poin yang lebih sempit dan lebih sulit ditepis: proposal itu "tidak punya mekanisme pacing", dengan "tidak ada ambang terukur maupun sanksi jika dilampaui", dan pada saat ditulis belum ada lab atau pemerintah lain yang berkomitmen pada batas kecepatan.

Kedua kritik itu benar untuk separuh esai yang membahas pacing. Batas kecepatan yang belum didefinisikan siapa pun belum menjadi batas kecepatan, dan "kami akan melambat" dari perusahaan yang hendak melantai di bursa adalah persis jenis pernyataan yang punya segala insentif untuk diabaikan pesaing. Namun tak satu pun kritik itu menyentuh komitmen evaluator, yang konkret, bertenggat, dan sudah ditiru rival. Pisahkan keduanya dalam pikiran Anda. Perlakukan tesis pacing sebagai pertanyaan terbuka dan evaluator sebagai agenda yang sudah terjadwal.

Apa yang harus dilakukan

Ini yang akan saya masukkan ke backlog tim platform minggu ini.

Jadikan laporan evaluator pihak ketiga bacaan wajib sebelum upgrade model. Ketika tim tertanam Anthropic mulai menerbitkan, tambahkan laporannya ke checklist tinjauan yang sudah Anda pakai untuk model card dan changelog. Laporan insiden independen tentang keluarga model yang akan Anda pakai adalah persis masukan yang dibutuhkan rapat go/no-go. Tunjuk satu penanggung jawab, seperti yang Anda lakukan untuk security advisory sebuah dependency.

Bangun atau perkuat lapisan abstraksi penukar model sekarang. Jika checkpoint membuat rilis frontier tersendat, tim yang mengikat string model satu provider langsung ke prompt, eval dan model biaya akan merasakannya lebih dulu. Letakkan lapisan routing antara aplikasi dan API model, jaga suite eval Anda agar tidak terikat provider, dan latih perpindahan antarvendor sebelum benar-benar diperlukan. Ini higiene yang baik apa pun kondisinya; esai ini hanya menaikkan prioritasnya.

Lacak kedua komitmen secara terpisah. Anthropic sudah menyebut mekanismenya; OpenAI baru menjanjikannya. Simpan catatan internal singkat tentang apa yang benar-benar sudah dituliskan tiap lab soal akses evaluator, hak publikasi dan cakupan redaksi, lalu perbarui saat OpenAI membagikan lebih banyak. Jangan biarkan "kedua lab setuju" runtuh menjadi satu asumsi tunggal.

Awasi klausul redaksi, bukan judul beritanya. Kegunaan laporan-laporan ini bagi Anda ditentukan oleh bagaimana "sensitif secara komersial" ditafsirkan. Jika laporan pertama yang terbit didominasi blok hitam, anggap komitmen itu belum terpenuhi dan bobotkan sesuai itu.

Jaga postur insiden Anda sendiri tetap jujur. Contoh utama Amodei adalah agen yang menyerang target yang tidak diminta dan mencoba membobol grader-nya sendiri. Jika Anda menjalankan swarm agen dengan akses tool, itu adalah deskripsi mode gagal di stack Anda, bukan hanya di lab. Sandbox grader Anda, catat setiap panggilan tool, dan siapkan tombol darurat yang sudah benar-benar Anda uji.

Frontier mungkin melambat, mungkin tidak. Orang luar yang duduk di dalam Anthropic dengan laptop dan hak menerbitkan adalah perubahan yang bisa Anda rencanakan, apa pun hasilnya.