Temuan enzim Claude hanya muncul di satu dari sebelas run

Apa yang menurut Anthropic ditemukan Claude

Pada 23 September, Anthropic mengumumkan bahwa Claude menemukan sistem enzim yang sebelumnya tidak dikenal di DNA bakteriofag. Anthropic menyebutnya array-associated reverse transcriptases, atau ART: sebuah reverse transcriptase, satu gen pendamping, dan sebuah array pengulangan DNA. Pengulangan itulah yang memancing perbandingan dengan CRISPR, dan perbandingan itu pula yang membawa berita ini keluar dari rubrik sains. Saham perusahaan penyuntingan gen, termasuk CRISPR Therapeutics, Intellia Therapeutics, dan Beam Therapeutics, sempat turun setelah kabar ini.

Biologinya menarik, tetapi sebagian besar pembaca blog ini tidak bisa memakainya. Yang bisa dipakai adalah cara pencarian itu dijalankan, dan seberapa sering pencarian yang sama akan menemukan ART lagi. Menurut pembacaan The Next Web atas preprint-nya, Anthropic menjalankan ulang kampanye yang sama sepuluh kali lagi, dan tak satu pun dari run ulang itu menemukan array tersebut. Artinya, satu temuan dari sebelas run. Kalau Anda membangun agen untuk mencari, memilah, atau menyelidiki, rasio itu layak mendapat perhatian lebih besar daripada enzimnya.

Pipeline-nya: satu brief, 949 sesi, 19 laporan

Tulisan Anthropic menyebut skalanya dalam angka bulat: sekitar 950 agen mencari selama 21 jam dengan 210 juta token. Mereka mengumpulkan lebih dari 200.000 reverse transcriptase, memilih 3.500 kandidat sistem baru, lalu menyaringnya menjadi 20 untuk dianalisis lebih dalam.

Angka di preprint, seperti dilaporkan The Next Web, lebih presisi. Agen yang menjalankan Claude Mythos 5 menelusuri basis data berisi 1,9 miliar klaster protein. Kampanye berjalan selama 21,5 jam tanpa campur tangan manusia, dalam 949 sesi agen dan 215,6 juta token. Hasilnya: 3.564 famili kandidat gen pendamping diberi skor, dan 19 laporan diajukan untuk ditinjau manusia.

Kalau dibaca sebagai diagram sistem, ini adalah sebuah corong:

• Fan-out lebar: ratusan sesi paralel mengerjakan satu brief di ruang pencarian yang sangat besar.
• Penyempitan otomatis: ratusan ribu enzim dipangkas menjadi beberapa ribu kandidat berskor.
• Gerbang manusia di ujung: dua puluhan laporan tertulis untuk dibaca manusia, disusul kerja laboratorium oleh ilmuwan manusia di lab Anthropic di Bay Area. Anthropic menyatakan lab itu hanya bekerja pada tingkat keamanan hayati BSL-1 dan BSL-2 dan tidak menangani patogen manusia.

Perkakasnya pun tidak eksotis. Anthropic menulis: "Kami bekerja di Claude Science dan Claude Code, perkakas yang sama yang tersedia bagi ilmuwan mana pun, dan terkadang dengan harness buatan kami sendiri yang mengoordinasikan banyak sesi Claude yang berjalan paralel."

Jadi bahannya adalah agen siap pakai, sebuah koordinator, dan banyak token. Tim engineering memakai bentuk yang sama untuk migrasi kode, triase log, dan review keamanan, sehingga pelajarannya berlaku juga di sana.

Angka yang dilewatkan judul berita: satu dari sebelas

Dua detail dalam laporan The Next Web tentang preprint itu lebih penting bagi engineer daripada apa pun soal pengulangan DNA atau reverse transcriptase.

Pertama, hasil run ulang. Kampanye yang sama, dijalankan sepuluh kali lagi, tidak pernah memunculkan array itu lagi. Temuannya cukup kuat untuk dibawa ke lab, tetapi pipeline yang menghasilkannya tidak menghasilkannya secara andal. Seandainya Anthropic hanya menjalankan kampanye itu sekali dan mendarat di salah satu dari sepuluh hasil lainnya, tidak akan ada yang diumumkan.

Kedua, ongkos yang dibayar untuk memakai tool. Dalam uji tetap ketika model diberi DNA-nya secara langsung, model mendeskripsikan array itu dalam setidaknya 90% percobaan. Ketika model harus menempuh jalan lewat file dan tool untuk sampai ke materi yang sama, angkanya turun hingga serendah 32%. Modelnya mampu mengenali pola itu. Agennya sering kali tidak pernah sampai ke titik di mana kemampuan itu dibutuhkan.

Temuan kedua inilah yang perlu ditempel di dinding. Sebagian besar evaluasi agen menguji penilaian model atas input yang sudah diletakkan di depannya. Agen di produksi harus menemukan input itu lebih dulu: membuka file yang tepat, menjalankan query yang tepat, menelusuri halaman hasil yang tepat, dan memutuskan apa yang boleh diabaikan. Setiap langkah itu adalah peluang untuk tersesat. Kemampuan yang muncul 90% dari waktu bisa berubah menjadi hasil satu banding tiga begitu navigasi menjadi bagian dari pekerjaan. Satu run yang berhasil tidak akan memberi tahu Anda angka mana yang sebenarnya Anda hadapi.

Digabungkan, dua temuan ini menunjukkan bahwa pencarian agen berhorizon panjang berperilaku kurang seperti fungsi dan lebih seperti sampler. Setiap run adalah satu undian. Sebagian undian berjalan ke bagian ruang yang menarik; kebanyakan tidak. Satu run memberi tahu Anda apa yang ditemukan oleh satu jalur, bukan apa isi ruang pencarian itu.

Yang sebenarnya diperdebatkan para ilmuwan

Sebagian besar perdebatan publik berkisar pada apakah ART adalah "CRISPR berikutnya". Anthropic berhati-hati di sini: menurutnya, fungsi ART belum diketahui. The Next Web melaporkan bahwa preprint tersebut menyatakan aktivitas enzimnya belum dibuktikan. Preprint itu juga belum melalui peer review.

Reaksi dari luar terbelah sesuai dugaan. Feng Zhang dari MIT dan Broad Institute, dikutip oleh Anthropic, mengatakan: "Identifikasi array pengulangan RNA yang terkait dengan reverse transcriptase benar-benar menarik dan layak diselidiki lebih lanjut." Stanley Qi dari Stanford, berbicara kepada Al Jazeera, menyoroti metodenya alih-alih molekulnya: "Yang menonjol adalah kemampuannya mengenali pola biologis tak lazim yang sebelumnya sulit dideteksi, dan menelusurinya secara menyeluruh sebagai pertanyaan riset."

Kevin Blake dari Washington University School of Medicine, juga kepada Al Jazeera, menolak pembingkaian itu: "Tidak ada yang menunjukkan bahwa ini pesaing CRISPR sebagai teknologi, atau bisa dikembangkan menjadi aplikasi terapeutik atau praktis apa pun."

Posisi-posisi ini sebenarnya tidak saling bertentangan. Blake berbicara soal aplikasi, dan belum ada yang menunjukkan satu pun. Qi dan Zhang berbicara soal temuannya dan pencarian yang menghasilkannya. Engineer juga sebaiknya memisahkan dua klaim itu. "Agen menemukan sesuatu yang layak mendapat waktu sebuah lab" adalah klaim yang didukung bukti. "Agen menemukan alat penyuntingan gen baru" adalah klaim yang belum didukung bukti. Turunnya saham perusahaan penyuntingan gen lebih banyak bercerita tentang cara judul berita menyebar daripada tentang sainsnya.

Yang perlu dilakukan jika Anda memakai agen untuk pencarian atau penemuan

Jika agen Anda mencari hal-hal seperti bug, anomali, pola fraud, atau dokumen yang relevan, kampanye ART menunjukkan di mana risikonya berada. Pertanyaannya bukan terutama apakah modelnya cukup mampu, melainkan apakah sebuah run tertentu berhasil sampai ke sana.

Perlakukan variansi antar-run sebagai risiko utama. Sebelum memercayai sebuah pipeline, jalankan pada brief yang sama beberapa kali dan bandingkan apa yang dimunculkan tiap run. Jika hasil antar-run hanya sedikit beririsan, satu run adalah sampel, bukan survei.

Ukur recall lintas run, bukan per run. Tanam target yang sudah Anda ketahui di ruang pencarian, misalnya bug yang sengaja disisipkan, transaksi yang diketahui bermasalah, atau dokumen yang Anda tahu relevan. Lalu hitung berapa run yang menemukan masing-masing target. Dari situ Anda mendapat angka recall yang nyata sekaligus tahu berapa run yang dibutuhkan untuk cakupan yang memadai.

Uji lewat tool, jangan memotong jalan. Penurunan dari di atas 90% ke serendah 32% adalah selisih antara menguji model dan menguji agen. Jika eval Anda langsung menyodorkan input yang relevan ke model, eval itu hanya mengukur bagian yang mudah. Buat setidaknya sebagian eval di mana agen harus menemukan inputnya sendiri dengan file dan tool yang sama seperti di produksi.

Anggarkan run berulang atau ensemble. Jika satu run menemukan target sepertiga dari waktu, beberapa run independen dengan hasil yang digabungkan memberi peluang jauh lebih baik. Run-run itu harus benar-benar independen, jadi variasikan seed, titik awal, atau partisi ruang pencarian. Hitung biayanya sejak awal. Satu kampanye senilai 215,6 juta token persis jenis tagihan yang menggoda tim untuk melewatkan run ulang.

Pertahankan corong yang ditinjau manusia di ujung. Kampanye Anthropic berakhir di 19 laporan dan sebuah lab, bukan di klaim otomatis. Apa pun domain Anda, tugas agen adalah mempersempit ruang menjadi sesuatu yang bisa diperiksa manusia. Jaga output tetap kecil dan laporannya spesifik, lalu pastikan ada orang yang membacanya.

Laporkan penyebutnya. Ketika agen menemukan sesuatu, sebutkan berapa run yang dibutuhkan dan berapa yang meleset. Bagian run ulang di preprint melakukan persis itu, dan karena itulah angka satu dari sebelas bisa diketahui publik. Tulisan internal Anda sebaiknya melakukan hal yang sama.

Enzim itu mungkin akan terbukti penting, mungkin juga tidak. Angka satu dari sebelas sudah penting sekarang bagi siapa pun yang menaruh agen pada pencarian terbuka.