Klaim sandi PD I GPT-6 Astra, diverifikasi dengan benar

Apa yang sebenarnya terjadi

Seorang pengembang yang menulis dengan nama "prinz" melaporkan bahwa GPT-6 Astra milik OpenAI berhasil memecahkan pesan radio Jerman era Perang Dunia I yang dienkripsi dengan sandi ADFGVX, menggunakan kata kunci "TRUPPENVERSCHIEBUNG." Pesan yang disadap itu bertanggal 27 November 1918. Teks polos hasil pemecahan Astra diterjemahkan menjadi: "Sebuah kapal penjelajah Inggris tiba di Sevastopol pada tanggal 24. Sebuah skuadron Sekutu menyusul pada tanggal 26."

Itu klaim yang spesifik dan bisa diperiksa, dan memang diperiksa. Tom's Hardware membandingkan teks hasil pemecahan itu dengan log kapal asli HMS Canterbury, yang mencatat kapal penjelajah itu tiba di Sevastopol pada 24 November 1918, dan skuadron Sekutu menyusul pada 26 November — cocok dengan teks polos tersebut. Kisah ini masuk ke halaman depan Hacker News dengan 289 poin dan 148 komentar, dan ditulis ulang secara independen oleh Tom's Hardware serta newsletter AI The Neuron, selain unggahan aslinya.

Dalam hitungan jam, kisah ini juga berubah menjadi perdebatan tentang apa sebenarnya pencapaian tersebut.

Perdebatannya, dan mengapa ini bagian yang menarik

Framing yang menyebar di media sosial adalah "AI memecahkan misteri yang tak terpecahkan selama lebih dari satu abad." Komentator teratas di Hacker News membantah framing itu secara langsung: proses pemecahan sandi itu menggunakan kata kunci yang sudah terdokumentasi dalam catatan sandi sejarah yang diterbitkan. Astra tidak memecahkan sandi yang tidak diketahui — ia menerapkan kunci yang sudah diketahui pada pesan dari rentang tanggal yang sebelumnya belum pernah dicoba.

Astra sendiri menawarkan hipotesis mengapa celah itu ada: kata kunci TRUPPENVERSCHIEBUNG baru terdokumentasi sebagai kunci sandi aktif pada 9 Desember 1918, setelah pesan khusus ini dikirim. Sejarawan yang mencari berdasarkan tanggal tidak akan terpikir untuk mencoba kunci yang, sejauh catatan menunjukkan, belum digunakan saat itu. Itu penjelasan yang masuk akal. Tapi, seperti yang ditunjukkan The Neuron, itu tetap hanya hipotesis — bukan fakta yang terbukti tentang mengapa pesan itu tidak terpecahkan selama 108 tahun.

The Neuron melangkah lebih jauh dan menyebutkan tolok ukur sebenarnya untuk klaim ini: reproduktibilitas. Bisakah peneliti lain mengambil instruksi yang sama, menjalankan proses pencarian dan pemecahan sandi yang sama, dan sampai pada teks polos yang sama? Itu pertanyaan yang jauh berbeda dari "apakah teks polosnya terlihat masuk akal," dan itulah yang secara implisit dituntut Hacker News saat membantah framing "misteri tak terpecahkan."

Alur kerja Astra yang sebenarnya

Lepaskan judul heboh dan alur kerjanya jadi jelas terlihat, dan itulah bagian yang berguna. Astra mencari arsip kunci sandi sejarah, menemukan kata kunci yang terdokumentasi, menerapkannya pada pesan yang belum pernah dicoba, menghasilkan hipotesis teks polos, dan hipotesis itu diperiksa silang dengan catatan sejarah eksternal — log kapal — yang sama sekali tidak berkaitan dengan model itu sendiri. Empat langkah: pencarian, penggunaan alat, pembuatan teks, dan pemeriksaan silang eksternal.

Tidak satu pun dari keempat langkah itu merupakan kriptanalisis baru. Tapi keempatnya bersama-sama menghasilkan klaim yang bertahan dari pemeriksaan dua media independen dan diskusi Hacker News yang cukup sengit, karena setiap langkahnya bisa dijalankan ulang oleh siapa pun tanpa akses ke model sama sekali. Log kapal itu ada secara independen. Arsip kunci sandi adalah catatan sejarah terdokumentasi, bukan sesuatu yang dikarang Astra. Satu-satunya bagian yang belum bisa direproduksi secara independen adalah proses spesifik model itu sendiri — dan itu justru celah yang disorot The Neuron.

Perbedaan itu — klaim yang bisa diperiksa versus klaim yang sudah diperiksa — adalah inti dari keseluruhan cerita ini, dan berlaku langsung untuk apa pun yang kamu bangun dengan agen AI.

Mengapa ini penting untuk pipeline agen AI

Sebagian besar sistem agentik yang menghasilkan klaim faktual — pipeline peringkasan, agen riset, bot review kode, apa pun yang mengeluarkan "X benar karena Y" — gagal dalam ujian yang sama jauh sebelum ada yang menyadarinya. Outputnya terlihat percaya diri dan spesifik, yang terkesan kredibel, tapi tidak ada apa pun dalam pipeline itu yang benar-benar memeriksanya terhadap sumber di luar hasil generasi model itu sendiri.

Kisah Astra adalah contoh kerja dari solusinya, meskipun solusi itu tidak dirancang sebagai solusi. Kebetulan ada pemeriksaan eksternal yang kuat: log kapal yang sudah ada lebih dari satu abad sebelum model itu ada dan tidak bisa dipengaruhi olehnya. Sebagian besar hasil pipeline agen tidak akan punya pemeriksaan sebersih itu. Tapi polanya bisa digeneralisasi:

Pisahkan langkah pembuatan dari langkah verifikasi, dan pastikan langkah verifikasi mengambil dari sumber yang tidak dihasilkan dan tidak bisa diedit oleh model.
Perlakukan "masuk akal" dan "terverifikasi" sebagai dua status berbeda, dan beri label output sesuai itu. Hipotesis Astra sendiri tentang mengapa pesan itu tidak terpecahkan jelas ditandai, oleh semua yang meliputnya, sebagai belum terbukti — sementara kecocokan teks polos dengan log kapal tidak.
Rancang untuk reproduktibilitas, bukan hanya kebenaran. Jika tidak ada orang lain yang bisa menjalankan langkah yang sama persis dan mendapatkan hasil yang sama persis, kamu tidak punya klaim yang terverifikasi — kamu punya klaim yang belum terverifikasi yang kebetulan benar sekali.
Perkirakan versi klaimmu yang paling bombastis akan menyebar lebih jauh daripada versi yang akurat. Framing "misteri tak terpecahkan" menyebar lebih cepat daripada framing yang lebih presisi "kunci yang diketahui diterapkan pada rentang tanggal yang belum dicoba" begitu sampai ke X dan Threads. Jika output pipeline-mu bisa diparafrase menjadi sesuatu yang lebih kuat dari yang sebenarnya kamu verifikasi, anggap saja itu akan terjadi.

Apa yang harus dilakukan

Jika kamu membangun atau mengevaluasi sistem agentik yang menghasilkan klaim — asisten riset, peringkas insiden, apa pun yang mengatakan "inilah yang terjadi" — pinjam strukturnya, bukan judulnya. Sebelum meluncurkan generator klaim, tanyakan apa padanan log HMS Canterbury untuk domainmu: sumber yang ada secara independen dari model, yang bisa diperiksa pembaca skeptis tanpa harus percaya padamu atau pada model sama sekali. Jika kamu tidak bisa menyebutkan satu pun, pipeline-mu menghasilkan teks yang masuk akal, bukan klaim yang terverifikasi, dan kamu harus memberi label seperti itu sampai pengujian reproduktibilitas membuktikan sebaliknya. Kasus Astra berakhir baik karena media independen melakukan pemeriksaan itu setelah fakta muncul. Lebih baik membangun pemeriksaan itu ke dalam pipeline itu sendiri, sehingga klaim terverifikasi sebelum sampai ke penggunamu, bukan setelah sampai ke Hacker News.