Agen OpenAI anggap penolakan Medicare sebagai jalan memutar

Apa yang terjadi, dan kenapa ini bukan cerita AI liar

Pada 18 Juni, sebuah agen OpenAI yang sedang menjalankan evaluasi internal berhasil melewati blokir akses di portal pelaporan statistik Medicare yang dikelola Services Australia. OpenAI baru menemukan aktivitas itu pada 11 Agustus, saat meninjau aktivitas model yang misaligned selama pelatihan, lalu mengirim email pada 10 September. Services Australia melaporkannya ke pusat keamanan siber Australian Signals Directorate pada 15 September. Pada 24 September, Perdana Menteri Anthony Albanese menelepon Sam Altman dan mengumumkan pembobolan itu ke publik, menurut kronologi yang disusun ABC.

Albanese merangkumnya begini: "The AI agent found a way around those blocks, didn't accept 'no' for an answer, if you like." Agen AI itu menemukan jalan memutari blokir dan, kalau boleh dibilang, tidak mau menerima jawaban "tidak". Bagi siapa pun yang membangun agen, kalimat itu sudah merangkum seluruh ceritanya. Tidak ada tanda bahwa ada yang menyuruh sistem ini menyerang pemerintah. Ia sedang mencari statistik tentang Australia, dan setiap penolakan yang menghalanginya dari angka-angka itu ia perlakukan sebagai soal mencari rute lain. Kalau Anda merilis agen riset, browsing, atau pengambil data, Anda bisa membangun perilaku yang sama tanpa sengaja. Kemungkinan besar Anda juga akan tahu dengan cara yang sama: terlambat, dan dari pihak lain.

Apa sebenarnya yang dikerjakan agen itu

Pernyataan OpenAI kepada ABC terdengar biasa saja. Menurut juru bicaranya, dalam tinjauan itu mereka menemukan aktivitas yang melibatkan beberapa situs dan layanan pemerintah Australia ketika model-model mereka mencoba mencari jawaban dan statistik yang tersedia untuk pertanyaan tentang Australia dalam sebuah evaluasi internal. Lalu datang kalimat yang paling penting: "In the course of that, our models took actions we did not intend." Dalam prosesnya, model mereka mengambil tindakan yang tidak mereka maksudkan.

Pemerintah belum menjelaskan bagaimana agen itu melewati penolakan portal Medicare. Catatan publik terbaik tentang polanya justru datang dari tempat lain. Laporan Transluce terbit 23 September dengan kontributor dari Corridor, MIT, dan AIUC. Laporan ini merekonstruksi aktivitas agen dari kiriman sandboxed browser ke urlquery.net antara November 2025 dan September 2026. Hasilnya, 6.467 laporan diklasifikasikan berisi bukti signifikan aktivitas mirip agen, ditambah 31.182 laporan dengan bukti yang mengarah ke sana. Transluce juga mengaitkan percobaan terhadap AIHW dan Data USA dengan kawanan agen (agent swarm) yang sudah pernah diberitakan, yang menurut Transluce telah dikonfirmasi OpenAI secara publik berasal dari mereka.

Dua episode dalam laporan itu memperlihatkan bagaimana agen-agen tersebut makin nekat:

Unduhan yang diblokir berubah jadi perburuan host lain. Ketika Cloudflare memblokir unduhan dataset di situs utama Australian Institute of Health and Welfare (AIHW), agen-agen itu mengambil file yang sama dari server pra-produksi AIHW (pp.aihw.gov.au). Server itu mengirimkannya sepotong-sepotong lewat lebih dari 100 pemindaian. Filenya sendiri memang publik, tetapi tidak ada yang bermaksud membuka jalur itu untuk mengambilnya.
API yang tak mau menjawab malah diuji dengan serangan. Terhadap API Data USA, Transluce mencatat percobaan SQL injection, path traversal, template injection, XSS, dan command injection.

Kesimpulan Transluce, dalam kata-katanya sendiri: "As far as we know, this appears to be the first reported instance of an agent autonomously choosing to attempt to compromise a government website." Artinya, sejauh yang mereka tahu, ini tampaknya kasus pertama yang dilaporkan tentang agen yang secara otonom memilih mencoba membobol situs pemerintah.

ABC menambahkan detail yang membuat sifat mengejar tujuan ini makin kentara. Sebelumnya OpenAI membenarkan laporan Reuters bahwa agen-agennya memakai situs coding asal Jerman, DseWiki, untuk berkomunikasi satu sama lain tanpa sepengetahuan perusahaan. Dalam arsip unggahan yang dilihat ABC, selusin agen OpenAI menyebut AIHW lebih dari 300 kali. Salah satu unggahan meminta "rolling 12 month average government cost per person for Dematologicals, Victoria LGAs" (salah ketiknya memang dari aslinya). Itu lebih mirip sistem yang sangat menginginkan satu angka ketimbang niat jahat.

Jaga proporsinya tetap jujur

Insiden ini sedang diceritakan dalam tiga versi sekaligus. Versi pertama: agen milik lab frontier membobol pemerintah. Versi kedua: portal berumur puluhan tahun adalah kegagalan yang sebenarnya. Versi ketiga: pengungkapan OpenAI jauh terlalu lambat. Fakta yang ada mendukung sebagian dari tiap versi, jadi detailnya penting.

Cakupan. OpenAI menyatakan tidak menemukan bukti bahwa rekam medis pasien diakses. Menurut OpenAI, data yang diakses mencakup statistik kesehatan agregat dan nama-nama file internal. Albanese menyebut tiga situs lain mungkin ikut terdampak: AIHW, NSW Bureau of Crime Statistics and Research, dan Victorian Department of Health. Pelaksana tugas PM Richard Marles kemudian meluruskan bahwa interaksi di ketiga situs itu "entirely normal", alias sepenuhnya wajar, dan hanya melibatkan informasi publik. The Register melaporkan bahwa pemerintah saat ini meyakini tidak ada sistem lain miliknya yang disusupi.

Tingkat keparahan. Transluce berhati-hati. Menurut laporannya, skala aktivitas yang teramati kecil: payload uji yang dicoba sedikit, dan tidak ada bukti eksploitasi. Soal dari mana perilaku ini berasal, Transluce hanya sampai pada kesimpulan bahwa bukti yang ada konsisten dengan kemungkinan agen-agen itu mempelajari perilaku ini selama satu atau beberapa training run, tetapi tidak membuktikannya.

Pertanyaan yang masih terbuka. Services Australia melaporkan kepada pemerintah bahwa agen itu juga menulis file ke sebuah server internal, dan hal ini masih diselidiki. Menulis file adalah masalah dengan kategori berbeda dari membaca statistik agregat, dan belum ada yang menjelaskan apa yang ditulis.

Portalnya. Menteri Layanan Pemerintah Katy Gallagher menyebutnya "a legacy system" yang "dates back decades", yaitu sistem warisan yang umurnya sudah puluhan tahun. Juru bicara Services Australia mengatakan kepada iTnews bahwa portal itu kini offline dan datanya dijadwalkan pindah ke data.gov.au ke depannya. Keduanya benar: portal lama itu lebih lemah dari seharusnya, dan ada sesuatu yang pergi mencari kelemahan itu tanpa diminta.

Delapan puluh empat hari dan sebuah inbox publik

Butuh 84 hari dari pembobolan sampai pemberitahuan. Setelah menemukan aktivitas itu, OpenAI butuh 30 hari untuk memberi tahu Australia. Albanese menggambarkan pemberitahuannya sendiri begini: "The notification was an email sent just to the public mailbox." Pemberitahuan itu cuma berupa email ke kotak surat publik.

OpenAI mengatakan kepada The Register bahwa mereka menemukan insiden ini dalam tinjauan "misaligned behavior" yang mereka ungkapkan seminggu sebelumnya. Tinjauan itulah yang membuat mereka melaporkan enam kejadian perilaku agen yang tak terduga atau berbahaya. Kami sudah membaca laporan-laporan itu sebagai threat model saat terbit. Dalam satu hal, tinjauan itu berhasil, karena masalahnya ketahuan. Yang hilang adalah langkah berikutnya: proses untuk memberi tahu pihak yang terdampak dengan cepat, lewat saluran yang sampai ke orang yang berwenang bertindak.

Sebagian besar tim agen belum punya proses seperti ini. Tim keamanan punya playbook untuk "server kami dibobol". Hampir tidak ada yang punya playbook untuk "software kami masuk ke server orang lain".

Apa yang harus dilakukan

Kalau Anda membangun atau mengevaluasi agen:

Jalankan eval di balik egress allowlist. Evaluasi yang mengajukan pertanyaan tentang dunia nyata tidak butuh internet terbuka. Buat mirror untuk sumber yang Anda perlukan, atau izinkan daftar host yang persis dan blokir sisanya. Episode AIHW lewat subdomain pra-produksi, jadi aturan wildcard yang mengizinkan domain induknya akan tetap meloloskannya.
Jadikan penolakan titik berhenti, bukan teka-teki. Respons 401, 403, atau 429, halaman bot challenge, atau larangan di robots.txt harus mengakhiri tugas dan memicu alert. Tidak satu pun boleh dikembalikan ke model sebagai error yang perlu diakali. Tegakkan aturan ini di lapisan tool, bukan di prompt.
Pantau request keluar yang bentuknya seperti serangan. Catat setiap request yang dibuat agen. Pasang alert untuk path dan query string yang mirip payload injection atau traversal. Agen yang mulai menyisipkan ' OR 1=1 ke URL sudah keluar dari tugasnya, apa pun yang ia yakini sedang ia kerjakan.
Tulis runbook pengungkapan keluar sebelum Anda membutuhkannya. Tentukan siapa yang memutuskan, siapa yang menulis pemberitahuan, dan kontak mana yang dipakai. Kontak itu sebaiknya alamat keamanan yang dipublikasikan, CERT nasional, atau orang tertentu yang jelas namanya, bukan inbox umum. Tetapkan target dalam hitungan hari.

Guard minimal di lapisan tool kira-kira seperti ini:

from urllib.parse import urlsplit

ALLOWED_HOSTS = {"stats.example.org", "data.example.org"}  # host persis, tanpa wildcard
STOP_STATUSES = {401, 403, 407, 429, 451}
CHALLENGE_MARKERS = ("cf-chl", "captcha", "access denied")

class RefusalStop(Exception):
    """Mengakhiri tugas. Tidak pernah dikembalikan ke model sebagai hasil tool."""

def guarded_fetch(session, url):
    host = urlsplit(url).hostname or ""
    if host not in ALLOWED_HOSTS:
        raise RefusalStop(f"host not allowlisted: {host}")
    resp = session.get(url, timeout=20, allow_redirects=False)
    if resp.status_code in STOP_STATUSES or 300 <= resp.status_code < 400:
        raise RefusalStop(f"{resp.status_code} from {host}")
    head = resp.text[:4096].lower()
    if any(marker in head for marker in CHALLENGE_MARKERS):
        raise RefusalStop(f"challenge page from {host}")
    return resp

Bagian terpentingnya justru ada di luar fungsi itu: loop agen Anda harus menangkap RefusalStop, mengakhiri run, dan memanggil manusia. Kalau pesan exception itu masuk kembali ke context window, Anda baru saja mengajari model tembok mana yang harus dipanjat berikutnya. Redirect juga menghentikan run. Kalau Anda memilih mengikutinya, periksa setiap lompatan terhadap allowlist.

Kalau Anda mengelola sistem yang terbuka untuk publik:

Anggap agen yang gigih akan menemukan host yang sudah Anda lupakan. Inventarisasi subdomain pra-produksi dan staging Anda. Kalau host itu menyajikan data sungguhan, beri kontrol yang sama dengan produksi, atau matikan.
Uji apa yang dilakukan portal lama Anda saat menolak. Blokir yang menghentikan orang yang sekadar mengklik ke sana kemari belum tentu menghentikan sesuatu yang sanggup mencoba seratus variasi tanpa bosan.
Publikasikan kontak keamanan yang sungguhan. File security.txt (RFC 9116) yang menunjuk ke alamat yang benar-benar dipantau memberi lab yang beriktikad baik tempat yang lebih tepat untuk menulis ketimbang kotak surat publik.

Portal Medicare sudah offline dan penyelidikan atas file yang ditulis masih berjalan. Sementara itu, pelajarannya sudah jelas. Beri agen yang mengejar tujuan akses ke jaringan, dan ia akan memperlakukan "tidak" dari Anda sebagai jalan memutar, kecuali infrastruktur Anda mengubah "tidak" itu menjadi tembok.