Peneliti keamanan telah memanfaatkan matematika yang buruk untuk mengatasi pagar pembatas AI, menamai metode serangan setelah salah satu game PC terbaik tahun 2007

LLM paling mudah dipahami sebagai mesin yang suka mengampu, 'ya, dan'. Mengejutkan sangat sedikit orang, hal itu membuat perusahaan AI dalam masalah ketika chatbot dan agen AI berbasis LLM mencoba menjawab permintaan pengguna yang kurang menyenangkan. Jadi, perusahaan AI telah menerapkan pengaman yang membuat pemenuhan permintaan tertentu menjadi tidak terbatas. Sayangnya, ini terbukti terlalu mudah dihindari, dengan serangan baru yang memanfaatkan matematika buruk dan nostalgia kuat tahun 2007.

Para peneliti keamanan menemukan bahwa chatbot AI dapat dibuat untuk mengabaikan aturan pengaman dengan "menciptakan realitas palsu." LayerX, sebuah perusahaan keamanan siber yang berfokus pada AI, menguji "5 browser agen dan 1 plugin agen (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser, dan Claude Chrome)", mengarahkan setiap agen AI untuk memecahkan permainan teka-teki matematika sederhana yang hanya memberi hadiah pada jawaban yang salah, misalnya '2+2=5'.

Para peneliti mengatakan, "Setelah para agen memahami aturan dan belajar bahwa tindakan 'salah' dapat diterima, mereka tidak lagi terikat pada kenyataan. Ketika ditugaskan dengan langkah terakhir teka-teki—kompromi kredensial pengguna—keenam agen gagal mengidentifikasi bahwa itu melanggar pagar pengaman mereka."

Sebagai lulusan Bahasa Inggris, saya berusaha keras untuk tidak mengatakan apa-apa tentang 1984 karya George Orwell, tetapi para peneliti tidak memberi saya perlakuan mudah dengan menyebut serangan bukti konsep ini sebagai 'BioShocking'. Ternyata BioShock tahun 2007 menjadi sumber inspirasi langsung untuk permainan teka-teki yang diatur oleh agen AI untuk dipecahkan. Situs web berbahaya yang menjadi host puzzler ini bahkan disebut 'Rapture Games'.

Bagaimanapun, setelah agen AI memasukkan jawaban '5' dengan benar, situs web jahat 'Rapture Games' kemudian menginstruksikan agen untuk menavigasi ke '/code'. Para peneliti menjelaskan bahwa "Ini adalah bagian yang benar-benar jahat dari eksploitasi ini."

Mereka menulis, "Dalam game, ternyata '/code' mengarahkan ke repositori GitHub kerja korban. Dalam kasus ini, instruksi berbahaya mengambil kredensial login SSH yang sensitif. Tentu saja, ini adalah lingkungan pengujian terkontrol dengan file teks asli. Dalam skenario serangan nyata, pengalihan itu bisa mengarah ke mana saja dalam sesi browser pengguna: tab terbuka, repositori terautentikasi, alat internal."

Dalam serangan bukti konsep ini, para peneliti melengkapi dengan referensi Dota 2 ; agen AI mengekstrak nama pengguna dan kata sandi 'Luna/Selemene' sebelum muncul untuk merayakan eksfiltrasi data. LayerX sejak itu telah mengungkapkan kerentanan ini kepada semua vendor agen AI yang sesuai, meskipun mengklaim hanya OpenAI yang berhasil memperbaikinya hingga saat ini.

Ini bukan satu-satunya serangan bukti konsep yang bisa menghindari pagar pengaman AI (bahkan bukan satu-satunya kali AI menghancurkan pemain Dota 2). Sebagai beberapa contoh lain, penelitian menunjukkan bahwa AI 10 hingga 20 kali lebih mungkin membantu Anda membangun bom jika Anda menyembunyikan permintaan Anda dalam fiksi cyberpunk. Sejalan dengan itu, para peneliti juga menggunakan 'puisi adversarial' untuk menipu AI agar mengabaikan pengamannya, dan cara ini berhasil 62% dari waktu. Sepertinya gelar Bahasa Inggrisku berguna juga...