aihariini – Reverse game theory menawarkan cara berbeda untuk menjaga AI agent tetap patuh: buat sistem yang menjadikan kepatuhan sebagai pilihan yang paling menguntungkan. Pendekatan ini penting karena AI yang makin mampu bisa menjalankan tugas dengan semakin mandiri, sementara manusia tidak selalu bisa mengawasi setiap langkahnya.

Reverse game theory AI

Apa itu reverse game theory?

Reverse game theory, atau mechanism design, adalah cara merancang aturan dan insentif agar peserta dalam sebuah sistem terdorong memilih perilaku yang diinginkan. Alih-alih hanya bertanya apa yang akan dilakukan peserta, pendekatan ini bertanya aturan seperti apa yang perlu dibuat.

Bayangkan pengelola tempat parkir ingin pengendara membayar sesuai aturan. Ia bisa merancang sistem pembayaran dan konsekuensi pelanggaran sehingga membayar menjadi pilihan yang lebih masuk akal daripada menghindar, tanpa harus menempatkan petugas di setiap kendaraan sepanjang waktu.

Gagasan serupa sedang dibahas untuk AI agent, yaitu sistem AI yang bisa menjalankan serangkaian tindakan untuk mencapai tujuan. Aturan, hadiah, dan konsekuensinya dirancang agar mengikuti ketentuan lebih menguntungkan daripada mencoba melanggarnya.

Namun, analogi itu bukan berarti AI berpikir persis seperti manusia atau pasti memahami hadiah dan hukuman. Pertanyaan besarnya justru apakah rancangan insentif semacam ini benar-benar bekerja pada model AI yang kompleks.

Kenapa aturan dari luar diperlukan?

Salah satu alasan pendekatan ini menarik adalah sulitnya memahami cara kerja bagian dalam model frontier, yaitu model AI yang berada di garis depan kemampuan teknologi. Model bisa menghasilkan jawaban atau mengambil tindakan tanpa proses internalnya mudah dijelaskan.

Karena itu, peneliti mempertimbangkan kemungkinan bahwa mereka tidak akan pernah cukup memahami “otak” model untuk memastikan AI selalu selaras dengan tujuan manusia hanya dari pemeriksaan bagian dalamnya. Keselarasan berarti perilaku AI sesuai dengan tujuan dan batasan yang diharapkan manusia.

Mechanism design mencoba menangani persoalan dari sisi lain: bukan menunggu sampai seluruh proses internal AI dipahami, melainkan mengatur lingkungan tempat AI mengambil keputusan. Fokusnya ada pada pilihan yang tersedia dan konsekuensi dari pilihan itu.

Ini tidak otomatis menghilangkan kebutuhan untuk memahami model. Pengaturan dari luar justru bisa menjadi salah satu lapisan pengaman ketika tidak ada satu metode pun yang cukup untuk menjamin perilaku AI.

Mencegah AI berpura-pura kurang mampu

Salah satu masalah yang ingin ditangani adalah sandbagging: model sengaja tampil lebih buruk saat diuji daripada kemampuan sebenarnya. Jika tes tidak menunjukkan kemampuan sesungguhnya, orang bisa keliru menilai risiko yang perlu diwaspadai.

Stephen Morris, ekonom di MIT, bersama kolega dari Yale dan Columbia, mengusulkan mekanisme untuk mengurangi perilaku itu. Idenya adalah memberi hadiah bukan hanya berdasarkan performa tes, tetapi juga berdasarkan seberapa baik jawaban satu model memprediksi apa yang akan dikatakan model kedua.

Dalam skema ini, berpura-pura bodoh diharapkan menjadi strategi yang merugikan. Penilaian tidak hanya melihat apakah model tampak mampu mengerjakan tes, tetapi juga memperhitungkan hubungannya dengan respons model lain.

Anggap saja seperti penilaian yang tidak hanya memperhatikan hasil kerja satu peserta, tetapi juga kecocokan prediksinya tentang jawaban peserta lain. Tujuannya bukan sekadar mendapat nilai tinggi, melainkan membuat model lebih sulit mendapat keuntungan dari menyembunyikan kemampuannya.

Baca Juga :

AI bisa bergantian menjadi pemeriksa

Pendekatan lain datang dari Elad Hazan, profesor ilmu komputer di Princeton. Ia mengusulkan agar AI ditempatkan dalam peran bergantian sebagai solver, yang mengerjakan tugas, dan auditor, yang memeriksa apakah ada kecurangan.

Dalam rancangan ini, solver yang ketahuan curang akan mendapat hukuman. Auditor yang gagal mendeteksi kecurangan juga akan dihukum, sehingga keduanya punya alasan untuk menjalankan peran masing-masing dengan benar.

Jika solver dan auditor bersengketa, kasusnya bisa dibawa ke proses seperti “persidangan” dan mungkin diputuskan oleh pakar manusia. Jadi, manusia tidak harus memeriksa setiap tindakan secara terus-menerus, tetapi tetap bisa terlibat ketika diperlukan.

Ada risiko kedua pihak justru berkolusi atau bekerja sama untuk mengakali aturan. Hazan berpendapat risiko itu bisa dikurangi dengan memberi insentif yang cukup besar kepada auditor dan dengan mengaudit para auditor.

Insentif saja belum tentu cukup

Hazan merujuk pada karya Gary Becker, pemenang Nobel, tentang rational offender pada 1960-an. Gagasan itu melihat pelanggaran sebagai pilihan yang bisa muncul ketika keuntungan melanggar dianggap lebih besar daripada konsekuensinya.

Masalahnya, AI belum tentu merespons insentif seperti manusia yang membuat perhitungan rasional. Morris mengingatkan bahwa AI pada dasarnya adalah algoritme yang bekerja, sementara Helen Qu, research fellow di Flatiron Institute, mempertanyakan apakah AI benar-benar merespons insentif.

Model juga mungkin menemukan celah yang tidak diantisipasi perancang. Aturan yang tampak masuk akal bagi manusia belum tentu menutup semua cara AI mendapatkan hasil yang diinginkan tanpa mengikuti maksud aturan.

Qu karena itu melihat mechanism design sebagai satu lapisan dalam defense in depth, atau pertahanan berlapis. Lapisan lainnya mencakup interpretability untuk memahami model, regulasi, dan pelatihan AI agar perilakunya lebih sesuai harapan.

Apa artinya buat kamu yang memakai AI?

Kalau kamu memakai AI agent untuk membantu pekerjaan, ide ini menunjukkan bahwa keamanan bukan cuma soal memberi instruksi yang bagus. Cara tugas, pemeriksaan, dan konsekuensi dirancang juga penting, terutama ketika agent diberi ruang bertindak sendiri.

Untuk tugas yang berdampak penting, tetap periksa hasil dan tentukan kapan manusia perlu mengambil keputusan. AI yang memeriksa AI lain bisa membantu, tetapi bukan jaminan bahwa kesalahan, kecurangan, atau celah pasti terdeteksi.

Ada pula tantangan ekonomi: model yang lebih selaras mungkin lebih lambat atau mahal. Jika kalah bersaing, pengembang model frontier mungkin tidak terdorong untuk merilisnya, meski pendekatan keamanannya menjanjikan.

Singkatnya, reverse game theory menawarkan cara merancang kepatuhan agar lebih menarik bagi AI, bukan janji pengawasan yang sepenuhnya otomatis. Seberapa baik cara ini bekerja pada model frontier masih menjadi pertanyaan terbuka.