Ponsel lipat memperluas kemampuan smartphone, sedangkan ponsel minimalis membatasi gangguan. Bentuknya mirip, tetapi masalah yang dijawab berbeda.
Hedra.ID, Washington - Tim internal biasanya menjadi pihak pertama yang menguji keamanan sistem AI. Mereka memahami arsitektur, tujuan produk, komponen yang saling terhubung, dan cara sistem tersebut akan digunakan.
Pengetahuan itu penting, tetapi tidak mencakup seluruh risiko. Satu perusahaan sulit memiliki keahlian atas setiap bahasa, profesi, budaya, dan situasi penggunaan yang mungkin dihadapi produknya. Ketika AI dipakai dalam konteks yang semakin beragam, latar belakang penguji menjadi sama pentingnya dengan jumlah pengujian yang dilakukan.
Microsoft mencoba memperluas cakupan tersebut melalui External Red Team Alliance atau EXTRA. Red teaming adalah proses mencari kelemahan sistem dengan mencoba menyalahgunakan, memanipulasi, atau mendorongnya menghasilkan perilaku yang tidak diinginkan.
Program yang diumumkan pada Senin (27/7/2026), itu mendukung 18 laboratorium universitas di enam benua melalui pendanaan tanpa pembatasan penggunaan. Microsoft juga membangun jaringan spesialis yang dapat dilibatkan untuk menguji jenis serangan, bahasa, budaya, atau bidang teknis tertentu.
Program ini memperlihatkan perubahan dalam pengujian keamanan AI. Fokusnya bukan hanya seberapa kuat sistem menahan serangan teknis, tetapi juga apakah proses pengujian mencakup sudut pandang yang cukup beragam untuk menemukan kegagalan dalam situasi berbeda.
Tim internal memiliki akses dan pemahaman yang sulit digantikan pihak luar. Mereka mengetahui desain sistem, pengaturan keamanan, riwayat perubahan, serta batas teknis yang tidak selalu terlihat oleh penguji eksternal.
Namun, mereka juga bekerja di dalam kerangka yang dibentuk oleh keputusan pengembangan perusahaan. Tim dapat sangat baik dalam menemukan kegagalan yang sudah masuk dalam daftar risiko, tetapi lebih sulit menangkap masalah yang sejak awal tidak dianggap penting atau tidak terlihat dari lingkungan internal.
Pada sistem AI, keterbatasan ini menjadi lebih rumit karena perilaku model tidak hanya ditentukan oleh kode aplikasi. Hasilnya dapat berubah mengikuti susunan instruksi, data yang dimasukkan pengguna, bahasa, bidang penggunaan, dan konteks interaksi.
Microsoft menyebut pengujian AI telah berkembang dari persoalan seperti prompt injection dan keamanan konten menuju skenario penyalahgunaan, penanganan insiden keamanan, kegagalan perilaku model, serta risiko yang berbeda menurut bahasa dan wilayah.
Prompt injection adalah upaya memanipulasi instruksi agar sistem mengabaikan batas yang telah ditetapkan atau menjalankan perintah yang seharusnya tidak dilakukan. Adapun kegagalan perilaku model mencakup keadaan ketika respons sistem menyimpang dari tujuan, aturan, atau batas penggunaan yang telah ditentukan.
Pernyataan tersebut berasal dari Microsoft sebagai pihak yang mengumumkan EXTRA. Namun, mekanisme dasarnya juga tercermin dalam panduan NIST.
NIST menyatakan bahwa kualitas red teaming dipengaruhi oleh latar belakang dan keahlian para penguji. Keragaman disiplin dan demografi dapat membantu menemukan kelemahan dalam konteks penggunaan yang berbeda. Keahlian bidang serta pemahaman sosial dan budaya juga diperlukan agar pengujian tidak hanya menggambarkan perilaku model dalam kondisi laboratorium.
Dalam perangkat lunak konvensional, pengujian keamanan sering diarahkan pada akses tanpa izin, kebocoran data, peningkatan hak akses, atau gangguan layanan.
Risiko semacam itu tetap ada pada sistem AI. Berdasarkan pengalaman Microsoft menguji lebih dari 100 produk AI generatif, aplikasi AI masih dapat membawa persoalan lama seperti komponen usang, kredensial yang tidak terlindungi, serta penyaringan masukan dan keluaran yang lemah. Model kemudian menambahkan jalur serangan baru, termasuk prompt injection dan manipulasi instruksi.
Namun, red teaming AI juga mencakup masalah yang tidak selalu memiliki solusi teknis sederhana. Penguji dapat mencari keluaran diskriminatif, informasi berbahaya, respons yang menyesatkan, atau perilaku yang baru terlihat ketika sistem digunakan oleh kelompok tertentu.
Microsoft menyimpulkan bahwa otomasi tidak dapat menggantikan seluruh peran manusia dalam pengujian. Penggunaan AI di bidang seperti kesehatan dan keamanan membutuhkan keahlian khusus. Risiko lintas bahasa dan budaya juga memerlukan orang yang memahami konteks tersebut, bukan hanya alat yang mampu menghasilkan banyak variasi prompt.
Karena itu, banyaknya pengujian tidak selalu menunjukkan luasnya risiko yang berhasil ditemukan. Sebuah sistem dapat lolos dari ribuan skenario umum, tetapi tetap gagal ketika berhadapan dengan istilah lokal, norma sosial tertentu, proses kerja khusus, atau situasi yang hanya dipahami oleh praktisi di bidangnya.
Penguji eksternal tidak otomatis lebih baik hanya karena berada di luar perusahaan. Nilai mereka terletak pada pengalaman, keahlian, dan pertanyaan berbeda yang dibawa ke dalam proses pengujian.
Pakar keamanan dapat mencari jalur manipulasi teknis. Tenaga medis dapat menilai apakah jawaban yang tampak meyakinkan justru berbahaya ketika diterapkan. Peneliti bahasa dapat menemukan kegagalan yang tidak muncul dalam pengujian berbahasa Inggris. Kelompok pengguna juga dapat menunjukkan dampak yang sulit terlihat dalam lingkungan laboratorium.
NIST membedakan beberapa bentuk red teaming. Pengujian dapat dilakukan oleh masyarakat umum, pakar bidang, gabungan keduanya, atau kombinasi manusia dan AI. Bentuk yang dipilih bergantung pada cara sistem digunakan dan jenis risiko yang ingin ditemukan.
EXTRA bergerak dengan logika serupa. Program tersebut menghubungkan laboratorium akademik, praktisi keamanan, dan pakar regional. Microsoft menyatakan bahwa dana kepada universitas tidak disertai target produk atau hasil yang telah ditentukan. Sementara itu, jaringan spesialisnya ditujukan untuk pengujian operasional pada area yang membutuhkan keahlian tertentu.
Struktur ini dapat memperluas kapasitas riset dan pengujian. Namun, pengumuman program belum cukup untuk menilai kualitas hasilnya. Microsoft belum memaparkan metodologi bersama, aturan akses terhadap sistem, mekanisme publikasi temuan, atau ukuran keberhasilan EXTRA.
Kehadiran universitas atau peneliti dari luar tidak dengan sendirinya membuat evaluasi sepenuhnya independen. Tingkat independensi juga ditentukan oleh siapa yang memilih sistem dan ruang lingkup pengujian, data apa yang dapat diakses, bagaimana temuan dilaporkan, serta apakah hasilnya dapat dipublikasikan. Hubungan antara penguji dan perusahaan ikut menentukan seberapa jauh evaluasi dapat dilakukan.
Dalam EXTRA, Microsoft membedakan pendanaan akademik tanpa pembatasan penggunaan dari jaringan spesialis yang terlibat dalam pengujian operasional. Karena itu, seluruh kegiatan di dalam program tersebut tidak dapat diperlakukan sebagai audit eksternal dengan tingkat independensi yang sama.
Perbedaan ini penting agar istilah “pengujian eksternal” tidak berubah menjadi label bahwa sebuah sistem sudah dapat dipercaya. Red teaming dirancang untuk mencari kegagalan dan menguji perlindungan. Proses tersebut bukan bukti bahwa sebuah model telah bebas dari risiko.
NIST juga menempatkan hasil red teaming sebagai bahan yang masih harus dianalisis sebelum diterjemahkan menjadi perubahan kebijakan, perbaikan sistem, atau keputusan pengelolaan risiko. Temuan baru memiliki nilai ketika organisasi mampu menilai tingkat bahayanya, menerapkan perbaikan, lalu menguji apakah perbaikan tersebut bekerja.
Penguji eksternal tidak menggantikan tim internal. Pihak luar mungkin menemukan pola kegagalan yang sebelumnya luput, tetapi tim perusahaan tetap diperlukan untuk menelusuri akar teknis, mengakses komponen sistem, dan menerapkan perbaikan.
Sebaliknya, proses yang hanya mengandalkan tim internal berisiko mengulang ruang lingkup, asumsi, dan definisi bahaya yang sama. Keduanya lebih tepat ditempatkan dalam satu siklus: penguji mencari kegagalan, pengembang memperbaikinya, lalu sistem diuji kembali.
Microsoft menggambarkan red teaming sebagai proses berkelanjutan. Langkah pengurangan risiko tidak menghilangkan seluruh kemungkinan kegagalan. Tujuannya bukan menciptakan sistem yang mustahil diserang, melainkan menemukan lebih banyak pola kelemahan dan membuat eksploitasi menjadi lebih sulit.
EXTRA menunjukkan arah menuju pengujian yang lebih tersebar, lintas disiplin, dan lintas wilayah. Efektivitas program tersebut masih harus dinilai dari pelaksanaan dan hasil yang nantinya tersedia.
Ketika AI digunakan melintasi bahasa, profesi, dan masyarakat yang berbeda, batas aman sebuah sistem tidak dapat ditentukan hanya dari sudut pandang organisasi yang membangunnya.
