Cara melakukan red-team pada sebuah rencana dengan beberapa LLM (panduan langkah demi langkah)
Red-teaming — menyerang rencana Anda sendiri sebelum kenyataan yang melakukannya — adalah praktik standar dalam keamanan dan semakin umum digunakan dalam pekerjaan produk dan strategi. Hambatan utamanya selalu manusia: mengumpulkan attacker dengan keahlian berbeda membutuhkan sebuah workshop.
Dengan beberapa LLM, ini hanya butuh beberapa menit. Panduan ini menunjukkan cara kerja mode Uji ketahanan di LLM Debate Council dan cara mendapatkan temuan yang benar-benar dapat ditindaklanjuti, bukan yang generik.
Bagaimana mode Uji ketahanan disusun
Satu agen ditugaskan sebagai Defender untuk rencana Anda; setiap agen lainnya menjadi Attacker dengan sudut pandang tetap: keamanan, skalabilitas, biaya, UX, atau hukum. Attacker harus menghasilkan skenario kegagalan yang konkret — kapan dan mengapa rencana itu gagal — bukan kekhawatiran yang samar.
Mulai ronde kedua, attacker harus menargetkan bantahan terbaru defender secara spesifik ('kamu bilang X — itu lemah karena Y'), sehingga serangan semakin mendalam, bukan berulang. Sintesis akhirnya adalah daftar kerentanan terstruktur: setiap temuan dilengkapi mitigasi dari defender dan skor risiko.
Langkah demi langkah
- 1. Tuliskan rencana sebagai brief singkat: apa yang Anda kerjakan, untuk siapa, dengan batasan apa. Tempelkan sebagai ide debat.
- 2. Pilih 4–6 agen dari setidaknya dua vendor berbeda — keberagaman attacker adalah inti dari semuanya.
- 3. Pilih mode Uji ketahanan. Agen pertama akan menjadi Defender, jadi tempatkan model terkuat Anda di posisi itu.
- 4. Aktifkan fact-check jika rencana bergantung pada angka atau regulasi (klaim akan diverifikasi dengan sumber).
- 5. Jalankan. Amati setiap ronde secara langsung; jika attacker melewatkan sudut pandang yang Anda khawatirkan, masukkan itu di tengah debat melalui kolom expert-intervention.
- 6. Baca putusan akhir sebagai daftar pekerjaan: setiap kerentanan, mitigasinya, skor risikonya. Ekspor ke PDF/DOCX (Pro) untuk tim.
Cara mendapatkan serangan yang lebih tajam
Kualitas serangan mengikuti kualitas brief. Sertakan batasan nyata (anggaran, tenggat waktu, ukuran tim, stack teknologi) — attacker menggunakannya untuk membangun skenario kegagalan yang kredibel. Sebutkan hal yang sudah Anda ketahui lemah: attacker akan memverifikasi apakah perbaikan Anda bertahan saat benar-benar diuji.
Berikan agen persona dalam instruksinya untuk ketajaman spesifik domain: 'kamu adalah pengacara GDPR', 'kamu adalah SRE yang pernah melihat arsitektur ini gagal'. Persona mengarahkan sudut pandang setiap attacker melampaui lima sudut bawaan.
Apa yang ditambahkan multi-vendor dibanding satu model menyerang dirinya sendiri
Satu model yang diminta menyerang rencananya sendiri cenderung mengangkat risiko yang sopan dan generik. Model dari vendor pesaing — dilatih dengan data berbeda dengan alignment berbeda — benar-benar menemukan celah yang berbeda. Dalam praktiknya, gabungan serangan dari GPT + Claude + Grok mencakup permukaan yang jauh lebih luas, dan defender tidak bisa memuaskan semuanya hanya dengan satu jawaban yang asal-asalan.
Pertanyaan umum
Berapa banyak attacker yang sebaiknya saya gunakan?
Total empat hingga enam agen bekerja paling baik: satu defender ditambah 3–5 attacker, idealnya mencakup dua vendor atau lebih. Lebih dari itu, ronde menjadi panjang tanpa menambah banyak temuan baru.
Bisakah saya menambahkan sudut serangan saya sendiri?
Bisa — dengan dua cara: berikan agen sebuah persona dalam instruksinya ('serang sebagai auditor pajak'), atau masukkan instruksi di tengah debat melalui kolom expert-intervention, yang harus ditanggapi oleh setiap agen di ronde berikutnya.
Paket apa yang saya butuhkan?
Uji ketahanan adalah fitur Pro ($20/bulan). Setiap paket menyertakan model bawaan dan kredit bulanan, sehingga satu sesi lengkap biasanya hanya menghabiskan sebagian kecil dari kredit bulanan Anda; secara opsional Anda bisa menyambungkan API key Anda sendiri dan membayar langsung ke penyedia (0 kredit). Ekspor PDF/DOCX juga hanya tersedia di Pro.
Paket gratis · pakai kunci API sendiri · 15 bahasa