Cách red-team một kế hoạch với nhiều LLM (hướng dẫn từng bước)
Red-teaming — tự tấn công kế hoạch của chính mình trước khi thực tế làm điều đó — là thực hành tiêu chuẩn trong lĩnh vực bảo mật và ngày càng phổ biến trong công việc sản phẩm và chiến lược. Điểm nghẽn luôn là con người: tập hợp những người tấn công với các chuyên môn khác nhau đòi hỏi phải tổ chức cả một buổi hội thảo.
Với nhiều LLM, việc này chỉ mất vài phút. Hướng dẫn này chỉ ra cách chế độ Kiểm tra độ bền hoạt động trong LLM Debate Council và cách nhận được những phát hiện thực sự có thể hành động, chứ không chung chung.
Chế độ Kiểm tra độ bền được cấu trúc như thế nào
Một agent được chỉ định làm Người bảo vệ (Defender) cho kế hoạch của bạn; mọi agent khác đều là Kẻ tấn công (Attacker) với một góc độ cố định: bảo mật, khả năng mở rộng, chi phí, UX, hoặc pháp lý. Kẻ tấn công phải đưa ra các kịch bản thất bại cụ thể — khi nào và tại sao nó thất bại — chứ không phải những lo ngại mơ hồ.
Từ vòng thứ hai trở đi, kẻ tấn công phải nhắm cụ thể vào phản biện mới nhất của người bảo vệ ('bạn đã nói X — điều đó yếu vì Y'), để cuộc tấn công đào sâu thêm thay vì lặp lại. Bản tổng hợp cuối cùng là một danh sách lỗ hổng có cấu trúc: mỗi phát hiện đi kèm biện pháp giảm thiểu của người bảo vệ và điểm rủi ro.
Từng bước một
- 1. Viết kế hoạch thành một bản tóm tắt ngắn: bạn đang làm gì, cho ai, với những ràng buộc nào. Dán nó vào làm ý tưởng cho cuộc tranh luận.
- 2. Chọn 4–6 agent từ ít nhất hai nhà cung cấp khác nhau — sự đa dạng của kẻ tấn công chính là toàn bộ mấu chốt.
- 3. Chọn chế độ Kiểm tra độ bền. Agent đầu tiên sẽ trở thành Người bảo vệ, vì vậy hãy đặt mô hình mạnh nhất của bạn vào đó.
- 4. Bật kiểm tra sự thật (fact-check) nếu kế hoạch dựa vào số liệu hoặc quy định (các tuyên bố sẽ được xác minh bằng nguồn).
- 5. Chạy nó. Theo dõi các vòng trực tiếp; nếu kẻ tấn công bỏ lỡ một góc độ mà bạn lo ngại, hãy chèn nó vào giữa cuộc tranh luận bằng trường can thiệp của chuyên gia (expert-intervention).
- 6. Đọc kết luận như một danh sách công việc: mỗi lỗ hổng, biện pháp giảm thiểu, điểm rủi ro. Xuất ra PDF/DOCX (Pro) cho cả nhóm.
Làm sao để có những cuộc tấn công sắc bén hơn
Chất lượng tấn công phụ thuộc vào chất lượng bản tóm tắt. Hãy bao gồm các ràng buộc thực tế (ngân sách, thời hạn, quy mô đội ngũ, công nghệ sử dụng) — kẻ tấn công sẽ dùng chúng để xây dựng các kịch bản thất bại đáng tin cậy. Nêu rõ những gì bạn đã biết là điểm yếu: kẻ tấn công sẽ xác minh xem giải pháp của bạn có trụ vững trước thử thách thực tế hay không.
Cho các agent một nhân vật (persona) trong hướng dẫn của chúng để có sự sắc bén đặc thù theo lĩnh vực: 'bạn là luật sư chuyên về GDPR', 'bạn là một kỹ sư SRE đã từng chứng kiến kiến trúc này thất bại'. Các persona định hướng góc độ của từng kẻ tấn công vượt ra ngoài năm góc độ mặc định có sẵn.
Việc dùng nhiều nhà cung cấp mang lại lợi ích gì so với việc một mô hình tự tấn công chính mình
Một mô hình duy nhất khi được yêu cầu tấn công kế hoạch của chính nó có xu hướng nêu ra những rủi ro lịch sự, chung chung. Các mô hình từ các nhà cung cấp đối thủ — được huấn luyện trên dữ liệu khác nhau với việc căn chỉnh (alignment) khác nhau — thực sự tìm ra những lỗ hổng khác nhau. Trong thực tế, tổng hợp các cuộc tấn công từ GPT + Claude + Grok bao phủ một diện tích đáng kể hơn, và người bảo vệ không thể làm hài lòng tất cả chỉ bằng một câu trả lời qua loa.
Câu hỏi thường gặp
Tôi nên sử dụng bao nhiêu kẻ tấn công?
Tổng cộng bốn đến sáu agent hoạt động tốt nhất: một người bảo vệ cộng với 3–5 kẻ tấn công, lý tưởng nhất là trải rộng trên hai nhà cung cấp trở lên. Vượt quá con số đó, các vòng tranh luận sẽ kéo dài mà không thêm được nhiều phát hiện mới.
Tôi có thể thêm góc độ tấn công của riêng mình không?
Có — theo hai cách: cho một agent một persona trong hướng dẫn của nó ('tấn công với vai trò một kiểm toán viên thuế'), hoặc chèn một chỉ thị vào giữa cuộc tranh luận thông qua trường can thiệp của chuyên gia, mà mọi agent phải giải quyết ở vòng tiếp theo.
Tôi cần gói dịch vụ nào?
Kiểm tra độ bền là một tính năng của gói Pro ($20/tháng). Mọi gói đều bao gồm các mô hình tích hợp sẵn và tín dụng hằng tháng, nên một phiên đầy đủ thường chỉ dùng một phần nhỏ tín dụng hằng tháng của bạn; tùy chọn, bạn có thể gắn API key của riêng mình và trả tiền trực tiếp cho nhà cung cấp (0 tín dụng). Xuất PDF/DOCX cũng chỉ có ở gói Pro.
Gói miễn phí · dùng khóa API của bạn · 15 ngôn ngữ