카운슬 모드: 익명 동료 순위를 통한 편향 없는 AI 답변

AI 답변을 결합하는 모든 방식에는 편향 문제가 있습니다. 모델들에게 토론을 시키면 합의 쪽으로 흘러갑니다. 한 모델에게 다른 모델들을 심사하게 하면 자신과 비슷한 답변을 선호하게 됩니다. 사람에게 물으면 우리는 이미 신뢰하는 브랜드를 선택합니다.

카운슬 모드는 이름을 제거합니다. 각 모델은 질문에 독립적으로 답변한 뒤, 다른 답변들을 익명화된 상태로 받습니다 — 답변 A, B, C — 그리고 오직 품질만으로 순위를 매깁니다. 의장 모델은 가장 높은 순위의 자료로부터 최종 답변을 종합합니다. 어떤 모델도 어느 답변이 누구의 것인지 알지 못합니다, 자신의 답변조차도요.

카운슬 세션은 어떻게 진행되는가

  • 1라운드 — 독립적 답변: 각 에이전트가 다른 에이전트를 보지 못한 채 혼자서 질문에 답합니다. 앵커링도, 집단 사고도 없습니다.
  • 2라운드 — 블라인드 순위 매기기: 각 에이전트는 이름이 제거된 전체 답변 세트를 받고, 정확성과 유용성을 기준으로 최고에서 최악 순으로 순위를 매기며 각 순위를 정당화해야 합니다 — 자신의 것일 수도 있는 답변에 대해서도 정직하게요.
  • 종합 — 의장: 마지막 단계에서 모든 순위를 집계하여 가장 높은 순위의 논리를 취하고, 약점을 버리고, 하나의 방어 가능한 답변을 제시하며, 카운슬이 어떤 답변을 가장 높게 평가했는지 알려줍니다.

익명성이 결과를 바꾸는 이유

모델은 사람처럼 자신의 스타일에 측정 가능할 정도로 관대합니다: 이름이 표시된 답변을 보면 모델은 자신의 표현 방식과 비슷한 결과물을 과대평가하는 경향이 있고, 인기 브랜드는 후광 효과를 얻습니다. 신원을 제거하면 순위는 남은 유일한 것 — 내용 — 에만 근거하게 됩니다.

이 아이디어는 Andrej Karpathy의 llm-council 실험에서 유래했는데, 이 실험은 모델들이 서로의 익명 답변을 순위 매길 때 어느 단일 모델보다 더 나은 집단적 판단을 내는 경우가 많다는 것을 발견했습니다 — 때로는 경쟁자의 답변을 자신의 답변보다 높게 평가하기도 합니다.

카운슬 대 디베이트: 언제 무엇을 사용할지

디베이트는 대립적이고 상호작용적입니다 — 질문에 논의할 실질적인 트레이드오프가 있고(가격 책정, 아키텍처, 전략) 입장이 충돌하는 것을 보고 싶을 때 가장 좋습니다.

카운슬은 독립적이고 평가됩니다 — 실시간 논쟁의 소음 없이 어려운 질문에 대한 단 하나의 가장 신뢰할 수 있는 답변을 원할 때 가장 좋습니다: 복잡한 기술적 질문, 상식 검증이 필요한 의학적·법적 설명, '여기서 실제로 무엇이 진실인가' 같은 질문.

  • 디베이트: 입장이 서로 공격하며 진화하고, 매 라운드마다 합의 정도가 추적됩니다
  • 카운슬: 입장이 독립적으로 형성되고, 품질이 블라인드로 평가됩니다
  • 디베이트: 트레이드오프와 의사결정에 훌륭합니다
  • 카운슬: 어려운 질문에서의 정확성에 훌륭합니다
  • 둘 다: 내보낼 수 있는 하나의 종합 판단으로 끝납니다

좋은 카운슬 설정하기

실제로 서로 다른 공급업체의 3~5개 에이전트를 사용하세요 — 익명성은 답변이 서로 다른 '사고'에서 나올 때만 의미가 있습니다. 강력한 모델을 첫 번째 자리에 배치하세요: 이 모델은 최종 종합을 작성하는 의장 역할도 겸합니다. 카운슬 모드는 Pro 기능입니다(Pro는 월 20달러). 모든 요금제에는 내장 모델과 매월 크레딧이 포함되어 있어 키 없이도 실행할 수 있습니다. 선택적으로 본인의 API 키를 연결하면 제공업체에 직접 결제하게 되어 크레딧을 0만큼 소비합니다.

자주 묻는 질문

익명화에도 불구하고 모델이 자신의 답변을 알아볼 수 있나요?

때때로 스타일로 알아볼 수 있지만, 다른 답변의 작성자는 알지 못하며, 순위 매기기 지침은 자신의 답변에 대해서도 정직할 것을 요구합니다. 실제로 모델은 경쟁자의 답변을 자신의 답변보다 높게 평가하는 경우가 흔합니다.

카운슬은 왜 Pro 전용 모드인가요?

각 에이전트를 두 번 실행하고(답변 + 전체 순위 매기기) 의장의 종합까지 더해지므로, 토큰과 오케스트레이션 부담이 가장 큰 모드가 됩니다. Pro는 더 큰 카운슬을 위해 최대 10개의 에이전트도 잠금 해제합니다.

이 아이디어는 어디서 왔나요?

여러 공급업체 간 블라인드 동료 순위 매기기를 입증한 Andrej Karpathy(2024)의 오픈소스 llm-council 실험에서 왔습니다. 카운슬 모드는 이 메커니즘을 의장 종합과 내보낼 수 있는 판단 기능과 함께 프로덕션에 구현한 것입니다.

카운슬 소집하기 (Pro)

무료 플랜 · 내 API 키 사용 · 15개 언어

카운슬 모드: 익명 동료 순위를 통한 편향 없는 AI 답변 · LLM Debate Council