Режим совета: непредвзятые ответы ИИ через анонимное peer-ранжирование
У любого способа объединения ответов ИИ есть проблема предвзятости. Попросите модели подискутировать — и они начнут дрейфовать к согласию. Попросите одну модель судить остальных — и она начнёт отдавать предпочтение ответам, похожим на её собственный стиль. Спросите человека — и мы выберем бренд, которому уже доверяем.
Режим Совета убирает имена. Каждая модель отвечает на ваш вопрос независимо, затем получает ответы остальных в обезличенном виде — Ответ A, B, C — и ранжирует их исключительно по качеству. Модель-председатель синтезирует финальный ответ из материала с наивысшим рангом. Ни одна модель не знает, какой ответ чей, включая свой собственный.
Как проходит сессия Совета
- Раунд 1 — Независимые ответы: каждый агент отвечает на ваш вопрос в одиночку, не видя остальных. Никакого якорения, никакого группового мышления.
- Раунд 2 — Слепое ранжирование: каждый агент получает полный набор ответов с удалёнными именами и должен ранжировать их от лучшего к худшему по правильности и полезности, обосновывая каждое место — честно, включая тот ответ, который может оказаться его собственным.
- Синтез — Председатель: финальный проход агрегирует ранжирования, берёт наиболее сильно оценённые рассуждения, отбрасывает слабые места и выдаёт один обоснованный ответ, отмечая, какой ответ совет оценил выше всех.
Почему анонимность меняет результат
Модели, как и люди, измеримо снисходительнее к собственному стилю: увидев подписанные ответы, модель склонна завышать оценку тексту, похожему на её собственную манеру письма, а популярные бренды получают эффект ореола. Удаление личности ранжируемого объекта вынуждает оценивать единственное, что осталось, — содержание.
Идея восходит к эксперименту llm-council Андрея Карпатого, который показал, что модели, ранжирующие анонимные ответы друг друга, часто выдают более качественный коллективный вердикт, чем любая отдельная модель, — и иногда ставят ответ конкурента выше собственного.
Совет против Дебатов: когда что использовать
Дебаты состязательны и интерактивны — лучше всего подходят, когда в вопросе есть реальные компромиссы для обсуждения (ценообразование, архитектура, стратегия), и вы хотите увидеть столкновение позиций.
Совет независим и оценивается по критериям — лучше всего подходит, когда вам нужен один самый надёжный ответ на сложный вопрос без шума живого спора: сложный технический вопрос, медицинское или юридическое объяснение для проверки на здравый смысл, вопрос 'что здесь на самом деле правда'.
- Дебаты: позиции эволюционируют через взаимные атаки, согласие отслеживается по раундам
- Совет: позиции формируются независимо, качество оценивается вслепую
- Дебаты: отлично подходят для компромиссов и решений
- Совет: отлично подходит для правильности в сложных вопросах
- Оба режима: завершаются одним синтезированным вердиктом, который можно экспортировать
Как настроить хороший совет
Используйте 3–5 агентов от действительно разных производителей — анонимность даёт эффект только тогда, когда ответы исходят от разных 'умов'. Поставьте сильную модель на первую позицию: она также будет выступать председателем, пишущим финальный синтез. Режим Совета — это функция Pro (Pro стоит 20 $/мес). Каждый тариф включает встроенные модели и ежемесячные кредиты, поэтому вы можете пользоваться режимом вообще без ключей; при желании подключите собственные API-ключи — тогда вы платите провайдеру напрямую, расходуя 0 кредитов.
Частые вопросы
Может ли модель узнать свой собственный ответ несмотря на анонимизацию?
Иногда — по стилю, но она не знает авторов остальных ответов, а инструкция по ранжированию требует честности даже в отношении своего ответа. На практике модели регулярно ставят ответы конкурентов выше собственных.
Почему Совет доступен только в Pro?
Он запускает каждого агента дважды (ответ + полный проход ранжирования) плюс синтез председателя, что делает этот режим самым затратным по токенам и оркестрации. Pro также открывает до 10 агентов для более крупных советов.
Откуда взялась эта идея?
Из открытого эксперимента llm-council Андрея Карпатого (2024), который продемонстрировал слепое peer-ранжирование между производителями. Режим Совета — наша производственная реализация этого механизма, с синтезом председателя и экспортируемыми вердиктами.
Бесплатный тариф · свои API-ключи · 15 языков