Konsey modu: anonim akran sıralaması yoluyla tarafsız yapay zekâ yanıtları
Yapay zekâ yanıtlarını birleştirmenin her yolunda bir önyargı sorunu vardır. Modellerden tartışmalarını isteyin, anlaşmaya doğru kayarlar. Bir modelden diğerlerini yargılamasını isteyin, kendisine benzeyen yanıtları kayırır. Bir insana sorun, zaten güvendiğimiz markayı seçeriz.
Konsey modu isimleri ortadan kaldırır. Her model sorunuzu bağımsız olarak yanıtlar, ardından diğer yanıtları anonimleştirilmiş şekilde alır — Yanıt A, B, C — ve bunları yalnızca kaliteye göre sıralar. Bir başkan model, en yüksek sıralanan içerikten nihai yanıtı sentezler. Hiçbir model hangi yanıtın kime ait olduğunu bilmez, kendi yanıtı da dahil.
Bir Konsey oturumu nasıl işler
- 1. Tur — Bağımsız yanıtlar: her ajan, diğerlerini görmeden sorunuzu tek başına yanıtlar. Çapalama yok, grup düşüncesi yok.
- 2. Tur — Kör sıralama: her ajan, isimleri kaldırılmış tüm yanıt setini alır ve doğruluk ile faydaya göre en iyiden en kötüye doğru sıralamak zorundadır, her sıralamayı gerekçelendirerek — dürüstçe, kendisine ait olabilecek yanıt da dahil.
- Sentez — Başkan: son bir tur, sıralamaları bir araya getirir, en güçlü sıralanan mantığı alır, zayıf noktaları eler ve konseyin hangi yanıtı en üstte sıraladığını belirterek savunulabilir tek bir yanıt sunar.
Anonimlik sonucu neden değiştirir
Modeller, tıpkı insanlar gibi, kendi tarzlarına ölçülebilir şekilde daha hoşgörülüdür: etiketli yanıtlar gösterildiğinde bir model, kendi ifade tarzına benzeyen çıktıyı fazla değerlendirme eğilimindedir ve popüler markalar hale etkisi kazanır. Kimliği kaldırmak, sıralamayı geriye kalan tek şeye — içeriğe — dayandırmaya zorlar.
Bu fikir, Andrej Karpathy'nin llm-council deneyine dayanır; bu deney, modellerin birbirlerinin anonim yanıtlarını sıralamasının, tek bir modelden daha iyi bir toplu karar üretmesinin sık görüldüğünü ve bazen bir rakibin yanıtını kendi yanıtından üstün sıraladığını ortaya koymuştur.
Konsey ile Münazara: hangisi ne zaman kullanılmalı
Münazara çekişmeli ve etkileşimlidir — sorunun tartışılacak gerçek ödünleşimleri olduğunda (fiyatlandırma, mimari, strateji) ve konumların çarpışmasını izlemek istediğinizde en iyisidir.
Konsey bağımsız ve yargılanan bir yapıdır — canlı tartışmanın gürültüsü olmadan zor bir soruya tek ve en güvenilir yanıtı istediğinizde en iyisidir: karmaşık bir teknik soru, sağduyu kontrolü yapılacak bir tıbbi veya hukuki açıklama, 'burada gerçekte doğru olan nedir' türünden bir soru.
- Münazara: konumlar birbirine saldırarak gelişir, anlaşma her turda takip edilir
- Konsey: konumlar bağımsız olarak oluşur, kalite kör bir şekilde değerlendirilir
- Münazara: ödünleşimler ve kararlar için harikadır
- Konsey: zor sorularda doğruluk için harikadır
- İkisi de: dışa aktarabileceğiniz tek bir sentezlenmiş karar ile sona erer
İyi bir konsey kurmak
Gerçekten farklı sağlayıcılardan 3–5 ajan kullanın — anonimlik yalnızca yanıtlar farklı 'zihinlerden' geldiğinde bir fayda sağlar. İlk sıraya güçlü bir model yerleştirin: bu model aynı zamanda nihai sentezi yazan başkan görevi de görür. Konsey modu bir Pro özelliğidir (Pro aylık 20 $'dır). Her plan yerleşik modeller ve aylık kredi içerir, bu yüzden onu herhangi bir anahtar olmadan çalıştırabilirsiniz; isteğe bağlı olarak kendi API anahtarlarınızı bağlarsanız doğrudan sağlayıcıya ödeme yaparsınız ve 0 kredi harcarsınız.
Sık sorulan sorular
Anonimleştirmeye rağmen bir model kendi yanıtını tanıyabilir mi?
Bazen üsluptan tanıyabilir — ancak diğer yanıtların yazarlarını bilmez ve sıralama talimatı kendi yanıtı konusunda bile dürüstlük talep eder. Pratikte modeller, rakip yanıtları düzenli olarak kendi yanıtlarından üstün sıralar.
Konsey neden yalnızca Pro'da bir modu?
Her ajanı iki kez çalıştırır (yanıt + tam sıralama turu) ve buna bir de başkan sentezi eklenir; bu da onu token ve orkestrasyon açısından en yoğun mod haline getirir. Pro ayrıca daha büyük konseyler için 10'a kadar ajanın kilidini açar.
Bu fikir nereden geliyor?
Andrej Karpathy'nin (2024) açık kaynaklı llm-council deneyinden geliyor; bu deney, farklı sağlayıcılar arasında kör akran sıralamasını göstermiştir. Konsey modu, başkan sentezi ve dışa aktarılabilir kararlarla bu mekanizmanın üretim ortamındaki uygulamamızdır.
Ücretsiz plan · kendi API anahtarların · 15 dil