Council-Modus: unvoreingenommene KI-Antworten durch anonymes Peer-Ranking
Jede Art, KI-Antworten zu kombinieren, hat ein Voreingenommenheitsproblem. Lässt man Modelle diskutieren, driften sie zur Einigung ab. Lässt man ein Modell die anderen bewerten, bevorzugt es Antworten, die wie es selbst klingen. Fragt man einen Menschen, wählen wir die Marke, der wir bereits vertrauen.
Der Council-Modus entfernt die Namen. Jedes Modell beantwortet Ihre Frage unabhängig, erhält dann die anderen Antworten anonymisiert — Antwort A, B, C — und bewertet sie ausschließlich nach Qualität. Ein Vorsitzender-Modell synthetisiert die endgültige Antwort aus dem bestbewerteten Material. Kein Modell weiß, welche Antwort von wem stammt, auch nicht die eigene.
Wie eine Council-Sitzung abläuft
- Runde 1 — Unabhängige Antworten: Jeder Agent beantwortet Ihre Frage allein, ohne Einblick in die anderen. Kein Ankereffekt, kein Gruppendenken.
- Runde 2 — Blinde Bewertung: Jeder Agent erhält den vollständigen Satz an Antworten mit entfernten Namen und muss sie nach Richtigkeit und Nützlichkeit von der besten zur schlechtesten einordnen, jede Platzierung begründend — ehrlich, auch bei der Antwort, die möglicherweise die eigene ist.
- Synthese — Der Vorsitzende: ein letzter Durchgang fasst die Bewertungen zusammen, übernimmt die am besten bewertete Argumentation, verwirft schwache Punkte und liefert eine verteidigbare Antwort, wobei angegeben wird, welche Antwort der Council am höchsten bewertet hat.
Warum Anonymität das Ergebnis verändert
Modelle sind, wie Menschen, messbar nachsichtiger gegenüber dem eigenen Stil: Bei beschrifteten Antworten neigt ein Modell dazu, Ausgaben, die seiner eigenen Formulierung ähneln, überzubewerten, und beliebte Marken profitieren von einem Halo-Effekt. Das Entfernen der Identität zwingt die Bewertung dazu, sich auf das Einzige zu stützen, was übrig bleibt — den Inhalt.
Die Idee geht auf Andrej Karpathys llm-council-Experiment zurück, das zeigte, dass Modelle, die die anonymen Antworten der anderen bewerten, oft ein besseres kollektives Urteil liefern als jedes einzelne Modell — und manchmal die Antwort eines Konkurrenten über die eigene stellen.
Council vs. Debate: wann was einsetzen
Debate ist kontradiktorisch und interaktiv — am besten geeignet, wenn die Frage echte Abwägungen zum Diskutieren enthält (Preisgestaltung, Architektur, Strategie) und Sie beobachten möchten, wie Positionen aufeinandertreffen.
Council ist unabhängig und wird bewertet — am besten geeignet, wenn Sie die eine zuverlässigste Antwort auf eine schwierige Frage ohne das Rauschen einer Live-Diskussion wünschen: eine komplexe technische Frage, eine medizinische oder rechtliche Erklärung zur Plausibilitätsprüfung, eine Frage nach dem Motto 'was ist hier eigentlich wahr'.
- Debate: Positionen entwickeln sich durch gegenseitige Angriffe, die Übereinstimmung wird pro Runde verfolgt
- Council: Positionen bilden sich unabhängig, Qualität wird blind bewertet
- Debate: hervorragend für Abwägungen und Entscheidungen
- Council: hervorragend für Richtigkeit bei schwierigen Fragen
- Beide: enden mit einem synthetisierten Urteil, das Sie exportieren können
Einen guten Council einrichten
Verwenden Sie 3–5 Agenten von wirklich unterschiedlichen Anbietern — Anonymität bringt nur dann etwas, wenn die Antworten von unterschiedlichen 'Köpfen' stammen. Platzieren Sie ein starkes Modell auf dem ersten Platz: Es fungiert zugleich als Vorsitzender, der die endgültige Synthese verfasst. Der Council-Modus ist ein Pro-Feature (Pro kostet 20 $/Monat). Jeder Tarif enthält integrierte Modelle und monatliche Credits, sodass Sie ihn ganz ohne Schlüssel nutzen können; optional binden Sie Ihre eigenen API-Schlüssel ein — dann zahlen Sie direkt an den Anbieter und verbrauchen 0 Credits.
Häufige Fragen
Kann ein Modell trotz Anonymisierung seine eigene Antwort erkennen?
Manchmal, am Stil — aber es kennt die Autoren der anderen Antworten nicht, und die Bewertungsanweisung verlangt Ehrlichkeit selbst bei der eigenen. In der Praxis bewerten Modelle regelmäßig die Antworten von Konkurrenten höher als ihre eigenen.
Warum ist Council nur ein Pro-Modus?
Er lässt jeden Agenten zweimal laufen (Antwort + vollständiger Bewertungsdurchgang) plus eine Vorsitzenden-Synthese, was ihn zum token- und orchestrierungsintensivsten Modus macht. Pro schaltet zudem bis zu 10 Agenten für größere Councils frei.
Woher stammt die Idee?
Aus dem Open-Source-Experiment llm-council von Andrej Karpathy (2024), das blindes Peer-Ranking über verschiedene Anbieter hinweg demonstrierte. Der Council-Modus ist unsere Produktionsumsetzung dieses Mechanismus, mit Vorsitzenden-Synthese und exportierbaren Urteilen.
Kostenloser Tarif · eigene API-Schlüssel · 15 Sprachen