Sind subjektive Kriterien in Bewertungsmatrizen zur Bestimmung des wirtschaftlichsten Angebots zulässig?

Bei qualitativen (nichtmetrischen) Zuschlagskriterien kann zwischen trennscharfen und unscharfen Punkteskalen differenziert werden.

• Bei einer trennscharfen Bewertung können die Angebote eindeutig und objektiv einer Punktekategorie zugeordnet werden. Eine trennscharfe Bewertung ist objektiv und unabhängig von den Bewertern.
• Bei einer unscharfen Bewertung können die Angebote nicht eindeutig einer Punktekategorie zugeordnet werden. Je nach Unschärfe können die Angebote mehreren Punktekategorien zugeordnet werden. Eine unscharfe Bewertung ist subjektiv und abhängig von den Bewertern.

Ist ein objektives qualitatives Kriterium gegeben, muss auch eine objektive Punkteskala mit einer trennscharfen Bewertung Anwendung finden. Bei einem subjektiven qualitativen Kriterium wie zum Beispiel bei einer Konzeptbewertung oder einer Bewertung von Ästhetik oder einer sensorischen Bewertung von Essen ist dies so nicht möglich. Hier liegt die Subjektivität der Bewertung in der Natur der Sache. Die Anwendung von subjektiven Punkteskalen ist deshalb für diese Fälle von der Rechtsprechung wiederholt als zulässig erachtet worden.

BGH, Beschluss vom 04.04.2017, X ZB 3 / 17:“ Es steht einer transparenten und wettbewerbskonformen Auftragsvergabe regelmäßig nicht entgegen, wenn der öffentliche Auftraggeber für die Erfüllung qualitativer Wertungskriterien Noten mit zugeordneten Punktwerten vergibt, ohne dass die Vergabeunterlagen weitere konkretisierende Angaben dazu enthalten, wovon die jeweils zu erreichende Punktzahl konkret abhängen soll

VK Bund, Beschluss vom 21.01.2022, VK 2 – 131 / 21: „Dabei ist zu berücksichtigen, dass ein Auftraggeber nicht sämtliche denkbaren konzeptionellen Lösungsansätze der Bieter vorhersehen und abstrakt vorab bewerten kann.
Entsprechend sind das Wertungssystem bzw. die Vorgaben, unter welchen konkreten Bedingungen ein Konzept mit welcher Note zu bewerten ist, zwangsweise nicht abschließend bestimmt und kann ein Bieter auch seine Benotung nicht unbedingt konkret vorhersagen, was angesichts der umfassenden Information der Ag darüber, was sie für eine gute Leistungserbringung erwartet, den Vorgaben der ober- und höchstgerichtlichen Rechtsprechung entspricht.“

Ein typischer Fehler bei der Verwendung von subjektiven Kriterien ist deren Kombination mit groben undifferenzierenden Punkteskalen. Eine häufig anzutreffende Punkteskala für eine Konzeptbewertung in der Form

• 0 Punkte: Konzept nicht plausibel
• 1 Punkt:   Konzept mäßig plausibel
• 2 Punkte: Konzept überwiegend plausibel
• 3 Punkte: Konzept sehr plausibel

ist für die Bewertung von Konzepten viel zu undifferenziert und führt mithin zu Bewertungsverzerrungen. Die Kombination von subjektiven Kriterien mit groben Punkteskalen (z.B. 0; 1; 2; 3) ist eine toxische Kombination, bei der eine willkürliche Zuschlagserteilung erfolgen kann.

Ferber in: Ferber/Zeiss, Bewertungskriterien und -matrizen im Vergabeverfahren, 2. Aufl., Köln 2022: „Die Notenskala mit der Anzahl der Bewertungsstufen spielt bei der Bewertung eine nicht zu vernachlässigende Rolle. Eine sehr grobe Notenskala mit nur wenigen Notenstufen kann den sich unterscheidenden Kriterienerfüllungsgrad der Angebote nur sehr ungenau wiedergeben. Wichtige Differenzierungsmerkmale verschwinden dadurch und es kommt in der Regel insbesondere bei unscharfen (weichen) Bewertungen zu signifikanten Bewertungsverzerrungen. Dieser Effekt wird zusätzlich verstärkt, wenn die Notenskala bei der Bewertung nicht voll ausgeschöpft wird. Finden beispielsweise bei einer Punkteskala mit (0, 1, 2, 3) Punkten nur die Wertungspunkte (2, 3)  Anwendung ist die Differenzierungsmöglichkeit bei der Wertung deutlich eingeschränkt.“

Ferber in Müller-Wrede, Malte (Hrsg.). VgV/UVgO-Kommentar, Köln 2017,  § 58 Abs. 2 S. 1 VgV, Rn. 80: „Eine sehr grobe Notenskala mit nur wenigen Bewertungsstufen kann den sich unterscheidenden Erfüllungsgrad der Kriterien der Angebote nur sehr ungenau wiedergeben. Wichtige Differenzierungsmerkmale verschwinden dadurch. Eine Punkteskala mit z.B. nur vier Wertungsstufen (0,1,2,3) kann zu einer Wertungsverzerrung führen, wenn die zu wertenden Angebote sich in der realen Leistungsstärke nicht stark unterscheiden.“

Eine subjektive Punkteskala sollte aber

• ausreichend differenzierend sein, z.B. (0; 1; 2; …; 10) oder (0; 1; 2; …; 12) oder (0; 1; 2; …; 15) und
• soweit konkretisiert werden, dass man versteht, worauf es ankommt und
• durch eine Gremienbewertung objektiviert werden.