Damit Bewertungsmatrizen keine Raketenwissenschaft bleiben.
Damit Bewertungsmatrizen keine Raketenwissenschaft bleiben
In Vergabeverfahren muss nicht zwingend das billigste Angebot den Zuschlag erhalten. Die Wirtschaftlichkeit bestimmt sich vielmehr nach dem besten Preis-Leistungs-Verhältnis. Und hier kann die Leistungsstärke (Qualität, Innovation, Nachhaltigkeit, etc.) der Angebote eine wesentliche Rolle spielen.
Die Wahl der Bewertungsmethode (Zuschlagsformel) ist dabei in der Regel kein neutraler Vorgang, sondern hat Einfluss darauf, welches Angebot den Zuschlag erhält. Ebenso hat die Wahl der Notenskalen für die verschiedenen Zuschlagskriterien einen größeren Einfluß auf die Wirtschaftlichkeit als meistens gedacht wird. Zwischen Zuschlagsformel, Notenskala und Gewichtung bestehen Wechselwirkungen, sodass eine isolierte Betrachtung der Gewichtung von Preis und Leistung nicht der wahren Gewichtung entspricht.
Meine Seminare, Workshops und Beratungen zum Thema Bewertungsmatrizen zeigen auf, wie man als Auftraggeber optimale Bewertungsmatrizen erstellt, beziehungsweise wie man als Bieter existierende Bewertungsmatrizen richtig analysiert, um das optimale Angebot zu erstellen.
Damit Bewertungsmatrizen keine Raketenwissenschaft bleiben.
Die optimale Bewertungsmatrix
In Vergabeverfahren muss nicht zwingend das billigste Angebot den Zuschlag erhalten. Die Wirtschaftlichkeit bestimmt sich vielmehr nach dem besten Preis-Leistungs-Verhältnis. Und hier kann die Leistungsstärke (Qualität, Innovation, Nachhaltigkeit, etc.) der Angebote eine wesentliche Rolle spielen. Um die unterschiedliche Leistungsstärke der Angebote sinnvoll bewerten zu können, benötigt man eine optimale Bewertungsmatrix.
Das Seminar zeigt anhand von konkreten Beispielen wie man die geeigneten Zuschlagskriterien und deren Gewichtung sowie die notwendigen Punkteskalen auswählt und dann eine optimale Bewertungsmatrix aufstellt.
Die optimale Bewertungsmatrix
In Vergabeverfahren muss nicht zwingend das billigste Angebot den Zuschlag erhalten. Die Wirtschaftlichkeit bestimmt sich vielmehr nach dem besten Preis-Leistungs-Verhältnis. Und hier kann die Leistungsstärke (Qualität, Innovation, Nachhaltigkeit, etc.) der Angebote eine wesentliche Rolle spielen. Um die unterschiedliche Leistungsstärke der Angebote sinnvoll bewerten zu können, benötigt man eine optimale Bewertungsmatrix.
Das Seminar zeigt anhand von konkreten Beispielen wie man die geeigneten Zuschlagskriterien und deren Gewichtung sowie die notwendigen Punkteskalen auswählt und dann eine optimale Bewertungsmatrix aufstellt.
Das 1 x 1 der Bewertungsmatrizen
Das 2-tägige Seminar findet vom 27.09. – 28.09.2023 in Wien statt und behandelt die Ermittlung des wirtschaftlichsten Angebots nach den deutschen, österreichischen sowie den EU-Vergaberechtsregeln und geht auf die aktuelle europäische (EuGH) sowie die deutsche und österreichische Rechtsprechung ein.
Statt Mythen lernen Sie die Vor- und Nachteile von verschiedenen Bewertungsmethoden und Punkteskalen kennen und verstehen aufgrund von mathematischen Zusammenhängen und anschaulichen Visualisierungen, welchen Einfluss diese auf das Zuschlagsergebnis haben. Anhand konkreter Praxisbeispiele werden verschiedene Bewertungsmethoden, Kriterien, Gewichtungen und Benotungssysteme angewendet und so gemeinsam mit den Teilnehmern unter Berücksichtigung der aktuellen Rechtsprechung eine „Best Practice“ für den Vergabealltag entwickelt.
Bewertungsmatrizen-Workshop (3-tägig)
Das Aufstellen einer optimalen Bewertungsmatrix ist eigentlich keine Raketenwissenschaft. Trotzdem fällt es einem in der Regel schwer die optimale Bewertungsmatrix zu erstellen. Der 3-tägige Workshop über Bewertungsmatrizen zeigt mit Beispielen und Übungen wie man die optimale Bewertungsmatrix aufstellt, und unterstützt mit Muster-Bewertungsmatrizen (Blaupausen) als Excel-Dateien die Umsetzung in der Praxis. Anhand praktischer Fälle wird auch die relevante aktuelle Rechtsprechung eingebunden.
Sie brauchen einen Experten zum Thema Bewertungsmatrizen und Bewertungsmethoden zur Ermittlung des wirtschaftlichsten Angebots?
Kontaktieren Sie mich gerne. Ich freue mich über Ihre Anfrage.
ferber@praxisratgeber-vergaberecht.de +49 (0) 6151 – 278 3990 +49 (0) 6151 – 278 3991Sie brauchen ein Gutachten zum Thema Bewertungsmatrizen und Bewertungsmethoden zur Ermittlung des wirtschaftlichsten Angebots?
Kontaktieren Sie mich gerne. Ich freue mich über Ihre Anfrage.
ferber@praxisratgeber-vergaberecht.de +49 (0) 61 51 27 83 99 0 +49 (0) 61 51 27 83 99 1Sie brauchen eine Analyse einer existierenden Bewertungsmatrix und der angewendeten Bewertungsmethoden?
Kontaktieren Sie mich gerne. Ich freue mich über Ihre Anfrage.
ferber@praxisratgeber-vergaberecht.de +49 (0) 61 51 27 83 99 0 +49 (0) 61 51 27 83 99 1Zulässigkeit von Preisumrechnungsformeln
Eine Entscheidung der Vergabekammer Südbayern aus dem Jahr 2016 hat den Eindruck vermittelt, dass nur noch die einfache Richtwertmethode zulässig sei und alle Methoden, die den Angebotspreis in Punkte umwandeln, unzulässig wären. Die Vergabekammer Südbayern interpretierte den Begriff des Preis-Leistungs-Verhältnisses streng mathematisch als Quotienten aus dem Angebotspreis und der erreichten Leistungspunktzahl und sah alle anderen Zuschlagsformeln als unzulässig an. (VK Südbayern, Beschluss v. 30.8.2016 – Z3-3-3194-1-28-07/16; Ferber in: Müller-Wrede, SektVO-Kommentar, 2018, § 52 Rn. 30; Schäffer/Ferber, VergabeFokus 6/2016, 19 (21).) Die Argumentation der Vergabekammer Südbayern war aus mathematischer Sicht laienhaft falsch und überzeugt aus vergaberechtlicher Sicht nicht.
OLG Düsseldorf, Beschluss vom 02.05.2018, Verg 3 / 18: „Bei der Wahl der Preisumrechnungsmethode kommt dem öffentlichen Auftraggeber ebenso wie bei der Festlegung der Zuschlagskriterien und deren Gewichtung im Rahmen der gemeinschaftsrechtlichen Vorgaben (vgl. EuGH, Urteil v. 04.12.2003, C-448/01 – EVN und Wienstrom, juris Rn. 37 ff.) grundsätzlich ein Bestimmungsrecht zu.
Die Wahl einer bestimmten Preisumrechnungsmethode kann vergaberechtlich nur beanstandet werden, wenn sich gerade ihre Heranziehung im Einzelfall aufgrund besonderer Umstände als mit dem gesetzlichen Leitbild des Vergabewettbewerbs unvereinbar erweist (BGH, Beschluss v. 04.04.2017, X ZB 3/17 – Postdienstleistungen, juris Leitsatz 1b).„
- Lineare Interpolation mit 100%-Preisspanne mit den Stützstellen: (billigster Angebotspreis, volle Preispunktzahl); (billigster Angebotspreis * 2, null Punkte)
- Preisquotientenmethode
Sind subjektive Kriterien in Bewertungsmatrizen zur Bestimmung des wirtschaftlichsten Angebots zulässig?
Bei qualitativen (nichtmetrischen) Zuschlagskriterien kann zwischen trennscharfen und unscharfen Punkteskalen differenziert werden.
- Bei einer trennscharfen Bewertung können die Angebote eindeutig und objektiv einer Punktekategorie zugeordnet werden. Eine trennscharfe Bewertung ist objektiv und unabhängig von den Bewertern.
- Bei einer unscharfen Bewertung können die Angebote nicht eindeutig einer Punktekategorie zugeordnet werden. Je nach Unschärfe können die Angebote mehreren Punktekategorien zugeordnet werden. Eine unscharfe Bewertung ist subjektiv und abhängig von den Bewertern.
Ist ein objektives qualitatives Kriterium gegeben, muss auch eine objektive Punkteskala mit einer trennscharfen Bewertung Anwendung finden. Bei einem subjektiven qualitativen Kriterium wie zum Beispiel bei einer Konzeptbewertung oder einer Bewertung von Ästhetik oder einer sensorischen Bewertung von Essen ist dies so nicht möglich. Hier liegt die Subjektivität der Bewertung in der Natur der Sache. Die Anwendung von subjektiven Punkteskalen ist deshalb für diese Fälle von der Rechtsprechung wiederholt als zulässig erachtet worden.
BGH, Beschluss vom 04.04.2017, X ZB 3 / 17:“ Es steht einer transparenten und wettbewerbskonformen Auftragsvergabe regelmäßig nicht entgegen, wenn der öffentliche Auftraggeber für die Erfüllung qualitativer Wertungskriterien Noten mit zugeordneten Punktwerten vergibt, ohne dass die Vergabeunterlagen weitere konkretisierende Angaben dazu enthalten, wovon die jeweils zu erreichende Punktzahl konkret abhängen soll
VK Bund, Beschluss vom 21.01.2022, VK 2 – 131 / 21: „Dabei ist zu berücksichtigen, dass ein Auftraggeber nicht sämtliche denkbaren konzeptionellen Lösungsansätze der Bieter vorhersehen und abstrakt vorab bewerten kann.
Entsprechend sind das Wertungssystem bzw. die Vorgaben, unter welchen konkreten Bedingungen ein Konzept mit welcher Note zu bewerten ist, zwangsweise nicht abschließend bestimmt und kann ein Bieter auch seine Benotung nicht unbedingt konkret vorhersagen, was angesichts der umfassenden Information der Ag darüber, was sie für eine gute Leistungserbringung erwartet, den Vorgaben der ober- und höchstgerichtlichen Rechtsprechung entspricht.“
Ein typischer Fehler bei der Verwendung von subjektiven Kriterien ist deren Kombination mit groben undifferenzierenden Punkteskalen. Eine häufig anzutreffende Punkteskala für eine Konzeptbewertung in der Form
- 0 Punkte: Konzept nicht plausibel
- 1 Punkt: Konzept mäßig plausibel
- 2 Punkte: Konzept überwiegend plausibel
- 3 Punkte: Konzept sehr plausibel
ist für die Bewertung von Konzepten viel zu undifferenziert und führt mithin zu Bewertungsverzerrungen. Die Kombination von subjektiven Kriterien mit groben Punkteskalen (z.B. 0; 1; 2; 3) ist eine toxische Kombination, bei der eine willkürliche Zuschlagserteilung erfolgen kann.
Ferber in: Ferber/Zeiss, Bewertungskriterien und -matrizen im Vergabeverfahren, 2. Aufl., Köln 2022: „Die Notenskala mit der Anzahl der Bewertungsstufen spielt bei der Bewertung eine nicht zu vernachlässigende Rolle. Eine sehr grobe Notenskala mit nur wenigen Notenstufen kann den sich unterscheidenden Kriterienerfüllungsgrad der Angebote nur sehr ungenau wiedergeben. Wichtige Differenzierungsmerkmale verschwinden dadurch und es kommt in der Regel insbesondere bei unscharfen (weichen) Bewertungen zu signifikanten Bewertungsverzerrungen. Dieser Effekt wird zusätzlich verstärkt, wenn die Notenskala bei der Bewertung nicht voll ausgeschöpft wird. Finden beispielsweise bei einer Punkteskala mit (0, 1, 2, 3) Punkten nur die Wertungspunkte (2, 3) Anwendung ist die Differenzierungsmöglichkeit bei der Wertung deutlich eingeschränkt.“
Ferber in Müller-Wrede, Malte (Hrsg.). VgV/UVgO-Kommentar, Köln 2017, § 58 Abs. 2 S. 1 VgV, Rn. 80: „Eine sehr grobe Notenskala mit nur wenigen Bewertungsstufen kann den sich unterscheidenden Erfüllungsgrad der Kriterien der Angebote nur sehr ungenau wiedergeben. Wichtige Differenzierungsmerkmale verschwinden dadurch. Eine Punkteskala mit z.B. nur vier Wertungsstufen (0,1,2,3) kann zu einer Wertungsverzerrung führen, wenn die zu wertenden Angebote sich in der realen Leistungsstärke nicht stark unterscheiden.“
Eine subjektive Punkteskala sollte aber
- ausreichend differenzierend sein, z.B. (0; 1; 2; …; 10) oder (0; 1; 2; …; 12) oder (0; 1; 2; …; 15) und
- soweit konkretisiert werden, dass man versteht, worauf es ankommt und
- durch eine Gremienbewertung objektiviert werden.
Wahre und scheinbare Gewichtung in Bewertungsmatrizen – Teil I: Unterschiedliche Punkteskalen
Durch die Gewichtung der Kriterien in Bewertungsmatrizen wird eine Priorisierung der Wichtigkeit dieser Kriterien vorgenommen. Doch nicht immer entspricht die scheinbare Gewichtung der wahren Gewichtung. Dies sei an Beispielen von unterschiedlichen Punkteskalen dargestellt.
Beispiel 1: Zwei Kriterien A und B werden mit jeweils 50% gewichtet. Die maximale Wertungspunktzahl der beiden Kriterien ist allerdings verschieden.
- maximale Wertungspunktzahl von Kriterium A: 10 Punkte
- maximale Wertungspunktzahl von Kriterium B: 5 Punkte
Die unterschiedliche maximale Wertungspunktzahl der beiden Bewertungskriterien sorgt für ein Ungleichgewicht und führt zu einer Veränderung der Gewichtung. Die folgende Abbildung zeigt dies anschaulich durch eine Balkenwaage. Die beiden 50g-Gewichte führen aufgrund des unterschiedlichen Abstands auf dem Waagebalken zu einem Ungleichgewicht. Das Kriterium A wird aufgrund des größeren Abstands auf dem Waagebalken stärker gewichtet als das Kriterium B.
Die Balkenwaage kommt erst dann in das Gleichgewicht, wenn die ungleichen Gewichte 50g + 100g verwendet werden.
Normiert man die Summe der beiden Gewichte auf 100g, so stellt sich das Gleichgewicht der Balkenwaage mit den Gewichten 33g + 67g (um genau zu sein: 33 1/3g + 66 2/3g) ein.
Übertragen auf die betrachteten Kriterien müsste man das Kriterium A mit 33% und das Kriterium B mit 67% gewichten, um die beiden Kriterien ins Gleichgewicht zu bringen. Die scheinbare Gewichtung beträgt dann 33% / 67%, die wahre Gewichtung 50% / 50%.
In der Ausgangssituation mit einer maximalen Wertungspunktzahl von Kriterium A mit 10 Punkten und einer maximalen Wertungspunktzahl von Kriterium B mit 5 Punkten beträgt die scheinbare Gewichtung für die beiden Kriterien A und B 50% / 50% und die wahre Gewichtung 67% / 33% (um genau zu sein: 66 2/3% / 33 1/3%).
Beispiel 2: Zwei Kriterien A und B werden mit 20% und 80% gewichtet. Die maximale Wertungspunktzahl der beiden Kriterien ist allerdings verschieden.
- maximale Wertungspunktzahl von Kriterium A: 10 Punkte
- maximale Wertungspunktzahl von Kriterium B: 5 Punkte
Die unterschiedliche Gewichtung wird dabei durch eine Streckung des Waagebalkens umgesetzt.
Da Kriterium B nur maximal fünf Wertungspunkte erreichen kann, stellt sich das Gleichgewicht mit den Gewichten 80g und 40g ein.
Normiert man die Summe der beiden Gewichte auf 100g, so stellt sich das Gleichgewicht der Balkenwaage mit den Gewichte 67g +33g (um genau zu sein: 66 2/3g + 33 1/3g) ein.
Bei einer Gewichtung von Kriterium A mit 20% und Kriterium B mit 80% sowie einer maximalen Wertungspunktzahl von Kriterium A von 10 Punkten und einer maximalen Wertungspunktzahl von Kriterium B von 5 Punkten beträgt die scheinbare Gewichtung für die beiden Kriterien A und B 20% / 80% und die wahre Gewichtung 33% / 67% (um genau zu sein: 33 1/3% / 66 2/3%).
Veröffentlichung der Bewertungsmethode
Würde man einen Wettbewerb im Bogenschießen, bei dem die Zielkreise erst eingesetzt werden, nachdem die Pfeile geschossen wurden als fair ansehen? Oder würde man einen Wettbewerb im Bogenschießen, bei dem die Zielkreise nur sehr unscharf durch Nebel fast verborgen sind als fair ansehen? Würden bei einem solchen Wettbewerb die Grundsätze von Transparenz, Gleichbehandlung und Wettbewerb gelten? Sicherlich nein!
Ein solcher Wettbewerb im Bogenschießen ist analog übertragbar auf ein Vergabeverfahren, bei dem die Angebote der Bieter die Pfeile sind und die Zielkreise die Zuschlagsbewertung. Umso mehr verwundert es, das immer wieder die Ansicht vertreten wird, dass die Bewertungsmethode (Zuschlagsformel) sowie die Notenskala nicht vorab veröffentlicht werden müssten und dass Notenskalen und Zuschlagsformeln keinen Einfluss auf das Zuschlagsergebnis hätten.
Nach Ansicht des EuGH ist eine Veröffentlichung der Bewertungsmethode nicht zwingend vorgeschrieben (EuGH, Urteil v. 14.7.2016 – Rs. C-6/15). Allerdings schränkt der EuGH dies auf Fälle ein, in denen die Wahl der Bewertungsmethode keinen Einfluss auf die Gewichtung der Zuschlagskriterien hat.
Wie der Autor allerdings zeigen konnte (Die Gewichtung von Preis und Leistung – scheinbare vs. wahre Gewichtung; Mathematische Modelle zur Angebotswertung im Vergaberecht), hängt die wahre Gewichtung aber von der Zuschlagsformel einer Bewertungsmethode ab. Mithin hat die Wahl der Bewertungsmethode grundsätzlich einen Einfluss auf die Gewichtung. Öffentliche Auftraggeber sind deshalb im Ergebnis gut beraten, die Bewertungsmethode mit den Ausschreibungsunterlagen zu veröffentlichen.
Meine Veröffentlichungen zu den Themen Wirtschaftlichkeit und Bewertungsmatrizen
- Teststellungen im Vergabeverfahren ,Vergabe Fokus 4/2022.
- Der Preis und die wirtschaftliche Vergabe, RPA 6/2021 (zusammen mit Dr. Sophie Dillinger).
- Nachhaltigkeit und wirtschaftliche Beschaffung- Teil II, Vergabe Fokus, 5/2019.
- Nachhaltigkeit und wirtschaftliche Beschaffung- Teil I, Vergabe Fokus, 3/2019.
- Mehr Schein als Sein – Die Gewichtung von Preis und Leistung – Teil IV, Vergabe Navigator 5/2018.
- Mehr Schein als Sein – Die Gewichtung von Preis und Leistung – Teil III, Vergabe Navigator 3/2018.
- Am Ende gewinnt der Billigste! Oder? Supply 2/2018.
- Mehr Schein als Sein – Die Gewichtung von Preis und Leistung – Teil II, Vergabe Navigator 2/2018.
- Mehr Schein als Sein – Die Gewichtung von Preis und Leistung – Teil I, Vergabe Navigator 1/2018.
- Was sind eigentlich Alibi-Kriterien? Vergabe Navigator 6/2017.
- Lineare Interpolation im Vergabeverfahren, Vergabe Navigator 5/2017.
- Die Unschärferelation und der Zuschlag, Vergabe Navigator 4/2017.
- Zur (Un-)Zulässigkeit gängiger Wertungsmethoden, Vergabe Fokus 6/2016 (zusammen mit Dr. Rebecca Schäffer).
- Vor- und Nachteile verschiedener Wertungssysteme, Vergabe Fokus 6/2016.
- Welche Bewertungsmethode ist für die Praxis zu empfehlen, Vergabe Fokus 6/2016.
- Das Rätsel „Preis-Leistungs-Verhältnis“, Vergabe Navigator, Sonderheft 2016.
- Die Crux mit den Noten – Der Einfluss von Notenskalen auf das Zuschlagsergebnis, Vergabe Navigator, 6/2016.
- Ein neuer Begriff von Wirtschaftlichkeit, Vergabe Navigator, 3/2016, S. 5-10.
- Wertungskriterien und Bewertungsmatrizen in der zukünftigen Vergabepraxis Infoline 2/2016, S. 24-26.
- Zuschlagsbewertung in der Praxis, Vergabe Navigator, Sonderheft 2015, S. 25-29.
- Bewertungskriterien und -matrizen im Vergabeverfahren(ISBN 978-3-8462-0471-9), 10/2015 Bundesanzeiger Verlag