Luftfahrtsysteme, Programm Air2030

AHP steht für «Analytic Hierarchy Process» (Hierarchische Prozessanalyse) und ist eine Methode der Entscheidungsunterstützung, die zur Ermittlung des Gesamtnutzens der einzelnen Kandidaten eingesetzt wird. Die Bezeichnung dieser Methode weist auf drei ihrer wichtigsten Eigenschaften hin. Die Methode ist:

1. analytisch, weil die Ermittlung des Gesamtnutzens auf der Basis von mathematischen Berechnungen erfolgt.
2. hierarchisch, weil die sogenannten Bewertungspunkte analog eines Entscheidungsbaumes hierarchisch organisiert werden, also von den Hauptevaluationskriterien hin zu den einzelnen Bewertungspunkten;
3. prozess-orientiert bzw. systematisch und deshalb transparent und nachvollziehbar.

Die AHP-Methode wurde Ende der 70er-Jahre durch den Mathematiker Thomas Saaty entwickelt und ist seitdem Gegenstand von zahlreichen wissenschaftlichen Arbeiten. Bei der Festlegung des Evaluationsprozesses in den Projekten NKF und Bodluv GR wurden die aktuellsten wissenschaftlichen Studien betreffend AHP durch das Projektteam gründlich analysiert und validiert, beispielsweise mit Hilfe von eigens dafür entwickelten Simulationen mit der Software Matlab.

Wird die herkömmliche Nutzwertanalyse mit der AHP-Methode verglichen, wird man feststellen, dass letztere mathematisch etwas anspruchsvoller ist. Sie basiert im Wesentlichen auf sogenannten Matrizen-Multiplikationen und der Bestimmung von Eigenvektoren. Die Methode hat unter anderem den Vorteil, dass nicht nur eine Bewertung der verschiedenen Bewertungspunkte erfolgt, sondern dass sie auch die Konsistenz einer Bewertung berechnet und diese damit sichtbar wird. Ferner zeigt sich durch die AHP-Methode, wie stark der Konsens eines Bewertungsteams und somit einer Entscheidungsfindung ist.

Die AHP-Methode ist besonders für die Evaluation von komplexeren Systemen wie Waffensystemen geeignet. Im NKF- und Bodluv GR-Projekt wird dazu eine etablierte Software eingesetzt, welche aufgrund von Marktabklärungen und Gesprächen mit anderen, unbeteiligten Beschaffungsbehörden beschafft und anschliessend vor deren Verwendung hinreichend erprobt und validiert wurde.

Wie funktioniert die AHP-Methode?

Im Grundsatz funktioniert die Methode so, dass im Rahmen eines klar definierten Prozesses die Teilnehmer eines Expertenteams bestimmte Bewertungspunkte paarweise vergleichen. Diese paarweise Analyse macht es den Beurteilenden einfacher, die Leistungscharakteristika systematisch einzustufen.

Grundsätzlich sind in den Air2030-Projekten die vier Hauptevaluationskriterien mit den entsprechenden Gewichtungen beim Projektstart festgelegt worden: Es handelt sich um die die Wirksamkeit mit 55%, den Produktesupport mit 25% und die Möglichkeiten zur Kooperation und der direkten Industriebeteiligung mit jeweils 10%. Diese Kriterien wurden beim Projekt NKF in rund 80 Bewertungspunkte aufgeteilt. Mit Hilfe der AHP-Methode wird für jeden dieser Bewertungspunkte der Nutzen der Kandidaten bestimmt.

Basis für den Vergleich zwischen den Kandidaten sind die sogenannten Fachberichte. Diese fassen einerseits die Erkenntnisse aus der Analyse der Offerten beziehungsweise den Antworten auf den Fragenkatalog zusammen, den die Kandidaten mit der Offerte beantworten mussten. Auch die Erkenntnisse aus den Erprobungsaktivitäten fliessen in diese Fachberichte ein, hauptsächlich indem die Antworten der Kandidaten validiert werden. Die einzelnen Fachberichte beziehen sich jeweils auf einen Bewertungspunkt pro Kandidat und sind nicht vergleichend. Bei rund 80 Bewertungspunkten beim Projekt NKF und vier Kandidaten sind demnach 320 Fachberichte zu erstellen. Der Vergleich der Kandidaten beruht pro Bewertungspunkte auf objektiven Messgrössen, die in einem frühen Projektstadium festgelegt wurden.

«Die einzelnen Fachberichte beziehen sich jeweils auf einen

Bewertungspunkt pro Kandidat und sind nicht vergleichend»

                                            Xavier Comby

Als mögliches Beispiel für einen Bewertungspunkt kann die «Wartungsfreundlichkeit» dienen. Dieser Bewertungspunkt würde dem Hauptevaluationskriterium «Produktesupport» zugeordnet. Messgrössen, welche bei diesem Beispiel zum Einsatz kommen könnten, wären zum Beispiel die durchschnittliche Zeit, um ein defektes Flugzeug instand zu setzen und wieder für den Flugbetrieb freizugeben. Als Datenquelle für diese Messgrössen dienen Angaben der Hersteller, die während der Bodenerprobung in der Schweiz überprüft wurden.
Diese Daten und ihre Analyse werden als Ergebnisse für jeden Kandidaten einzeln in einem «Fachbericht Wartungsfreundlichkeit» durch das entsprechende Expertenteam dokumentiert und zusammengefasst.

Auf der Basis dieser Fachberichte werden die Kandidaten anschliessend miteinander mit Hilfe der AHP-Methode verglichen. Um bei unserem Beispiel zu bleiben: Derjenige Kandidat, bei welchem eine solche Instandsetzung am effizientesten durchgeführt werden kann, erhält im Vergleich zu den anderen Kandidaten mehr Punkte.

AHP-Sessionen

Der Vergleich der Kandidaten erfolgt in sogenannten AHP-Sessionen, deren Ablauf formal vorgegeben ist. Dieser lässt sich anhand unseres Beispiels grob wie folgt zusammenfassen:

1. Die Verantwortlichen des «Expertenteams Wartungsfreundlichkeit» präsentieren dem Bewertungsteam anhand ihres Fachberichtes die Erkenntnisse zu diesem Bewertungspunkt.
2. Nach der Präsentation folgt eine Frage- und Antwort-Runde.
3. Danach erfolgt der Vergleich der Kandidaten selbstständig durch jedes individuelle Mitglied des Bewertungsteams. Die Konsistenz dieser einzelnen Bewertungen wird durch das AHP-Tool geprüft.
4. Anschliessend folgt das Aggregieren der einzelnen Bewertungen in eine Gesamtbewertung. Dabei ermittelt das AHP-Tool wiederum wie konsistent die Gesamtbewertung ist und wie der Konsens im Bewertungsteam ausfällt.
5. Signifikante Inkonsistenzen im Bewertungsteam werden durch das Tool entdeckt und müssen geklärt werden, bevor eine Bewertung endgültig akzeptiert wird.

Gegenüberstellung von Gesamtnutzen und Gesamtkosten

Das Resultat der Gegenüberstellung von Gesamtnutzen und Gesamtkosten erfolgt in einem Diagramm, bei dem die senkrechte y-Achse den Gesamtnutzen abbildet. Bei der waagrechten x-Achse handelt es sich um die Kostenachse. Dort werden für die Bewertung der Kosten sowohl die Beschaffungskosten der Systeme als auch deren Betriebskosten während einer 30-jährigen Nutzung berücksichtigt. So gesehen fliessen der Gesamtnutzen und die Gesamtkosten zu jeweils 50% in das Diagramm bzw. in die Gegenüberstellung von Gesamtnutzen zu Gesamtkosten.

Nutzwertanalyse mit AHP

Die AHP-Methode wird vorerst in den Projekten NKF und Bodluv GR eingesetzt. Die Erfahrungen von anderen Beschaffungsbehörden und eigene bisherige Erfahrungen zeigen, dass die Methode robust ist. Sie ist im Vergleich mit der traditionellen Nutzwertanalyse besonders dann vorteilhaft, wenn komplexere Systeme evaluiert werden. Die Erfahrungen im Programm Air2030 werden dokumentiert und für weitere Projekte weitergegeben. Für einen erfolgreichen Einsatz der Methode darf man nicht vergessen, dass ein Projekt früh im Prozess die Bedingungen schaffen muss, um AHP später im Prozess nutzen zu können. Dabei sind die Anforderungen direkt mit den Fragen im Fragenkatalog der Offertanfrage verknüpft und diese wiederum mit den einzelnen Hauptevaluationskriterien beziehungsweise den Bewertungspunkten. Das bedeutet, dass sich das Projektteam früh darüber im Klaren sein muss, was es einige Jahre nach Projektstart bewerten will.