print preview

«Nous déterminons l'utilité globale des candidats à l'aide de la méthode AHP»

Récemment, les candidats ont soumis leurs deuxièmes offres. Pour l’équipe de projet débute une nouvelle phase importante: l’analyse des offres, la détermination de l’utilité globale et des coûts totaux ainsi que la rédaction du rapport final. Xavier Comby, responsable du projet partiel Technique, explique comment la détermination de l’utilité globale est réalisée à l’aide de la méthode dite «AHP».

Systèmes aéronautiques, Programme Air2030

Xavier Comby se tient devant un tableau de conférence et explique une équation.
Xavier Comby, responsable du projet partiel Technique du nouvel avion de combat

AHP est l’acronyme de «Analytic Hierarchy Process» (Processus d'analyse hiérarchique) et désigne une méthode d’aide à la décision permettant de déterminer l’utilité globale de chaque candidat. Le nom de cette méthode fait référence à trois de ses principales caractéristiques. Cette méthode est en effet:

  1. analytique, puisque la détermination de l’utilité globale se fait à l’aide de calculs mathématiques; 
  2. hiérarchique, dans la mesure où les points d’évaluation sont organisés de façon hiérarchique, comme dans un arbre de décision, des principaux critères d’évaluation aux points d’évaluation individuels; 
  3. orientée processus, ou systématique, puisqu' elle est transparente et compréhensible.

Développée à la fin des années 70 par le mathématicien Thomas Saaty, la méthode AHP a depuis fait l’objet de nombreux travaux scientifiques. Pour la définition du processus d’évaluation dans les projets NAC et DSA LP, les plus récentes études scientifiques sur l’AHP ont été analysées en détail et validées par l’équipe de projet, notamment à l’aide de simulations spécialement développées à l’aide du logiciel Matlab.

Par rapport aux analyses de la valeur d’usage conventionnelles, la méthode AHP est un peu plus exigeante sur le plan mathématique. Elle s’appuie essentiellement sur la multiplication de matrices et la détermination de leurs vecteurs propres. Entre autres avantages, cette méthode permet non seulement d’évaluer les différents points d’évaluation, mais aussi de calculer la cohérence de l’évaluation et de la mettre en évidence. En outre, la méthode AHP fait clairement apparaître la robustesse du consensus au sein d’une équipe d’évaluation, et donc celle du résultat de la décision.

Elle est particulièrement bien adaptée à l’évaluation de systèmes complexes tels que des systèmes d’armes.

Pour les projets NAC et DSA LP, un logiciel reconnu est utilisé. Celui-ci a été acquis sur la base d’analyses de marché et d’échanges avec d’autres offices d'armement non impliqués, testé et validé.

Comment fonctionne la méthode AHP?

Le principe de la méthode consiste à permettre aux membres d’une équipe d’experts de comparer par paires, dans le cadre d’un processus clairement défini, des points d’évaluation. Ces comparaisons par paires permettent aux évaluateurs de classer plus facilement les candidats.

Fondamentalement, au début du projet Air2030, quatre critères principaux d’évaluation ont été définis avec leurs pondérations : l’efficacité, avec un coefficient de 55 %, le support produit, avec 25 %, et les possibilités de coopération et d’affaires compensatoires directes, avec chacune 10 %. Pour le projet NAC, ces critères ont été subdivisés en près de 80 points d’évaluation. La méthode AHP permet de déterminer pour chacun de ces points d’évaluation l’utilité des différents candidats.

La comparaison entre les candidats repose sur les rapports dits techniques. Ces rapports rassemblent d’une part les connaissances tirées de l’analyse des offres ou des réponses au questionnaire auquel les candidats ont dû répondre en soumettant leurs offres et d'’autre part, les résultats des activités d’essai,dont le but principal est de valider les réponses des candidats. Les différents rapports portent chacun sur un point d’évaluation par candidat et ne sont pas comparatifs. Avec près de 80 points d’évaluation pour le projet NAC et quatre candidats, ce sont donc 320 rapports techniques qui doivent être préparés. Pour chaque point, la comparaison des candidats repose sur des grandeurs de mesure objectives qui ont été définies à un stade antérieur du projet.

«Les différents rapports portent chacun sur un point

d’évaluation par candidat et ne sont pas comparatifs»

                                                 Xavier Comby

Par exemple, un point d’évaluation pourrait être la «facilité d’entretien». Ce point d’évaluation serait attribué au critère principal Support produit. Les grandeurs de mesure qui pourraient être utilisées dans ce cas seraient par exemple les temps moyens nécessaires à la réparation d’un avion défectueux et à sa remise en état de vol.

Les sources de données pour ces grandeurs sont les données des fabricants qui ont été vérifiées pendant les essais au sol en Suisse.

Pour chaque candidat, ces données et leur analyse sont documentées par l’équipe d’experts correspondante et récapitulées dans un «Rapport technique Facilité d’entretien».

Ces rapports techniques servent ensuite de base pour comparer comme ci-dessous les candidats les uns par rapport aux autres à l’aide de la méthode AHP. Pour reprendre notre exemple : le candidat permettant la remise en état la plus efficace obtiendra plus de points que les autres candidats.

Sessions AHP

La comparaison des candidats intervient lors de «sessions AHP» dont le déroulement est formellement défini. Poursuivant notre exemple, cela pourrait se résumer ainsi:

  1. Les responsables de l’équipe d’experts «Facilité d’entretien» présentent à l’équipe d’évaluateurs, à partir de leur rapport technique, les résultats obtenus pour ce point d’évaluation.
  2. Après la présentation a lieu une séance de questions et réponses.
  3. La comparaison des candidats est ensuite effectuée de façon indépendante par chaque membre de l’équipe d’évaluation. La cohérence de ces évaluations individuelles est vérifiée par l’outil AHP.
  4. Les évaluations individuelles sont ensuite regroupées dans une évaluation globale. L’outil AHP évalue alors le niveau de cohérence de l’évaluation globale ainsi que le degré de consensus au sein de l’équipe.
  5. Les incohérences significatives au sein de l’équipe d’évaluation sont détectées par l’outil et doivent être clarifiées avant qu’une évaluation soit définitivement acceptée.

Comparaison de l’utilité globale et des coûts totaux

Le résultat de la comparaison de l’utilité globale et des coûts totaux est présenté dans un diagramme dont l’axe des ordonnées (axe y) représente l’utilité globale et l’axe des abscisses (axe x) est celui des coûts. L’évaluation des coûts intègre ici tant les coûts d’acquisition des systèmes que les coûts d’exploitation sur une période de 30 ans. Ces deux dimensions, utilité globale et coûts totaux, pèsent ainsi chacune pour 50% dans le diagramme et dans la comparaison de l’utilité globale par rapport aux coûts totaux.

Analyse de la valeur d’usage avec AHP

Dans un premier temps, la méthode AHP est utilisée dans les projets NAC et DSA LP. L’expérience d’autres offices d'armement et la nôtre ont montré qu’elle était robuste. Par rapport à l’analyse traditionnelle de la valeur d’usage, elle est particulièrement intéressante pour l’évaluation de systèmes complexes. Les expériences acquises lors du programme Air2030 seront documentées et mises à disposition d’autres projets. Pour que l’utilisation de la méthode soit un succès, il ne faut pas oublier que le projet doit créer, tôt dans le processus, les conditions qui permettront ultérieurement d’utiliser la méthode AHP. Les exigences en la matière doivent être directement liées aux questions posées dans le questionnaire de l’appel d’offres, qui doivent à leur tour porter sur les différents critères d’évaluation principaux et points d’évaluation. Cela signifie que l’équipe de projet doit savoir assez tôt dans le processus ce qui devra être évalué plusieurs années après le début du projet.

Bref portrait

Xavier Comby (46 ans) est physicien diplômé de l’EPF de Zurich et titulaire d’un Mastère en Aéronautique de l’ISAE (Institut Supérieur de l’Aéronautique et de l’Espace) à Toulouse, France. Après avoir occupé plusieurs postes d’ingénieur système puis de cadre dans des entreprises aéronautiquesen Suisse et à l’étranger, il a rejoint armasuisse en 2014. Au sein du projet NAC, il est responsable du projet partiel Technique. Au sein du programme Air2030, il dirige le System-of-Systems Engineering et élabore des prescriptions techniques pour des aspects transversaux du programme.