Par Johann Robette, Supply Chain Expert @ Vekia
Comment mesurer la performance ?
De nombreuses et importantes décisions de nos entreprises sont basées sur une forme ou une autre de prévision : décision d’embauche, de développement d’une nouvelle ligne de produits, de développement sur un nouveau territoire… . Et bien évidemment, la prévision intervient fortement dans le quotidien de nos Supply Chain.
Le rôle du prévisionniste dans l’organisation
De façon intéressante, la nécessité de prédire est si critique et requiert une telle expertise, qu’on en a fait un métier : prévisionniste.
En fait, on a créé puis spécialisé ce savoir-faire autour de fonctions dédiées, d’équipes dédiées, et même parfois de départements entiers dédiés à la prévision.
Cette organisation de la fonction prévision dans l’entreprise a quelques mérites, notamment de réunir les experts de ce sujet dans des équipes où ils peuvent partager leurs pratiques. On voit également souvent des équipes de prévisionnistes dans les départements supply chain.
Pourtant, cette séparation des tâches pose un problème clé : en séparant la fonction « prévision » de la fonction « prise de décision », beaucoup d’entreprises ont, en quelque sorte, créé des silos dans leur organisation et des décisions conduisant à des résultats en dessous de leur potentiel.
La contribution de la prévision au résultat final est complexe à mesurer
Voici pourquoi bien qu’étant un maillon clé de la prise de décision, d’autres éléments entrent en ligne de compte, souvent sous forme de contraintes et d’autres variables à prendre en compte. De ce fait, il est souvent complexe de mesurer précisément la contribution de la prévision au résultat final, à savoir l’effet de la décision prise.
Par exemple, au moment de décider d’acheter du stock d’un produit consommable à un fournisseur, la prévision de consommation est évidemment prise en compte, mais aussi le packaging (commandable par combien ?), les éventuels minima de commande ou de franco de port, le délai, etc.
Tout le monde a conscience de la valeur importante de la fonction prévision, mais son impact réel est souvent difficile – voire impossible – à mesurer.
L’enjeu c’est de trouver les métriques de la prévision
Pour autant, tous les prévisionnistes évaluent régulièrement la fiabilité de leurs prévisions, de nombreuses formules existent pour cela. Ces métriques se concentrent principalement sur la qualité intrinsèque de la prévision produite, métriques généralement nommées « Forecast Accuracy ».
Elles laissent bien souvent de côté la mesure de l’impact de la décision prise sur la base de la prévision, ce qui conduit à des décisions de moindre qualité.
Ce constat, nous l’avons fait chez Vekia depuis pas mal de temps. Et nous ne sommes pas les seuls à l’avoir fait.
Nous nous sommes donc naturellement posé la question suivante : comment évaluer la qualité d’une prévision de sorte que les décisions qu’elle conduit à prendre soient les meilleurs possibles ? dit autrement, qu’est-ce qu’une bonne prévision ?
Qu’est-ce qu’une bonne prévision ?
Pour comprendre ce qu’est une bonne prévision, il est nécessaire de revenir à la finalité de la prévision : dans quel processus de décision interviendra-t-elle ? quelle place prendra-t-elle dans la décision ?
Fondamentaux de la fonction prévision
Rappelons brièvement l’état de l’art et les fondamentaux de la fonction prévision :
La définition de ce qu’est la prévision idéale est largement partagée : c’est une prévision qui se réalise parfaitement. Exemple : « la prévision annonce a priori 996, le constat a posteriori est bien de 996. La prévision est parfaite ! »
Il est toutefois évident qu’en dépit de tous les efforts, l’avenir n’est quasiment jamais connu avec une telle certitude. Par conséquent, pour mesurer la qualité d’une prévision, la pratique consiste à en mesurer l’erreur a posteriori .
Exemple : « la prévision annonce a priori 996, le constat a posteriori est de 900. La prévision a fait une erreur de 96. »
Cette mesure d’erreur est rendue possible par une douzaine de métriques différentes de « Forecast Accuracy » auxquelles s’ajoutent d’innombrables variantes développées par les entreprises pour leurs besoins spécifiques.
La mission première de la fonction prévision est de générer des prévisions minimisant cette erreur.
La meilleure prévision est celle qui permet de prendre les meilleures décisions
Hélas, cette approche, renforcée par des décennies de pratique, laisse de côté un point essentiel: le but de la fonction prévision n’est pas de fournir la meilleure prévision qui soit ! Son but est de fournir la meilleure prévision pour l’usage spécifique des fonctions qui la consomme.
La meilleure prévision n’est donc pas la prévision parfaite, mais celle qui permet de prendre les meilleures décisions. La mission des prévisionnistes ne doit donc pas être de minimiser l’erreur entre une prévision et sa réalisation, mais bien de minimiser l’erreur des décisions qu’elle engendre.
Prenons un exemple : Imaginons un process de décision très simple, tiré de la vie quotidienne : tous les soirs, un individu consulte les prévisions météorologiques pour décider ou non de prendre son parapluie le lendemain.
Si on s’intéresse à l’erreur de prévision, alors lorsque les prévisions n’annoncent pas de pluie et qu’effectivement il ne pleut pas le lendemain, la prévision est parfaite. A l’inverse, lorsque les prévisions annoncent 10mm de précipitations et qu’en finalité, on constate 30mm, l’erreur de prévision est cette fois importante. On passe du simple au triple.
Ce qu’on mesure ici, c’est l’erreur intrinsèque de prévision.
Pour autant, dans le contexte spécifique du process de décision « parapluie ou pas », l’erreur constatée n’aura eu aucun impact sur la décision prise. Dans les deux cas, la prévision aura conduit à la bonne décision. Au regard de son usage, cette prévision était donc parfaite.
Ainsi, la qualité d’une prévision est totalement dépendante de son usage et de la pertinence des décisions qu’elle autorise.
Pourtant, comme nous l’avons vu, la fonction prévision ne dispose que de métrique mesurant la précision intrinsèque de la prévision. Aucune d’entre elles ne tient compte de son usage réel.
Cela ne signifie pas que ces métriques ne présentent aucun intérêt, loin de là. Mais force est de reconnaître qu’elles ne sont pas les plus utiles aux prises de décision de l’entreprise…
Vers une nouvelle génération de métrique « forecast impact »
Fort heureusement, il est tout à fait possible d’aborder différemment la qualité d’une prévision. Pour cela, il faut introduire une nouvelle génération de métriques, nommé « Forecast Impact » (et noté « FI ») qui se concentre, non plus sur l’erreur intrinsèque mais sur la qualité des décisions prises.
Construire un double digital
L’approche proposée consiste à créer un modèle informatique (ou « digital twin ») permettant d’évaluer les impacts « business » de n’importe quelle prévision fournie en entrée.
Pour construire ce double digital, il est nécessaire avant tout de modéliser le process de décision, et de définir ensuite une fonction évaluant la pertinence des décisions prises.
La pertinence des décisions prise peut être exprimé dans de très nombreuses façons. Néanmoins, par expérience, l’expression du coût financier de ces décisions démultiplie les usages possibles, comme nous l’aborderons dans la suite.
Factuellement, une modélisation parfaite des process et impacts sera parfois difficile, voire impossible à obtenir. Mais un modèle simplifié parvient souvent à « approximer » très efficacement une réalité bien plus complexe.
Le double digital ainsi créé permet donc de simuler, à partir d’une prévision fournie en entrée, tout le process de décision et d’évaluer automatiquement le coût de la décision finalement prise.
Trois typologies de prévisions
Trois typologies de prévisions vont permettre de générer les nouvelles métriques proposées et d’en démontrer toute la valeur :
· La prévision dite « actuelle », fruit du process de prévision en place. Elle permet de mesurer la Forecast Impact d’indice « a », noté « FIa ».
· La prévision dite « naïve », c’est-à-dire la prévision simple qui serait naturellement utilisée si la fonction prévision n’existait pas dans l’entreprise. Elle permet de mesurer la Forecast Impact d’indice « n », noté « FIn ».
· La prévision dite « oracle », c’est-à-dire la prévision parfaite, générée à posteriori et correspondant aux constats eux-mêmes. Elle permet de mesurer la Forecast Impact d’indice « o », noté « FIo ».
La première métrique, notée « FIn-a », est obtenue par la mesure de la différence entre le coût « FIn » de la prévision « naïve » et celui « FIa » de la prévision « actuelle ». Cette métrique s’appuie donc totalement sur le concept de FVA (Forecast Value Add) qu’elle vient booster pour mettre en évidence la valeur ajoutée, financièrement, de la fonction prévision.
La seconde métrique notée « FIa-o », est obtenue par la mesure de la différence entre le coût « FIa » de la prévision « actuelle » et celui « FIo » de la prévision « oracle ». Cette métrique estime le potentiel de gain adressable au travers de l’amélioration de la prévision.
La troisième métrique notée « FIn-o », est obtenue par la mesure de la différence entre le coût « FIn » de la prévision « naïve » et celui « FIo » de la prévision « oracle ». Cette métrique définie en quelque sorte le terrain de jeu complet, adressable au travers de l’amélioration de la prévision.
Combinées, ces métriques peuvent aisément être restituées, analysées et interprétées au travers de représentations graphiques comme des barres/aires empilées ou encore des jauges.
10 perspectives inédites
Cette nouvelle famille de métriques « Forecast Impact » ouvre de toutes nouvelles perspectives, comme en témoignent les quelques cas d’usage suivants.
De nouveaux cas d’usage
La fonction prévision est la première à tirer bénéfice de ces métriques. En effet, elles lui permettent entre autres :
1) de savoir précisément quand s’arrêter.
2) à l’inverse de savoir quel périmètre nécessite un effort accru.
3) de résoudre l’ambiguïté générée par les métriques classiques de Forecast Accuracy qui se contredisent régulièrement.
4) de sélectionner les modèles produisant les prévisions les plus adaptée à l’usage.
5) de cartographier les gisements de valeurs.
6) de prioriser les travaux les uns par rapport aux autres.
7) de mettre en évidence la contribution de chaque participant au process de prévision.
Des métriques qui bénéficient à toute l’entreprise
Mais la valeur générée par ces métriques bénéficie largement à l’entreprise tout entière :
1) intelligible de tous, elles autorisent une communication bien plus fluide que les métriques de Forecast Accuracy.
2) elles démontrent l’apport de valeur de la fonction prévision.
3) plus que de pures métriques de prévision, elles mettent en évidence les coûts inhérents aux process de décision et par la même pointent les axes d’amélioration souhaitables, etc.
Conclusion
Chaque entreprise est engagée au quotidien dans une lutte permanente contre inefficiences. Identifiés de longues dates comme tels, les silos sont souvent perçus comme autant de fracture au sein des organisations.
La fonction prévision, quant à elle, bénéficie naturellement de sa position centrale au sein de l’entreprise. Interlocuteur clé de nombreux départements, elle est au cœur même de process d’entreprise clés tel que IBF ou S&OP.
Pour autant, la mesure de la performance reste historiquement et étonnamment décorrélée dans la pratique des usages et impacts business des prévisions.
Réintégrer la dimension business dans la mesure de la prévision
La nouvelle famille de métriques « Forecast Impact » permet quant à elle de réintégrer cette dimension « business » au cœur même de la planification. Toute l’entreprise s’en trouve réalignée autour d’enjeux communs, partagés et compris de tous.
De plus, ces métriques ouvrent de nouvelles perspectives et autorisent des cas d’usage totalement inédits autour de l’automatisation, de la priorisation et de la valorisation des process clés des entreprises.
Cette approche est au coeur de notre stratégie chez Vekia
Ces métriques sont employées depuis plusieurs mois déjà par Vekia, avec un apport de valeur important constaté dans les nombreux contextes de nos clients (retail, maintenance, énergie, télécommunication, pharmaceutiques, etc.).
Fort de ce succès, leur usage en est donc désormais généralisé, notamment dans 1) l’évaluation de nos modèles de prévisions (pour sélectionner les modèles les plus adaptés à nos clients) et 2) dans l’optimisation du paramétrage de nos algorithmes (en nous appuyons sur nos « digital twins » pour simuler finement leurs impacts tant financiers qu’opérationnels).
Qu’en est-il de votre entreprise ? Les métriques en place visent-elles bien une précision « opérationnellement parfaite »? Quelles perspectives ces nouvelles métriques vous ouvrent-elles ?
Dans nos prochains articles, nous reviendrons plus en détail sur les nouveaux usages qu’autorise les métriques de « Forecast Impact ».