Comment mettre à niveau le jugement de votre entreprise


Idée en bref

Le problème

Les organisations et les individus sont notoirement pauvres pour juger de la probabilité d’événements incertains. Les prédictions sont souvent influencées par la sensibilité du prévisionniste aux biais cognitifs, le désir d’influencer les autres et les préoccupations concernant la réputation. Se tromper de jugement peut bien sûr avoir de graves conséquences.

La recherche

Sur la base de recherches impliquant 25 000 prévisionnistes et un million de prévisions, les auteurs ont identifié un ensemble de pratiques susceptibles d’améliorer la capacité de prédiction des entreprises: formation aux bases des statistiques et des biais; débattre des prévisions en équipe; et le suivi des performances et la rétroaction rapide.

En pratique

Pour améliorer la capacité de prédiction, les entreprises doivent tenir des comptes en temps réel de la façon dont leurs meilleures équipes font des jugements, y compris les hypothèses sous-jacentes, les sources de données, les événements externes, etc. Les clés du succès comprennent l’exigence de prévisions fréquentes et précises et la mesure de la précision à des fins de comparaison.

Imaginez que vous puissiez améliorer considérablement la capacité de prévision de votre entreprise, mais pour ce faire, vous devrez montrer à quel point ses prévisions – et les personnes qui les font – ne sont pas vraiment fiables. C’est exactement ce que les États-Unis la communauté du renseignement l’a fait, avec des résultats spectaculaires. En octobre 2002, le Conseil national du renseignement a rendu son avis officiel selon lequel l’Iraq possédait des armes chimiques et biologiques et produisait activement davantage d’armes de destruction massive. Bien sûr, ce jugement s’est avéré colossalement faux. Ébranlée par son échec du renseignement, la bureaucratie de 50 milliards de dollars a cherché à déterminer comment elle pourrait faire mieux à l’avenir, réalisant que le processus pourrait révéler des déficiences organisationnelles flagrantes.

Juste pour les abonnés

L’approche que nous allons décrire ici pour créer une capacité de prévision organisationnelle en constante amélioration n’est pas un livre de recettes qui propose des recettes éprouvées pour réussir. Bon nombre de ces principes sont relativement nouveaux et n’ont été appliqués que récemment dans les milieux d’affaires. Cependant, nos recherches montrent qu’ils peuvent aider les dirigeants à découvrir et à développer les meilleures capacités prédictives de leur entreprise où qu’ils résident.

Trouvez le Sweet Spot

Les entreprises et les particuliers sont notoirement incapables de juger de la probabilité d’événements incertains, comme le montrent trop bien les études. Bien entendu, une erreur de jugement peut avoir de graves conséquences. Le pronostic de Steve Ballmer en 2007 selon lequel «il n’y a aucune chance que l’iPhone obtienne une part de marché importante» n’a laissé à Microsoft aucune marge de manœuvre pour envisager des scénarios alternatifs. Mais l’amélioration même minime de la compétence de prévision d’une entreprise peut donner un avantage concurrentiel. Une entreprise qui a raison trois fois sur cinq lors de ses jugements va avoir un avantage toujours croissant sur un concurrent qui ne lui donne raison que deux fois sur cinq.

Avant de discuter de la manière dont une organisation peut créer un avantage prédictif, examinons les types de jugements qui menacent le plus d’améliorer – et ceux qui ne méritent pas d’être étudiés. Nous pouvons nous passer de prédictions qui sont soit tout à fait simples, soit apparemment impossibles. Considérez les problèmes hautement prévisibles: vous savez où les aiguilles de votre horloge seront dans cinq heures; les compagnies d’assurance-vie peuvent fixer de manière fiable les primes sur la base de tables de mortalité actualisées. Pour les problèmes qui peuvent être prédits avec une grande précision à l’aide d’outils économétriques et de recherche opérationnelle, il n’y a aucun avantage à acquérir en développant des compétences de jugement subjectif dans ces domaines: les données parlent haut et fort.

À l’autre extrémité du spectre, nous trouvons des problèmes complexes, mal compris et difficiles à quantifier, tels que les modèles de nuages ​​un jour donné ou lorsque la prochaine technologie révolutionnaire sortira d’un garage de la Silicon Valley . Ici aussi, il y a peu d’avantages à investir des ressources pour améliorer systématiquement le jugement: les problèmes sont trop difficiles à résoudre.

Le point idéal sur lequel les entreprises devraient se concentrer est les prévisions pour lesquelles certaines données, logiques et analyses peuvent être utilisées, mais un jugement chevronné et des questions minutieuses jouent également un rôle clé. La prédiction du potentiel commercial des médicaments dans les essais cliniques nécessite une expertise scientifique ainsi qu’un jugement commercial. Les évaluateurs des candidats à l’acquisition s’appuient sur des modèles de notation formels, mais ils doivent également évaluer les actifs incorporels tels que l’adéquation culturelle, la chimie parmi les leaders et la probabilité que les synergies prévues se concrétisent.

Considérez l’expérience d’une banque britannique qui a perdu beaucoup d’argent au début des années 1990 en prêtant aux États-Unis. des câblodistributeurs qui étaient chauds mais qui ont ensuite été ravitaillés. Le directeur des prêts a procédé à un audit de ces erreurs de prêt présumées, analysant les types de prêts accordés, les caractéristiques des clients et des agents de crédit concernés, les incitations en jeu et d’autres facteurs. Elle a noté les créances douteuses sur chaque facteur, puis a effectué une analyse pour voir lesquels expliquaient le mieux la variance des montants perdus. Dans les cas où les pertes étaient importantes, elle a constaté des problèmes dans le processus de souscription qui ont abouti à des prêts à des clients en mauvaise santé financière ou sans relation préalable avec la banque – problèmes pour lesquels l’expertise et le jugement étaient importants. La banque a pu apporter des améliorations ciblées qui ont amélioré les performances et minimisé les pertes.

Sur la base de notre expérience en recherche et en conseil, nous avons identifié un ensemble de pratiques que les dirigeants peuvent appliquer pour améliorer le jugement de leur entreprise dans ce terrain d’entente. Nos recommandations visent à améliorer la capacité de prévision des individus grâce à la formation; utiliser les équipes pour améliorer la précision; et suivre les performances de prédiction et fournir une rétroaction rapide. Les approches générales que nous décrivons doivent bien sûr être adaptées à chaque organisation et évoluer à mesure que le cabinet apprend ce qui fonctionne dans quelles circonstances.

S’entraîner au bon jugement

La plupart des prédictions faites dans les entreprises, qu’elles concernent les budgets des projets, les prévisions de ventes ou la performance des embauches ou acquisitions potentielles, ne sont pas le résultat d’un calcul à froid. Ils sont colorés par la compréhension du prévisionniste des arguments statistiques de base, la sensibilité aux biais cognitifs, le désir d’influencer la pensée des autres et les préoccupations concernant la réputation. En effet, les prévisions sont souvent intentionnellement vagues pour maximiser la marge de manœuvre si elles s’avéraient erronées. La bonne nouvelle est que la formation au raisonnement et au débiasing peut renforcer de manière fiable la compétence de prévision d’une entreprise. Le projet Good Judgment a démontré qu’une heure de formation seulement améliorait la précision des prévisions d’environ 14% au cours d’une année.

Apprenez les bases.

Les erreurs de raisonnement de base (comme croire qu’une pièce de monnaie qui a atterri trois fois de suite est plus susceptible de poser des queues au prochain tour) pèsent sur la précision de la prédiction. Il est donc essentiel que les entreprises jettent les bases des prévisions: la formation du GJP aux concepts de probabilité tels que la régression vers la moyenne et la révision bayésienne (mise à jour d’une estimation de probabilité à la lumière de nouvelles données), par exemple, a amélioré la précision des participants de manière mesurable. Les entreprises devraient également exiger que les prévisions comprennent une définition précise de ce qui doit être prévu (par exemple, la possibilité qu’une recrue potentielle atteigne ses objectifs de vente) et le délai requis (un an, par exemple). La prédiction elle-même doit être exprimée sous la forme d’une probabilité numérique afin qu’elle puisse être notée avec précision pour plus de précision ultérieurement. Cela signifie affirmer que l’on est «à 80% confiant» plutôt que «assez sûr» que l’employé potentiel atteindra ses objectifs.

Comprendre les biais cognitifs.

Les biais cognitifs sont largement connus pour fausser le jugement, et certains ont des effets particulièrement pernicieux sur les prévisions. Ils amènent les gens à suivre la foule, à chercher des informations qui confirment leurs opinions et à s’efforcer de prouver à quel point ils ont raison. C’est un défi de taille de dénigrer le jugement humain, mais le GJP a réussi à sensibiliser les participants aux biais clés qui compromettent les prévisions. Par exemple, le projet a formé les débutants à faire attention aux biais de confirmation qui peuvent créer une fausse confiance et à accorder le poids voulu aux preuves qui remettent en question leurs conclusions. Et cela a rappelé aux stagiaires de ne pas regarder les problèmes de manière isolée, mais plutôt de prendre ce que le prix Nobel Daniel Kahneman appelle «la vue extérieure». Par exemple, pour prédire combien de temps un projet prendra, les stagiaires ont été invités à demander d’abord combien de temps il faut généralement pour achever des projets similaires, afin d’éviter de sous-estimer le temps nécessaire.

La formation peut également aider les gens à comprendre les facteurs psychologiques qui conduisent à des estimations de probabilité biaisées, telles que la tendance à s’appuyer sur une intuition erronée au lieu d’une analyse minutieuse. Les intuitions statistiques sont notoirement sujettes aux illusions et à la superstition. Les analystes boursiers peuvent voir des tendances dans les données qui n’ont aucune base statistique, et les amateurs de sport considèrent souvent les séquences de lancers francs de basket-ball, ou «mains chaudes», comme la preuve d’une nouvelle capacité extraordinaire alors qu’en fait ils assistent à un mirage provoqué par un capricieux variations dans une petite taille d’échantillon.

Une autre technique pour sensibiliser les gens aux biais psychologiques sous-jacents aux estimations biaisées consiste à leur donner des «questionnaires de confiance». Les participants sont invités à fournir des estimations de fourchette sur des questions d’intérêt général (telles que «Quel âge avait Martin Luther King Jr. à sa mort?») Ou spécifiques à l’entreprise (telles que «Combien d’impôt fédéral notre entreprise a-t-elle payé au cours de la dernière année ? ”). La tâche des prédicteurs est de donner leur meilleure estimation sous la forme d’une fourchette et de lui attribuer un degré de confiance; par exemple, on pourrait deviner avec une confiance de 90% que le Dr King avait entre 40 et 55 ans lorsqu’il a été assassiné (il avait 39 ans). L’objectif n’est pas de mesurer les connaissances spécifiques aux domaines des participants, mais plutôt de savoir dans quelle mesure ils savent ce qu’ils ne savent pas. Comme Will Rogers l’a noté avec ironie: «Ce n’est pas ce que nous ne savons pas qui nous cause des ennuis; c’est ce que nous savons que ce n’est pas le cas.  » Les participants découvrent généralement que la moitié ou plus de leurs plages de confiance à 90% ne contiennent pas la vraie réponse.

Encore une fois, il n’existe aucun remède universel pour éviter ces erreurs systématiques; les entreprises devraient adapter les programmes de formation à leur situation. Susquehanna International Group, une société privée mondiale de négoce quantitatif, a sa propre approche idiosyncrasique. Fondée en 1987 par des amateurs de poker, la société, qui effectue plus d’un milliard de dollars de transactions par an, a besoin de nouvelles recrues pour jouer beaucoup de poker – à l’heure de l’entreprise. Au cours de ce processus, les stagiaires apprennent les pièges cognitifs, les influences émotionnelles telles que les vœux pieux, la théorie des jeux comportementaux et, bien sûr, la théorie des options, l’arbitrage et les réglementations en matière de change et de commerce. Les exercices de poker sensibilisent les stagiaires à la valeur de la pensée en termes de probabilité, en se concentrant sur l’asymétrie d’information (ce que l’adversaire pourrait savoir que je ne sais pas), en apprenant quand plier une mauvaise main et en définissant le succès non pas comme gagnant à chaque tour mais en tirant le meilleur parti de la main, vous êtes traité.

Les entreprises devraient également s’engager dans une formation personnalisée qui se concentre sur des domaines de prédiction plus étroits, tels que les ventes et la R&D, ou des domaines où les performances passées ont été particulièrement médiocres. Si votre équipe commerciale est sujette à l’orgueil, ce biais peut être systématiquement résolu. De tels programmes sur mesure sont plus difficiles à développer et à exécuter que les programmes généraux, mais parce qu’ils sont ciblés, ils produisent souvent de plus grands avantages.

Construisez le bon type d’équipes

Le regroupement des prévisionnistes en équipes est un moyen efficace d’améliorer les prévisions. Dans le projet du bon jugement, plusieurs centaines de prévisionnistes ont été affectés au hasard à travailler seuls et plusieurs centaines à travailler en équipe. Au cours de chacune des quatre années du tournoi IARAP, les prévisionnistes travaillant en équipe ont surpassé ceux qui travaillaient seuls. Bien sûr, pour obtenir de bons résultats, les équipes doivent être bien gérées et avoir certaines caractéristiques distinctives.

Composition.

Les prévisionnistes qui font le mieux dans les tournois GJP sont brutalement honnêtes quant à la source de leur succès, appréciant qu’ils aient pu obtenir une bonne prévision malgré (pas à cause de) leur analyse. Ils sont prudents, humbles, ouverts d’esprit, analytiques – et bons avec les chiffres. Lors de la constitution d’équipes, les entreprises doivent rechercher des prévisionnistes naturels qui font preuve d’une vigilance à l’égard des biais, d’un talent pour un raisonnement solide et d’un respect des données.

Il est également important que les équipes de prévision soient intellectuellement diverses. Au moins un membre devrait avoir une expertise dans le domaine (un professionnel des finances dans une équipe de prévision budgétaire, par exemple), mais les non-experts sont également essentiels – en particulier ceux qui n’hésiteront pas à défier les experts présumés. Ne sous-estimez pas ces généralistes. Dans les concours du GJP, les prévisionnistes civils non experts battaient souvent des analystes du renseignement qualifiés à leur propre jeu.

Divergence, évaluation et convergence.

Qu’une équipe fasse des prévisions sur un seul événement (comme la probabilité d’une récession aux États-Unis dans deux ans) ou fasse des prévisions récurrentes (comme le risque de récession chaque année dans un éventail de pays), une équipe performante doit bien gérer trois phases: une phase divergente, dans laquelle la question, les hypothèses et les approches pour trouver une réponse sont explorées sous plusieurs angles; une phase d’évaluation, qui comprend du temps pour les désaccords productifs; et une phase convergente, lorsque l’équipe décide d’une prédiction. Dans chacune de ces phases, l’apprentissage et les progrès sont plus rapides lorsque les questions sont ciblées et que les commentaires sont fréquents.

Les phases divergentes et d’évaluation sont essentielles; s’ils sont superficiels ou ignorés, l’équipe développe une vision en tunnel – se concentrant trop étroitement et se verrouillant rapidement sur une mauvaise réponse – et la qualité de la prédiction en souffre. Les bonnes normes peuvent aider à éviter cela, notamment en se concentrant sur la collecte de nouvelles informations et en testant des hypothèses pertinentes pour les prévisions. Les équipes doivent également se concentrer sur la neutralisation d’une erreur de prédiction commune appelée ancrage, où une estimation précoce – et peut-être mal avisée – biaise les opinions ultérieures beaucoup trop longtemps. Cela se produit souvent inconsciemment parce que les numéros facilement disponibles servent de points de départ pratiques. (Même des nombres aléatoires, lorsqu’ils sont utilisés dans une estimation initiale, ont été montrés pour ancrer les jugements finaux des gens.)

L’un de nous (Paul) a mené une expérience avec des sujets de MBA de l’Université de Chicago qui a démontré l’impact d’une exploration divergente sur la voie d’une prédiction finale. Dans un test, les sujets du groupe témoin ont été invités à estimer le nombre de médailles d’or aux États-Unis. gagnerait par rapport à un autre pays parmi les meilleurs aux prochains Jeux olympiques d’été et fournirait une fourchette de confiance de 90% autour de ces estimations. On a demandé à l’autre groupe d’esquisser d’abord diverses raisons pour lesquelles le ratio de médailles pourrait être inférieur ou supérieur à celui des années passées, puis de faire une estimation. Ce groupe a naturellement repensé aux attaques terroristes et aux boycotts, et a pris en considération d’autres facteurs susceptibles d’influencer le résultat, de la maladie à une meilleure formation en passant par des médicaments améliorant la performance. En raison de cette pensée divergente, les fourchettes de ce groupe étaient considérablement plus larges que celles du groupe témoin, souvent de plus de la moitié. En général, des plages plus larges reflètent des prévisions plus soigneusement pesées; des fourchettes étroites indiquent généralement des prévisions trop sûres et souvent moins précises.

Confiance.

Enfin, la confiance entre les membres de toute équipe est nécessaire pour obtenir de bons résultats. Il est particulièrement important pour les équipes de prévision en raison de la nature du travail. Les équipes qui prédisent le succès ou l’échec d’une nouvelle acquisition, ou qui handicapent les chances de céder avec succès une partie de l’entreprise, peuvent arriver à des conclusions qui soulèvent des problèmes de gazon ou menacent les ego et la réputation. Ils sont également susceptibles d’exposer des secteurs de l’entreprise, et peut-être des individus, avec de faibles capacités de prévision. Pour s’assurer que les prévisionnistes partagent leurs meilleures idées, les membres doivent se faire mutuellement confiance et croire que le leadership défendra leur travail et protégera leurs emplois et leur réputation. Peu de choses refroidissent une équipe de prévision plus rapidement qu’un sentiment que ses conclusions pourraient menacer l’équipe elle-même.

Suivez les performances et donnez votre avis

Notre travail sur le projet Good Judgment et avec un éventail de sociétés montre que le suivi des résultats des prévisions et la fourniture de commentaires en temps opportun sont essentiels pour améliorer les performances de prévision.

Considérez les États-Unis les météorologues, qui, bien que très calomniés, excellent dans ce qu’ils font. Quand ils disent qu’il y a 30% de chances de pluie, 30% du temps il pleut ces jours-là, en moyenne. La clé de leur performance supérieure est qu’ils reçoivent des commentaires opportuns, continus et sans ambiguïté sur leur précision, qui est souvent liée à leurs évaluations de performance. Les joueurs de bridge, les auditeurs internes et les géologues pétroliers brillent également par la prédiction grâce en partie à des commentaires solides et à des incitations à l’amélioration.

La mesure la plus pure de l’exactitude des prévisions et de leur suivi dans le temps est le score de Brier. Il permet aux entreprises de faire des comparaisons directes et statistiquement fiables entre les prévisionnistes à travers une série de prévisions. Au fil du temps, les scores révèlent ceux qui excellent, qu’ils soient des individus, des membres d’une équipe ou des équipes entières en compétition avec d’autres.

Mais le simple fait de connaître le score d’une équipe n’améliore guère les performances; vous devez également suivre le processus utilisé. Il est important de vérifier pourquoi les résultats ont été atteints – bons ou mauvais – afin de pouvoir en tirer des enseignements. Certains audits peuvent révéler que certaines étapes du processus ont conduit à une bonne ou à une mauvaise prédiction. D’autres peuvent montrer qu’une prévision était correcte malgré une justification erronée (c’est-à-dire qu’elle avait de la chance), ou qu’une prévision était erronée en raison de circonstances inhabituelles plutôt que d’une analyse erronée. Par exemple, un détaillant peut faire des prévisions très précises sur le nombre de clients qui visiteront un magasin un jour donné, mais si un événement de cygne noir – par exemple, une alerte à la bombe – ferme le magasin, ses prévisions pour ce jour seront mal . Son score Brier indiquerait une mauvaise performance, mais un audit de processus montrerait que la malchance, et non le mauvais processus, expliquait le score périphérique.

Jauger la dynamique du groupe est également un élément essentiel de l’audit du processus. Aucune quantité de bonnes données et de prévisions informelles ne peuvent surmonter la dynamique défectueuse de l’équipe. Considérez les discussions qui ont eu lieu entre la NASA et l’entrepreneur en ingénierie Morton Thiokol avant le lancement condamné de la navette spatiale Challenger en 1986. Au début, les ingénieurs de Thiokol ont déconseillé le lancement, craignant que les températures froides ne compromettent les joints toriques qui scellaient les joints des propulseurs de fusée. Ils ont prédit un risque d’échec beaucoup plus élevé que d’habitude en raison de la température. Finalement et tragiquement, Thiokol a inversé sa position.

L’analyse des ingénieurs était bonne; le processus organisationnel était défectueux. Une reconstitution des événements de ce jour, basée sur des audiences du Congrès, a révélé les conditions imbriquées qui ont compromis les prévisions: pression du temps, leadership directif, incapacité à explorer pleinement d’autres points de vue, silence des dissidents et sentiment d’infaillibilité (après tout, 24 précédents les vols se sont bien déroulés).

Pour éviter de telles catastrophes – et reproduire les succès – les entreprises devraient systématiquement collecter des comptes rendus en temps réel de la façon dont leurs meilleures équipes émettent des jugements, en conservant des enregistrements des hypothèses émises, des données utilisées, des experts consultés, des événements externes, etc. Des vidéos ou des transcriptions de réunions peuvent être utilisées pour analyser le processus; demander aux prévisionnistes d’enregistrer leur propre processus peut également fournir des informations importantes. Rappelons Susquehanna International Group, qui forme ses traders à jouer au poker. Ces commerçants sont tenus de documenter leur justification pour entrer ou sortir d’un métier avant d’effectuer une transaction. On leur demande de réfléchir à des questions clés: Quelles informations les autres pourraient-elles avoir que vous ne pourriez pas avoir sur le commerce? Quels pièges cognitifs pourraient fausser votre jugement sur cette transaction? Pourquoi croyez-vous que l’entreprise a un avantage sur ce métier? Susquehanna souligne en outre l’importance du processus en rattachant les primes des commerçants non seulement au résultat des transactions individuelles mais aussi à la solidité du processus analytique sous-jacent.

Des audits bien menés peuvent révéler a posteriori si les prévisionnistes ont fusionné autour d’une mauvaise ancre, mal encadré le problème, négligé un aperçu important ou échoué à engager (ou même museler) les membres de l’équipe avec des opinions dissidentes. De même, ils peuvent mettre en évidence les étapes du processus qui ont conduit à de bonnes prévisions et ainsi fournir aux autres équipes les meilleures pratiques pour améliorer les prévisions.

Chacune des méthodes que nous avons décrites – formation, constitution d’équipes, suivi et repérage des talents – est essentielle à une bonne prévision. L’approche doit être personnalisée dans toutes les entreprises et aucune entreprise, à notre connaissance, ne les a toutes maîtrisées pour créer un programme entièrement intégré. Cela représente une excellente opportunité pour les entreprises qui prennent les devants – en particulier celles qui ont une culture d’innovation organisationnelle et celles qui adoptent le type d’expérimentation qu’a fait la communauté du renseignement.

Mais les entreprises ne saisiront cet avantage que si des dirigeants respectés soutiennent l’effort, en diffusant une ouverture aux essais et erreurs, une volonté de froisser les plumes et une volonté d’exposer «ce que nous savons qu’il n’en est pas ainsi» afin de perfectionner bord prédictif.

Une version de cet article a paru dans le numéro de mai 2016 (pp.72–78) de revue de Harvard business.



Source link

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *