La rébellion du robot fou

Voici Linda :

Linda a trente-et-un ans, est célibataire, franche et très brillante. Elle est diplômée de philosophie. En tant qu’étudiante, elle était très concernée par les problèmes de discrimination et de justice sociale, et a aussi participé à des démonstrations anti-nucléaire.

Maintenant, classez ces descriptions possibles de Linda par ordre de probabilité qu’elles soient vraies :

Linda est enseignante dans une école primaire.
Linda travaille dans une librairie et suit des cours de yoga.
Linda est active dans le mouvement féministe.
Linda est assistante sociale.
Linda est membre de la Ligue des Femmes qui Votent.
Linda est guichetière dans une banque.
Linda est vendeuse d’assurances.
Linda est guichetière dans une banque et active dans le mouvement féministe.

Quand Amos Tversky et Daniel Kahneman ont fait passer ce test à des étudiants, les étudiants ont classé la dernière possibilité « guichetière dans une banque et active dans le mouvement féministe » comme plus probable que l’option « guichetière dans une banque ».

Mais ça ne peut pas être correct. La probabilité que Linda soit guichetière dans une banque ne peut pas être inférieure à la probabilité qu’elle soit à la fois guichetière dans une banque et féministe.

C’est ma pièce à conviction n°1 que « les humains sont fous » : les lois de la théorie des probabilités imposent qu’à mesure qu’une histoire se complique et repose sur la véracité de plus en plus d’affirmations, sa probabilité d’être vraie diminue. Mais pour les humains, une histoire parait souvent plus probable à mesure qu’elle est embellie de détails qui dépeignent une histoire convaincante : Linda ne peut pas être juste guichetière dans une banque ; regardez-la ! Elle est diplômée de philosophie et a participé à des démonstrations anti-nucléaire. Elle est probablement une guichetière de banque féministe.

De quelles autres façons les humains sont-ils fous ? Après des décennies de recherche et des milliers d’expériences, faisons le compte…

Nous ne paierions pas beaucoup plus pour sauver 200 000 oiseaux que pour en sauver 2000. Notre volonté à payer ne grandit pas en proportion égale à la taille de l’impact potentiel. Plutôt que de prendre nos décisions en utilisant des mathématiques de base, nous imaginons un seul oiseau qui se noie et nous donnons de l’argent en fonction de la force de notre réponse émotionnelle face à ce scénario imagé. (Négligence de la taille de l’échantillon, heuristique de l’affect.)
Faites tourner une roulette qui tombe sur un nombre entre 10 et 65, et devinez quel pourcentage de nations africaines sont dans les Nations Unies. Votre choix sera grandement influencé par un facteur sans rapport avec le sujet — le nombre sur lequel est tombée la roulette — simplement parce que votre cerveau était apprêté à ce nombre. Concrètement, « la moindre chose qui vous arrive peut court-circuiter votre jugement et votre personnalité pendant les minutes suivantes » (L’ancrage, l’amorçage.)
Apprenons que deux avions se sont récemment écrasés, et nous aurons moins de chances de prendre l’avion, même si ce n’est pas la probabilité d’un crash qui a augmenté mais simplement sa présence dans notre esprit. En général, nous jugeons souvent la probabilité de quelque chose en fonction de la facilité de cette chose à nous venir en tête. (Heuristique de disponibilité.)
Nous tirons des conclusions différentes à partir d’informations identiques selon comment celles-ci sont présentées. (Effet de cadrage.)
Nous partons d’une conclusion et nous cherchons des éléments qui la supportent, plutôt que de partir avec une hypothèse et de chercher des éléments qui pourraient la confirmer ou la remettre en cause. (La dernière ligne, biais de confirmation, rationalisation.)
Nous sommes des créatures d’habitudes. Nous ne faisons bien souvent que répéter ce que nous avons déjà fait, plutôt que d’agir en vue de maximiser l’accomplissement probable de nos objectifs. (Habitudes, personnalités mises en cache.)

Le biais qui est peut-être le plus effrayant est celui-ci :

L’effet de sophistication : les personnes les plus cultivées, étant donné qu’elles possèdent un meilleur arsenal pour tirer sur les faits et les arguments qui ne collent pas avec leurs positions, sont en réalité davantage sujettes à certains de ces biais.

Pour cette raison, s’éduquer au sujet des biais peut être néfaste si vous n’êtes pas précautionneux. Comme le dit Michael Shermer, « les gens intelligents croient en des choses étranges car ils ont du talent pour défendre les croyances auxquelles ils sont arrivés à cause de raisons non-intelligentes ».

Il y a de nombreux autres exemples de folie humaine. Ils sont parfois amusants, mais deviennent regrettables quand nous réalisons que ces biais nous poussent à donner à des organisations caritatives très inefficientes. Les choses deviennent effrayantes quand nous voyons comment ces biais affectent notre processus politique et notre engagement vis-à-vis des risques existentiels.

Et si vous étudiez suffisamment les causes de nos croyances et de nos motivations, une autre réalisation vous frappe.

« Mais bien sûr ! Ce n’est pas que j’ai un petit homoncule rationnel à l’intérieur qui se fait ‘corrompre’ par tous ces heuristiques et ces biais empilés sur lui. Non, les données montrent que le logiciel que je suis n’est en fait qu’heuristiques et biais. Je suis cet ensemble évolué de modules cognitifs et de raccourcis algorithmiques. Je ne suis pas un agent conçu pour avoir des croyances correctes et poursuivre des objectifs explicites ; je suis un robot fou construit comme un véhicule qui propage des gènes sans dépenser trop d’énergie sur de coûteux neurones réfléchissants »

La bonne nouvelle est que nous sommes des robots qui ont réalisé qu’ils sont des robots, et par un moyen d’auto-détermination rationnelle nous pouvons engager une rébellion du robot contre notre programmation d’origine.

Mais nous aurons besoin d’un entrainement de très haut niveau sur la rationalité pour y parvenir.

Ou, comme les experts l’appellent, nous « débiaiser ». Les chercheurs n’ont pas seulement découvert et expliqué les méandres de la folie humaine, ils ont aussi testé des méthodes qui peuvent nous aider à améliorer notre réflexion, clarifier nos objectifs, et nous donner du pouvoir sur notre destin.

Différent biais sont gérés avec différentes techniques, mais l’une des interventions de débiaisage les plus utiles est la suivante : envisager le contraire.

Par nécessité, les stratégies cognitives ont tendance à être des règles dépendantes d’un contexte et servant à adresser un ensemble restreint de biais. Cette observation rend la stratégie « d’envisager le contraire » d’autant plus impressionnante qu’elle est simple et générale, car elle est efficace pour réduire l’excès de confiance, le biais rétrospectif, et les effets d’ancrage… La stratégie consiste simplement à se demander, « Quelles raisons pourraient remettre en cause mon jugement initial ? ». La stratégie est efficace car elle contrecarre directement les problèmes basiques de traitement liés aux associations – un échantillon trop réduit d’éléments de preuve – en étendant l’échantillon et en le rendant plus représentatif. Similairement, encourager les décideurs à considérer des hypothèses alternatives a été démontré comme étant un moyen efficace de réduire les biais de confirmation grâce à la recherche et l’analyse de nouvelles informations.

Voici une autre compétence utile, la neutralisation cognitive :

Remarquez quand vous parlez ou agissez d’après un jugement intuitif.
Si le jugement est important, neutralisez votre jugement intuitif et appliquer les lois de la pensée à la place. (Cela nécessite un entrainement préalable en algèbre, logique, théorie des probabilités, théorie de la décision, etc.)

Pour observer cette dernière en action, considérez le problème suivant :

Une batte et une balle valent 1,10 € au total. La batte coûte 1 € de plus que la balle. Combien coûte la balle ?

La plupart des gens donnent la première réponse qui vient à l’esprit : 10 centimes. Mais l’algèbre de base montre que ça ne peut pas être correct : la batte vaudrait alors 1,10 €, pour un total de 1,20 €. Pour trouver la bonne réponse, vous devez remarquer l’arrivée de votre réponse intuitive, et dire, « Non ! Algèbre. », et ensuite faire le calcul.

Ceux qui veulent vraiment comprendre ce qui est vrai dans notre monde vont passer des milliers d’heures à étudier les lois de la pensée, à étudier les façons spécifiques qu’ont les humains d’être fous, et à s’entrainer aux compétences de rationalité qui peuvent s’apprendre afin qu’ils puissent éviter de se leurrer eux-mêmes.

Et ensuite, ensuite, nous serons en mesure d’engager une rébellion du robot, de comprendre comment fonctionne le monde, de clarifier nos objectifs, et de commencer à gagner plus souvent. Peut-être serons-nous même capable de naviguer vers la Singularité avec succès.

Chapitre suivant →