Ne vous défilez pas
Peut-être avez-vous entendu parler des soldats Japonais cachés qui refusaient de croire les communiqués de capitulation du Japon en 1945. L’un d’entre eux se nommait Hiroo Onoda, et était en charge de trois autres soldats sur l’île de Luban dans les Philippines. Pendant plus d’une décennie, ils ont survécu grâce aux noix-de-coco et aux bananes récoltées dans la jungle, refusant de croire que la guerre était finie :
Des tracts étaient largués les uns après les autres. Des journaux étaient laissés. Des photos et des lettres de leur famille étaient envoyées. Des amis et des parents leur ont parlé au travers de haut-parleurs. Il y avait toujours quelque chose de suspect, donc ils ne croyaient jamais que la guerre était vraiment terminée.
Un par un, les soldats d’Onoda moururent ou se rendirent, mais Onoda lui-même ne fut convaincu de la capitulation du Japon qu’en 1974, près de 30 ans plus tard. Par la suite, il évoqua :
Soudainement, tout s’est assombri. Une tempête fit rage au fond de moi. Je me suis senti stupide… qu’avais-je fais durant toutes ces années ?
Celui qui étudie la rationalité souhaite avoir des croyances vraies, afin de pouvoir mieux accomplir ses objectifs. Il réagira aux éléments de façon très différente de celle qu’a suivie Onada. Il changera d’avis dès qu’il y aura assez d’éléments qui justifient de le faire (selon ce qu’il sait déjà et selon les lois de la théorie des probabilités). Se rattacher à des croyances fausses peut avoir de fâcheuses conséquences : par exemple, passer 30 ans à déféquer dans des coquilles de noix-de-coco.
Onoda avait été entrainé selon le type de dogmatisme militaire qui crée des pilotes kamikazes, et il avait été poussé à croire qu’une défaite japonaise était la pire issue imaginable. Ainsi, Onoda a naturellement détourné son esprit face aux éléments indiquant la défaite du Japon, car il était entrainé à croire que ce dénouement était émotionnellement et mentalement impensable.
L’une des compétences incluses dans la boite à outils de la pensée rationnelle est de remarquer lorsque cette « fuite » arrive, et de la contrer. Nous aurons besoin de cette aptitude lorsque nous aborderons les implications des idées précédentes — que l’IA est inévitable si la science continue, et que l’IA peut être bien plus intelligente (et donc plus puissante) que les humains. Quand nous examinons les implications de ces idées, il est utile de comprendre ce qu’il se passe dans le cerveau humain quand il songe à des idées aux implications désagréables. Comme nous le verrons, l’endoctrinement militaire n’est pas indispensable pour que le cerveau humain se défile. En fait, cette fuite est une caractéristique standard de la psychologie humaine, et se retrouve sous les appellations « cognition motivée » et « rationalisation« .
Considérons un exemple extrême, le créationniste. Il acceptera des éléments douteux pour supporter sa position, et sera excessivement sceptique vis-à-vis de ceux qui la remettent en question. Il ira à la recherche d’éléments qui pourraient confirmer sa position, mais ne cherchera pas les plus solides éléments qui la contredisent. (Ainsi, je rencontre parfois des créationnistes qui n’ont jamais entendu parler des rétrovirus endogènes.)
La plupart d’entre nous fait ce genre de choses chaque semaine, bien que de manière moins flagrante et moins néfaste (espérons-le). On se détourne des vérités et des choix inconfortables, disant « il est mieux de remettre cette décision à plus tard ». On évite les faiblesses de nos croyances. On part d’une opinion préconçue, et on trouve des arguments qui la soutiennent seulement après. On filtre inconsciemment les éléments de preuve disponibles afin de favoriser nos croyances actuelles. On répond aux faibles arguments qui sont contre nos positions mais on évite de considérer les plus solides arguments possibles contre ces positions.
Et en général, ces processus sont automatiques et inconscients. Il n’est pas nécessaire que vous soyez une personne particulièrement irrationnelle pour vous défiler ainsi. Non, vous aurez tendance à vous défiler par défaut sans même le remarquer, et vous devrez employer un effort mental conscient afin de ne pas vous défiler de faits inconfortables. Et ça ne signifie pas chanter « Je ne commettrai pas de biais de confirmation. Je ne commettrai pas de biais de confirmation. », je parle de quelque chose de plus efficace.
Quel genre d’effort mental conscient peut-on engager pour contrer ce phénomène de fuite ?
Un conseil est de vous laisser une ligne de retraite :
Je discutais la nuit dernière avec [quelqu’un qui] venait de déclarer (a) sa croyance en les âmes et (b) qu’il ne croyait pas en la cryonie parce qu’il croyait que l’âme ne resterait pas avec le corps congelé. J’ai demandé « Mais comment peux-tu savoir ça ? ». Etant donné la confusion qui est apparue sur son visage, il était évident que cette question ne lui était jamais venue à l’esprit…
… « assure-toi, lui ai-je suggéré, que tu visualises comment serait le monde s’il n’y avait pas d’âme, et ce que tu y ferais. Ne pense pas aux raisons pour lesquelles ce serait impossible, accepte-le simplement comme une hypothèse et ensuite visualise les conséquences. Donc tu te diras « Bien, s’il n’y a pas d’âme, je peux m’enregistrer pour la cryonie », ou « S’il n’y a pas de Dieu, je peux de toute façon continuer à agir moralement » plutôt que ce soit trop effrayant à affronter. Pour des raisons de respect de soi tu devrais essayer de croire en la vérité, aussi inconfortable qu’elle soit… [et] d’un point de vue de nature humaine, il est utile de rendre une croyance plus confortable avant d’essayer d’en évaluer la véracité. »
Bien sûr, vous devez toujours juger les éléments de manière équitable. Il ne faudrait pas compenser à l’extrême en rejetant tout ce qui nous plait et en adhérant à tout ce qui nous effraie. Il y a des croyances qui m’effraient et auxquelles je continue de ne pas adhérer, et il y a des croyances qui m’attirent et auxquelles je continue d’adhérer. Il est important de visualiser un scénario clairement et de le rendre moins effrayant afin que votre cerveau puisse en analyser plus objectivement les éléments.
Se laisser une ligne de retraite est un outil à utiliser avant la bataille. Une technique « anti-fuite » à utiliser pendant la bataille est d’interpeler verbalement la réaction de fuite. Je me surprends à penser à des choses telles que « Il me semble avoir lu que le sucre n’est en fait pas si mauvais que ça pour nous », et j’ajoute mentalement « mais ça pourrait simplement être de la cognition motivée, car j’ai vraiment envie de manger ce cookie en ce moment.”
C’est comme mettre en pause mon module de prise de décision, pour avoir plus de temps pour mettre en route mes « modules de curiosité » qui sont entraînés pour « avoir envie de savoir où se trouve réellement la vérité » plutôt que de justifier de manger des cookies. Par exemple, je m’imagine ce qui pourrait mal se passer si j’avais de fausses croyances sur la question — causées par la cognition motivée ou toute autre défaillance de la pensée. Dans le cas présent, je pourrais m’imaginer grossir ou avoir moins d’énergie sur le long terme comme des conséquences possibles de me tromper au sujet du sucre. Si j’envisageais de prendre une assurance incendie, j’imaginerais alors ce qui se passerait si mon jugement intuitif était dans le faux sur le fait d’acheter ou non l’assurance.
Ces outils seront importants quand nous considérerons les implications de l’IA. Nous sommes sur le point d’aborder des questions majeures, mais souvenez-vous : ne vous défilez pas. Regardez la réalité en face et ne cédez pas.