eBook

Les lois de la pensée

Si certains ne sont pas d’accord avec moi sur les lois de la logique, sur la théorie des probabilités, et sur la théorie de la décision, je n’irai pas bien loin avec eux concernant les discussions sur la Singularité car ils finiront par soutenir que l’intelligence humaine fonctionne par magie, ou qu’une machine gagne forcément en bienveillance à mesure qu’elle gagne en intelligence, ou qu’il est simple de spécifier ce que les humains veulent, ou toute autre bêtise. Donc, assurons-nous de bien nous entendre sur les bases avant d’essayer de nous entendre sur les sujets plus complexes.

La logique

Par chance, peu de gens sont en désaccord concernant la logique. Comme pour les mathématiques, nous pouvons faire des erreurs par ignorance, mais une fois que quelqu’un nous montre la preuve du théorème de Pythagore ou de l’invalidité de l’affirmation du conséquent, nous sommes d’accord. Les mathématiques et la logique sont des systèmes déductifs, où la conclusion d’une démonstration réussie découle obligatoirement de ses prémisses, étant donnés les axiomes du système utilisé : théorie des nombres, géométrie, logique du premier ordre, etc. (Bien sûr, nous ne pouvons pas totalement échapper à l’incertitude : la preuve bien connue du Dernier Théorème de Fermat par Andrew Wiles fait plus de 100 pages de long, donc même si je me penchais dessus je ne serais pas certain de n’avoir commis aucune erreur.)

Pourquoi devrions-nous laisser les lois de la logique dicter notre raisonnement ? Il n’y a rien d’inquiétant à cela. Les lois de la logique sont implicites à la façon dont nos discussions se déroulent. Si vous me dites que la voiture devant vous est 100% rouge et en même temps qu’elle est 100% bleue, alors le problème n’est pas que nous opérons selon des lois logiques différentes, mais plutôt que nous utilisons des langages différents. Ce que je veux dire quand je dis que la voiture devant moi est « 100% rouge », c’est qu’elle n’est pas aussi « 100% bleue » de la même façon et au même moment. Si vous n’êtes pas d’accord, alors nous ne parlons pas le même langage. Vous utilisez un langage qui utilise les mêmes sons et orthographes que moi, mais ne veut pas dire les mêmes choses.

Mais la logique est un système de certitude, et notre monde est un système d’incertitude. Dans notre monde, nous devons parler non pas de certitudes mais de probabilités.

La théorie des probabilités

Donnez à un enfant la religion en premier, et il aura probablement du mal à la remettre en question, même lorsqu’il découvrira la science. Donnez à un enfant la science en premier, et lorsqu’il découvrira la religion elle lui semblera stupide.

Pour cette raison, je vais expliquer en premier la théorie correcte des probabilités, et j’aborderai seulement ensuite la théorie incorrecte.

Qu’est-ce que la probabilité ? C’est une mesure des chances qu’a une proposition d’être vraie, étant donné les autres choses que vous pensez vraies. Et quelle que soit notre théorie des probabilités, elle devrait être cohérente avec le bon sens (par exemple, cohérente avec la logique), et elle devrait être cohérente avec elle-même (si vous pouvez calculer une probabilité avec deux méthodes, ces méthodes devraient donner le même résultat).

Plusieurs auteurs ont montré que les axiomes de la théorie des probabilités peuvent être dérivés de hypothèses ci-dessus et de la logique. Autrement dit : la théorie des probabilités est une simple extension de la logique. Si vous acceptez la logique et que vous acceptez les (très minimes) hypothèses précédentes sur ce que sont les probabilités, alors vous avez accepté la théorie des probabilités.

Une autre raison d’accepter la théorie des probabilités est la suivante (grossièrement) : si vous ne l’acceptez pas, et si vous êtes prêts à parier sur vos croyances, alors quelqu’un qui utilise la théorie des probabilités peut prendre tout votre argent. (Pour la démonstration, jetez un oeil à « Dutch Book arguments ».)

La règle qui est peut-être la plus utile à dériver à partir des axiomes de la théorie des probabilités est le Théorème de Bayes, qui indique exactement comment changer la probabilité d’une affirmation lorsque de nouvelles informations arrivent. (Dans les sciences cognitives de la rationalité, beaucoup de biais cognitifs sont définis selon la façon dont ils enfreignent soit la logique de base soit le Théorème de Bayes.) Si vous n’utilisez pas le Théorème de Bayes pour mettre à jour vos croyances, alors vous enfreignez la théorie des probabilités, qui est une extension de la logique.

Bien sûr, le cerveau humain est trop lent pour faire des calculs Bayesiens explicites toute la journée. Mais vous pouvez développer des heuristiques mentaux qui feront un meilleur travail que la plupart de nos heuristiques naturels pour estimer des calculs Bayesiens.

Mais ce n’est pas l’endroit pour un tutoriel complet sur la logique ou sur la théorie des probabilités ou sur l’entrainement rationnel. Je voudrais introduire les outils principaux que j’utiliserai pour que je puisse ensuite expliquer pourquoi j’en suis venu à une conclusion plutôt qu’une autre concernant la Singularité. Mais, vous pouvez au minimum lire ce court tutoriel sur le Théorème de Bayes avant de continuer.

Enfin, je dois vous expliquer rapidement la raison pour laquelle l’approche fréquentiste des probabilités, celle que vous avez probablement apprise à l’école, est mauvaise. Alors que l’approche Bayesienne voit les probabilités comme des mesures de notre incertitude sur le monde, l’approche fréquentiste voit les probabilités comme « la proportion de chances qu’un événement se produise sur une longue série d’expériences répétées ». Je vais simplement mentionner deux problèmes à cette approche, parmi au moins quinze:

  1. L’approche fréquentiste n’est pas dérivée des lois de la logique, et elle n’est pas auto-cohérente. Sous l’approche fréquentiste, calculer une probabilité avec deux méthodes peut souvent mener à deux réponses différentes.
  2. L’approche fréquentiste analyse les probabilités en se basant non pas exclusivement sur ce que nous savons mais aussi sur une longue série « d’expériences » que nous pourrions ne jamais observer, et qui ne sont que vaguement définies. En d’autres termes, l’approche fréquentiste abandonne l’empirisme.

Si l’approche fréquentiste est fausse, pourquoi est-elle si populaire ? Il y a de nombreuses raisons, examinées dans ce livre qui traite du Théorème de Bayes. Toujours est-il que quand je parlerai de la théorie des probabilités, il s’agira du Bayesianisme.

La théorie de la décision

J’ai expliqué pourquoi il y a des Lois de la Pensée lorsque l’on en vient à la rationalité épistémique (acquérir des croyances vraies), et je vous ai cité quelques tutoriels détaillés. Mais comment peut-il y avoir des Lois de la Pensée concernant la rationalité instrumentale (maximiser la réussite de ses objectifs) ? Ce que nous voulons n’est-il pas subjectif, et donc sujet à aucune règle ?

Oui, nous pouvons avoir beaucoup d’objectifs. Mais quand il s’agit de maximiser l’accomplissement de ces objectifs, il y a effectivement des règles. En y réfléchissant, c’est évident. Quels que soient vos objectifs, il y a toujours des moyens très idiots d’essayer de les accomplir. Si vous voulez connaitre ce qui existe, vous ne devriez pas vous mettre la tête dans le sable et refuser de regarder ce qui existe. Et si vous voulez accomplir vos objectifs dans le monde, vous ne devriez pas paralyser votre corps, à moins que la paralysie soit votre but.

Soyons plus spécifiques. La théorie de la décision consiste à choisir parmi des actions possibles en fonction de votre degré de désir concernant les conséquences possibles de ces actions.

Comment ça marche ? Ce que vous désirez peut être défini par quelque chose appelé fonction d’utilité, qui assigne un nombre exprimant combien vous désirez chaque conséquence possible (ou chaque « description d’un futur complet possible »). Peut-être qu’une boule de crème glacée représente pour vous 40 « utilons », la mort de votre fille en représente -⁠274 000, etc. Cette représentation numérique de tout ce qui vous importe est votre fonction d’utilité.

On peut combiner vos croyances probabilistes et votre fonction d’utilité pour calculer l’espérance d’utilité de toute action considérée. L’espérance d’utilité d’une action est l’utilité moyenne des conséquences possibles de l’action, pondérée par la probabilité que chaque conséquence se produise.

Imaginez que vous marchez le long d’une autoroute avec votre fille. Vous voyez un stand de glaces de l’autre côté de l’autoroute, mais vous vous êtes récemment blessé à la jambe et vous ne pourriez pas traverser rapidement. Au vu de ce que vous savez, si vous envoyez votre fille traverser la route pour prendre de la glace, il y a 60% de chances que vous obteniez de la glace, 5% de chance que votre fille soit tuée par des voitures, et d’autres probabilités pour d’autres conséquences.

Pour calculer l’espérance d’utilité d’envoyer votre fille de l’autre côté de l’autoroute pour de la glace, on multiplie la probabilité de la première conséquence par son utilité : 0,6 x 40 = 24. Ensuite, on y ajoute le produit de l’utilité de la conséquence suivante et de sa probabilité : 24 + (0,05 × -⁠274 000) = -⁠13 676. Et supposons que la somme des produits des utilités et des probabilités des autres conséquences soit zéro. L’espérance d’utilité d’envoyer votre fille prendre de la glace de l’autre côté de l’autoroute est donc très basse (ainsi que le bon sens nous l’aurait indiqué). Vous devriez probablement prendre l’une des autres actions qui vous sont disponibles, par exemple l’action de ne pas envoyer votre fille traverser l’autoroute — ou, une action avec une espérance d’utilité encore plus haute.

Un agent rationnel cherche à maximiser son espérance d’utilité, car il va en moyenne obtenir le maximum de ce qu’il désire, étant donné ses croyances et ses désirs.

Il semble intuitif qu’un agent rationnel devrait maximiser son espérance d’utilité, mais pourquoi serait-ce le seul moyen rationnel de faire les choses ? Pourquoi ne pas essayer de minimiser la pire perte possible ? Pourquoi ne pas essayer de maximiser la somme pondérée des cubes des utilités possibles ?

La justification pour le principe de « l’espérance d’utilité maximale » a été découverte dans les années 1940 par Von Neumann et Morgenstern. En clair, ils ont prouvé que si quelques axiomes à propos de préférences sont acceptés, alors un agent ne peut agir en conformité avec ses propres préférences que s’il choisit une action qui maximise son espérance d’utilité.

Quels sont ces axiomes ? Tout comme les axiomes de la théorie des probabilités, ils sont simples et intuitifs. Par exemple, l’un d’eux est l’axiome de « transitivité », qui dit que si un agent préfère A à B, et qu’il préfère B à C, alors il doit préférer A à C. Cet axiome implique que quelqu’un qui a des préférences non-transitives peut se faire dérober de tout son argent même en ne faisant que des échanges qui lui semblent favorables.

Je n’entrerai pas dans les détails ici car cette conclusion a été largement acceptée : un agent rationnel maximise l’espérance d’utilité.

Malheureusement, les humains ne sont pas des agents rationnels. Comme nous le verrons dans l’article suivant, les humains sont fous.