eBook

Pas conçus pour penser à l’IA

Dans la saga Terminator, l’IA Skynet devient consciente d’elle-même, tue des milliards d’êtres humains, et déploie des robots tueurs pour éliminer les derniers groupes de résistants. Cela semble assez horrible, mais dans cet article sur la Singularité, Keef Roedersheimer (programmeur chez Ebay) explique que la création d’une vraie machine super-intelligente serait bien pire que ça.

« Pire que Terminator ? » a demandé Martin Kaste, de NPR.

« Pire, bien pire » a répondu Keefe.

« C’est un paysage lunaire avec des gens qui se cachent sous des bâtiments en ruines et qui reçoivent des tirs de lasers. Qu’est-ce qui pourrait bien est pire que ça ?

« Que tout le monde meurt. »

Pourquoi a-t-il dit ça ? Parmi tous les objectifs qu’une IA pourrait avoir — que ce soit de résoudre l’hypothèse de Riemann ou de maximiser la production de pétrole — la simple raison est que « l’IA ne vous aime pas, pas plus qu’elle ne vous hait, mais vous êtes faits d’atomes et elle peut s’en servir pour autre chose ». Et quand une IA surhumaine se rendra compte que les humains vont probablement résister à cette idée, elle aura intérêt à nous éliminer aussi vite que possible — et pas d’une façon qui va exposer ses faiblesses critiques à une équipe de héros intrépides qui peuvent sauver le monde à condition qu’ils mettent de côté leurs différences ». Non. Pour la plupart des objectifs qu’une IA pourrait avoir, éliminer la menace humaine, aussi efficacement que possible, maximisera l’espérance d’utilité de l’IA.

Et soyons honnêtes : il y a de meilleurs moyens pour nous tuer que d’envoyer des robots de forme humaine qui marchent sur le sol et semblent prendre plaisir à projeter des humains contre les murs plutôt que de simplement leur briser la nuque. Il serait bien plus efficace si l’attaque était soudaine, avec des effets simultanés partout dans le monde, d’une létalité rapide, et défiant toute contre-mesure possible. Par exemple : pourquoi ne pas utiliser toute cette super-intelligence pour concevoir un super-virus aéroporté, très contagieux et mortel ? Une mutation de la grippe en 1918 a tué 3% de la population de la Terre, et c’était avant que les transports aériens (qui étendent les maladies à travers le monde) soient répandus, et sans que la moindre intelligence ait été impliquée dans la conception du virus. Appliquez-y un brin d’intelligence, et vous obtenez la création par une équipe des Pays-Bas d’une variante de la grippe aviaire qui « pourrait tuer la moitié de l’humanité« . Une super-intelligence pourrait créer quelque chose de bien pire. Ou bien, l’IA pourrait se cacher sous terre ou s’éjecter dans l’espace et tous nous tuer avec des technologies existantes : quelques milliers d’armes nucléaires.

Je ne dis pas que ces scénarios particuliers sont probables. J’essaye juste d’indiquer que la réalité de la situation peut être bien différente de ce qui permet de faire de la bonne fiction. Comme le dit le philosophe d’Oxford Nick Bostrom :

A quand remonte la dernière fois que vous avez vu un film où l’humanité s’éteignait soudainement (sans avertissement et sans être remplacée par une autre civilisation) ?

L’intrigue est meilleure si le combat peut être remporté par chacun des deux clans de manière plausible. Le Seigneur des Anneaux ne se serait pas vendu à autant d’exemplaires si Frodo avait fait la chose la plus sensée et avait jeté l’anneau dans le volcan en chevauchant un aigle géant. Et ce n’est pas non plus une histoire intéressante si les humains perdent soudainement, et point final.

Quand nous réfléchissons à l’IA, nous ne devons pas généraliser à partir d’éléments de fiction. Malheureusement, nos cerveaux le font automatiquement.

Lors d’une étude bien connue de 1978, on a demandé à des sujets de deviner lequel de deux dangers arrivait le plus souvent. Les sujets pensaient que les accidents causaient environ autant de morts que les maladies, et que les meurtres étaient plus fréquents que les suicides. En réalité, les maladies causent 16 fois plus de morts que les accidents, et le suicide est deux fois plus fréquent que le meurtre. Que s’est-il passé ?

Des dizaines d’études sur l’heuristique de disponibilité suggèrent que nous jugeons la fréquence ou la probabilité d’événements par leur facilité à nous venir en tête. Ce n’était pas un heuristique si terrible à avoir dans notre environnement ancestral où nous ne pouvions pas vérifier les vraies fréquences sur Wikipedia ni déterminer les vraies probabilités avec le Théorème de Bayes. Les heuristiques du cerveau sont rapides, peu couteux, et souvent corrects.

Mais comme beaucoup de nos heuristiques cognitifs naturels, l’heuristique de disponibilité donne souvent les mauvais résultats. Les accidents sont plus marquants, et donc viennent à l’esprit plus facilement, ce qui nous pousse à surestimer leur fréquence par rapport aux maladies. Il en va de même pour les meurtres et les suicides.

L’heuristique de disponibilité explique aussi pourquoi les gens pensent que voler est plus dangereux que conduire alors que l’inverse est vrai : un crash d’avion est plus marquant et est signalé plus largement lorsqu’il arrive, donc il est davantage disponible dans notre mémoire, et le cerveau se piège lui-même en pensant que la disponibilité de l’événement indique sa probabilité.

Que fait votre cerveau quand il pense à une IA surhumaine ? Très probablement, il vérifie toutes les instances d’IA surhumaines que vous avez rencontrées — qui, pour ne rien arranger, sont toutes fictives — et juge la probabilité de certains scénarios en fonction de leur compatibilité avec les scénarios qui lui viennent le plus facilement à l’esprit (ceux que votre esprit a rencontré dans des fictions). En d’autres termes : « Les fictions dont vous vous souvenez débarquent et réfléchissent pour vous ».

Donc si vous avez des intuitions sur ce à quoi vont ressembler des IA surhumaines, elles sont probablement basées sur de la fiction, sans même que vous le réalisiez.

C’est pourquoi j’ai commencé Face à la Singularité en parlant de rationalité. Dès l’instant où nous pensons à l’IA, nous fonçons droit dans un mur de défaillances humaines bien connues. Généraliser à partir d’éléments de fiction en fait partie. En voici quelques autres :

  • A cause de l’heuristique de disponibilité, votre cerveau va vous dire qu’une IA éliminant l’humanité est extrêmement improbable car vous n’avez jamais rencontré ça auparavant. De plus, même quand les événements se passent aussi mal qu’ils le font dans, disons, les films d’invasion alienne, les courageux héros humains finissent toujours par trouver un moyen de gagner à la dernière minute.
  • Du fait de notre tendance à surestimer la probabilité des événements regroupés et à sous-estimer la probabilité des événements isolés (voici l’étude), nous avons plus de chances de surestimer la probabilité qu’une IA surhumaine s’avère bénéfique étant donné que X, Y, et Z vont tous survenir, et nous avons plus de chances de sous-estimer la probabilité qu’une IA surhumaine s’avère néfaste car en réalité une IA surhumaine peut devenir néfaste de multiples façons ne dépendant pas de l’arrivée de nombreux autres événements.
  • A cause des heuristiques d’ancrage et d’ajustement de notre cerveau, notre jugement sur une situation va s’ancrer sur des informations sans intérêt. (Le nombre qui tombe à la roulette va influencer notre estimation du nombre de pays se trouvant en Afrique.) Bien que je vienne d’expliquer pourquoi Terminator n’est qu’une fiction sans pertinence sur ce que les IA surhumaines vont devenir, votre cerveau va être tenté de s’ancrer sur Terminator et va ensuite s’en écarter un peu, mais pas suffisamment.
  • Etant donné l’heuristique d’affect, on juge les choses en se basant sur ce qu’elles nous font ressentir. On apprécie les gens qui sont beaux, alors on assume qu’ils sont aussi intelligents et travailleurs. On apprécie l’intelligence, alors on pourrait s’attendre à ce qu’une machine intelligente soit bienveillante. (Mais, non.)
  • De par notre tendance à négliger la taille de l’échantillon, on ne se sent pas plus motivés pour empêcher 10 milliards de morts que pour en empêcher 10 millions.

Clairement, nous ne somme pas conçus pour penser à l’IA.

Pour réfléchir raisonnablement au sujet de l’IA, nous devrons faire attention – et résister activement – à de nombreuses erreurs communes de réflexion. Nous devrons utiliser les lois de la pensée plutôt que la folie humaine habituelle.

Ou, en d’autres termes : l’IA surhumaine aura un impact immense sur notre monde, donc nous avons vraiment besoin de « gagner » face à une IA surhumaine. La Rationalité Technique, appliquée correctement est un système optimal pour réussir — en effet, c’est le système qu’une IA parfaite utiliserait pour gagner le plus possible. Donc si nous voulons gagner avec une IA surhumaine, nous devons utiliser la rationalité.

Et c’est ce que je vais commencer à faire dans le chapitre suivant.