{"id":117,"date":"2011-12-15T13:17:44","date_gmt":"2011-12-15T21:17:44","guid":{"rendered":"http:\/\/facingthesing.wpengine.com\/?p=117"},"modified":"2014-12-01T13:46:52","modified_gmt":"2014-12-01T21:46:52","slug":"not-built-to-think-about-ai","status":"publish","type":"post","link":"https:\/\/intelligenceexplosion.com\/fr\/2011\/not-built-to-think-about-ai\/","title":{"rendered":"Pas con\u00e7us pour penser \u00e0 l’IA"},"content":{"rendered":"

<\/p>\n

D<\/span>ans la saga Terminator<\/em>, l’IA Skynet<\/a> devient consciente d’elle-m\u00eame, tue des milliards d’\u00eatres humains, et d\u00e9ploie des robots tueurs pour \u00e9liminer les derniers groupes de r\u00e9sistants. Cela semble assez horrible, mais dans cet article sur la Singularit\u00e9<\/a>, Keef Roedersheimer (programmeur chez Ebay) explique que la cr\u00e9ation d’une vraie<\/em>\u00a0machine super-intelligente serait bien pire<\/em> que \u00e7a.<\/p>\n

\u00ab\u00a0Pire que Terminator<\/em> ?\u00a0\u00bb a demand\u00e9 Martin Kaste, de NPR<\/em>.<\/p>\n

\u00ab\u00a0Pire, bien pire\u00a0\u00bb a r\u00e9pondu Keefe.<\/p>\n

\u00ab\u00a0C’est un paysage lunaire avec des gens qui se cachent sous des b\u00e2timents en ruines et qui re\u00e7oivent des tirs de lasers. Qu’est-ce qui pourrait bien est pire que \u00e7a<\/em> ?<\/p>\n

\u00ab\u00a0Que tout le monde meurt.\u00a0\u00bb<\/p>\n

Pourquoi a-t-il dit \u00e7a ? Parmi tous les objectifs qu’une IA pourrait avoir \u2014 que ce soit de r\u00e9soudre l’hypoth\u00e8se de Riemann<\/a> ou de maximiser la production de p\u00e9trole \u2014 la simple raison\u00a0est que<\/a>\u00a0\u00ab\u00a0l’IA ne vous aime pas, pas plus qu’elle ne vous hait, mais vous \u00eates faits d’atomes et elle peut s’en servir pour autre chose\u00a0\u00bb. Et quand une IA surhumaine se rendra compte que les humains vont probablement r\u00e9sister \u00e0 cette id\u00e9e, elle aura int\u00e9r\u00eat \u00e0 nous \u00e9liminer aussi vite que possible<\/em> \u2014 et pas d’une fa\u00e7on qui va exposer ses faiblesses critiques \u00e0 une \u00e9quipe de h\u00e9ros intr\u00e9pides qui peuvent sauver le monde \u00e0 condition qu’ils mettent de c\u00f4t\u00e9 leurs diff\u00e9rences\u00a0\u00bb. Non. Pour la plupart des objectifs qu’une IA pourrait avoir, \u00e9liminer la menace humaine, aussi efficacement que possible, maximisera l’esp\u00e9rance d’utilit\u00e9<\/a> de l’IA.<\/p>\n

\"\"<\/a>Et soyons honn\u00eates : il y a de meilleurs moyens pour nous tuer que d’envoyer des robots de forme humaine<\/em>\u00a0qui marchent<\/em> sur le sol<\/em>\u00a0et semblent prendre plaisir \u00e0 projeter des humains contre les murs plut\u00f4t que de simplement leur briser la nuque. Il serait bien plus efficace si l’attaque \u00e9tait soudaine, avec des effets simultan\u00e9s partout dans le monde, d’une l\u00e9talit\u00e9 rapide, et d\u00e9fiant toute contre-mesure possible. Par exemple : pourquoi ne pas utiliser toute cette super-intelligence pour concevoir un super-virus a\u00e9roport\u00e9, tr\u00e8s contagieux et mortel ? Une mutation de la grippe en 1918<\/a> a tu\u00e9 3% de la population de la Terre, et c’\u00e9tait avant que les transports a\u00e9riens (qui \u00e9tendent les maladies \u00e0 travers le monde) soient r\u00e9pandus, et sans que la moindre intelligence ait \u00e9t\u00e9 impliqu\u00e9e dans la conception du virus. Appliquez-y un brin d’intelligence, et vous obtenez la cr\u00e9ation par une \u00e9quipe des Pays-Bas d’une variante de la grippe aviaire qui \u00ab\u00a0pourrait tuer la moiti\u00e9 de l’humanit\u00e9<\/a>\u00ab\u00a0. Une super-intelligence pourrait cr\u00e9er quelque chose de bien pire. Ou bien, l’IA pourrait se cacher sous terre ou s’\u00e9jecter dans l’espace et tous nous tuer avec des technologies existantes<\/em> : quelques milliers d’armes nucl\u00e9aires<\/a>.<\/p>\n

Je ne dis pas que ces sc\u00e9narios particuliers<\/em>\u00a0sont probables. J’essaye juste d’indiquer que la r\u00e9alit\u00e9 de la situation peut \u00eatre bien diff\u00e9rente de ce qui permet de faire de la bonne fiction. Comme le dit<\/a> le philosophe d’Oxford Nick Bostrom :<\/p>\n

\n

A quand remonte la derni\u00e8re fois que vous avez vu un film o\u00f9 l’humanit\u00e9 s’\u00e9teignait soudainement (sans avertissement et sans \u00eatre remplac\u00e9e par une autre civilisation) ?<\/p>\n<\/blockquote>\n

L’intrigue est meilleure si le combat peut \u00eatre remport\u00e9 par chacun des deux clans de mani\u00e8re plausible. Le Seigneur des Anneaux<\/em> ne se serait pas vendu \u00e0 autant d’exemplaires si Frodo avait fait la chose la plus sens\u00e9e et avait jet\u00e9 l’anneau dans le volcan<\/a> en chevauchant un aigle g\u00e9ant. Et ce n’est pas non plus une histoire int\u00e9ressante si les humains perdent soudainement<\/em>, et point final.<\/p>\n

Quand nous r\u00e9fl\u00e9chissons \u00e0 l’IA, nous ne devons pas\u00a0g\u00e9n\u00e9raliser \u00e0 partir d’\u00e9l\u00e9ments de fiction<\/a>. Malheureusement, nos cerveaux le font automatiquement.<\/em><\/p>\n

<\/em>Lors d’une \u00e9tude bien connue de 1978<\/a>, on a demand\u00e9 \u00e0 des sujets de deviner lequel de deux dangers arrivait le plus souvent. Les sujets pensaient que les accidents causaient environ autant de morts que les maladies, et que les meurtres \u00e9taient plus fr\u00e9quents que les suicides. En r\u00e9alit\u00e9, les maladies causent 16 fois plus de morts que les accidents, et le suicide est deux fois plus fr\u00e9quent que le meurtre. Que s’est-il pass\u00e9 ?<\/p>\n

Des dizaines d’\u00e9tudes sur l’heuristique de disponibilit\u00e9<\/a> sugg\u00e8rent que nous jugeons la fr\u00e9quence ou la probabilit\u00e9 d’\u00e9v\u00e9nements par leur facilit\u00e9 \u00e0 nous venir en t\u00eate<\/em>. Ce n’\u00e9tait pas un heuristique si terrible \u00e0 avoir dans notre environnement ancestral o\u00f9 nous ne pouvions pas v\u00e9rifier les vraies<\/em> fr\u00e9quences sur Wikipedia ni d\u00e9terminer les vraies<\/em>\u00a0probabilit\u00e9s avec le Th\u00e9or\u00e8me de Bayes<\/a>. Les heuristiques du cerveau sont rapides, peu couteux, et souvent corrects.<\/p>\n

Mais comme beaucoup de nos heuristiques cognitifs naturels, l’heuristique de disponibilit\u00e9 donne souvent les mauvais r\u00e9sultats. Les accidents sont plus marquants, et donc viennent \u00e0 l’esprit plus facilement, ce qui nous pousse \u00e0 surestimer leur fr\u00e9quence par rapport aux maladies. Il en va de m\u00eame pour les meurtres et les suicides.<\/p>\n

L’heuristique de disponibilit\u00e9 explique aussi<\/a> pourquoi les gens pensent que voler est plus dangereux que conduire alors que l’inverse est vrai : un crash d’avion est plus marquant et est signal\u00e9 plus largement lorsqu’il arrive, donc il est davantage disponible dans notre m\u00e9moire, et le cerveau se pi\u00e8ge lui-m\u00eame en pensant que la\u00a0disponibilit\u00e9<\/em> de l’\u00e9v\u00e9nement indique sa probabilit\u00e9<\/em>.<\/p>\n

Que fait votre cerveau quand il pense \u00e0 une IA surhumaine ? Tr\u00e8s probablement, il v\u00e9rifie toutes les instances d’IA surhumaines que vous avez rencontr\u00e9es \u2014 qui, pour ne rien arranger, sont toutes fictives<\/em>\u00a0\u2014 et juge la probabilit\u00e9 de certains sc\u00e9narios en fonction de leur compatibilit\u00e9 avec les sc\u00e9narios qui lui viennent le plus facilement \u00e0 l’esprit (ceux que votre esprit a rencontr\u00e9 dans des fictions). En d’autres termes<\/a> : \u00ab\u00a0Les fictions dont vous vous souvenez d\u00e9barquent et r\u00e9fl\u00e9chissent pour vous\u00a0\u00bb.<\/p>\n

Donc si vous avez des intuitions sur ce \u00e0 quoi vont ressembler des IA surhumaines, elles sont probablement bas\u00e9es sur de la fiction<\/em>, sans m\u00eame que vous le r\u00e9alisiez.<\/p>\n

C’est pourquoi j’ai commenc\u00e9 Face \u00e0 la Singularit\u00e9<\/em>\u00a0en parlant de rationalit\u00e9<\/a>.\u00a0D\u00e8s l’instant o\u00f9 nous pensons \u00e0 l’IA, nous fon\u00e7ons droit dans un mur de d\u00e9faillances humaines bien connues. G\u00e9n\u00e9raliser \u00e0 partir d’\u00e9l\u00e9ments de fiction en fait partie. En voici quelques autres<\/a> :<\/p>\n