L’explosion d’intelligence
Supposez que vous êtes un esprit non incarné regardant l’univers évoluer. Pendant les neuf premiers milliards d’années, presque rien ne se passe.
« Mon Dieu, qu’est ce que c’est ennuyant! » dites vous en râlant.
« Comment ça? » demande votre partenaire.
« Il n’y a pas de profondeur ou de complexité parce que rien n’a d’objectif. Il n’y a rien qui optimise pour quoique se soit. Il n’y a pas d’intrigue. C’est juste un ensemble de faits aléatoires qui se produisent. C’est pire que Seinfeld »
« Vraiment? C’est quoi là? »
Vous suivez le regard de votre partenaire et remarquez une petite molécule dans flaque d’eau sur une planète rocheuse. Sous vos yeux, elle fait une copie d’elle même. Et ensuite une autre. Et ensuite les copies font des copies d’elles-mêmes.
« Un réplicateur! » vous exclamez-vous. D’ici quelques mois il pourrait y en avoir des millions. »
« Je me demande s’ils vont donner lieu à l’existence d’écureuils »
« C’est quoi les écureuils? »
Votre partenaire explique la complexité fonctionnelle des écureuils qu’elle a rencontrés dans l’univers 217.
« C’est absurde! A un niveau d’optimisation semblable au notre, nous ne verrons des écureuils se créer par pur hasard que bien après la mort thermique de l’univers. »
Mais rapidement vous remarquez quelque chose d’encore plus important: certaines des copies sont des erreurs. Ces copies explorent les régions voisines de l’espace conceptuel de recherche. Certaines de ces régions contiennent de meilleurs réplicateurs, et ces réplicateurs supérieurs finissent par avoir plus de copies d’eux-mêmes que les réplicateurs originaux et ils explorent leurs propres voisinages.
Les quelques milliards d’années qui suivent sont de loin les plus excitants que vous ayez vus. De simples réplicateurs donnent lieu à de simples organismes, qui donnent lieu à de des formes de vies compliquées, qui donnent lieu aux cerveaux, qui donnent lieu à la lignée Homo des singes.
A première vue, Homo ressemble beaucoup aux autres animaux avec un cerveau. Il partage 99% de sont ADN codant avec les chimpanzés. Vous pourriez être pardonné si vous pensiez que le cerveau humain n’était pas si important que cela — peut-être qu’il pourrait permettre une augmentation de 50% de la vitesse d’optimisation, ou quelque chose comme cela. Après tout, les cerveaux animaux ont existé pendant des millions d’années, et ils ont évolué graduellement sans aucune augmentation rapide en fonctionnalité.
Mais alors une chose mène à une autre. Sous vos yeux, les humains deviennent suffisamment intelligents pour domestiquer des plantes, ce qui mène à un mode de vie sédentaire et des échanges marchands répétés, ce qui mène à l’écriture pour garder une trace des dettes. L’agriculture génère aussi des surplus de nourriture, et cela permet la spécialisation professionnelle ce qui donne aux gens la possibilité de se concentrer sur des problèmes autres que la recherche de nourriture et la baise. La spécialisation professionnelle mène à la science et la technologie et la révolution industrielle ce qui mène aux voyages spatiaux et aux iPhone.
La différence entre les chimpanzés et les humains illustre à quel point il peut être puissant de réécrire les algorithmes cognitifs d’un agent. Mais, bien sûr, l’origine de l’algorithme dans ce cas là était simplement l’évolution, un processus aveugle et stupide. Un processus intelligence capable d’un peu de prédiction peut parcourir l’espace de recherche bien plus efficacement. Un programmeur humain peut faire plus d’innovations en un jour que l’évolution n’aurait pu découvrir en des milliards d’années.
Mais pour l’essentiel, les humains n’ont toujours pas compris comment leurs algorithmes cognitifs fonctionnent, ni comment les réécrire. Et les ordinateurs que nous programmons ne comprennent pas non plus leurs algorithmes (pour la plupart). Mais un jour ils comprendront.
Cela veut dire que le futur a une boucle de rétroaction positive que le passé n’a pas:
Si vous êtes EURISKO, vous arrivez à modifier certaines de vos méta-heuristiques, et les méta-heuristiques fonctionnent mieux de façon notable, et elles arrivent même à faire quelques modifications supplémentaires à elles-mêmes, mais le processus dans sont ensemble s’essouffle et s’arrête.
C’est l’intelligence humaine qui a d’abord produit ces artefacts. Leur propre capacité d’optimisation est bien loin de celle des humains — si incroyablement faible qu’après quelques efforts, ils ne peuvent plus rien améliorer. Pire, leur optimisation à un niveau quelconque est caractérisée par un nombre limité d’opportunités, qui une fois utilisées ne sont plus disponibles — des rendements extrêmement décroissants….
Quand vous créez une IA la première fois, c’est un bébé — si elle devait s’améliorer elle même, elle arrêterait de s’améliorer presque immédiatement. Donc vous l’aider avec votre propre cognition … et votre propre savoir — sans bénéficier d’aucune récursion lorsque vous faites cela, juste la métaphore habituelle pour les humains du savoir qui se nourrit de lui-même et des découvertes qui mènent à des découvertes en cascades. Un jour ou l’autre, l’IA devient suffisamment sophistiquée pour commencer à s’améliorer elle-même — et pas que de simples améliorations, mais des améliorations suffisamment importantes pour mener à d’autre améliorations. . . . Et vous obtenez alors ce qu’I. J. Good a appelé une « explosion d’intelligence. »
…and l’IA dépasse de loin nos capacités humaines.
Dès lors, nous pourrions aussi bien être des chimpanzés idiots regardant ces nouveaux « humains » inventer le feu et l’agriculture et l’écriture et la science et les armes à feu et les avions et prendre le contrôle de la planète. Et comme les chimpanzés, à ce moment là nous ne serons plus en position de négocier avec nos supérieurs. Notre futur va dépendre de ce qu’ils veulent.