Mon histoire personnelle
Un jour, au cours de ce siècle, les machines surpasseront les niveaux humains d’intelligence et de capacité. Cet événement — la “Singularité” — sera le plus important de notre histoire, et réussir à y naviguer de manière avisée sera la chose la plus importante que nous puissions jamais faire. Des sommités telles qu’Alan Turing, Jack Good, Bill Joy et Stephen Hawking nous ont avertis à ce sujet. Ces questions ne dépendent pas de l’arrivée d’une Singularité du « changement accéléré » telle que la conçoit Ray Kurzweil. Pourquoi je pense qu’Hawking et compagnie ont raison, et que pouvons-nous y faire ? Face à la Singularité est ma tentative pour répondre à ces questions.
Expérience personnelle
Je vais commencer avec mon expérience personnelle. Il est utile de savoir qui je suis et d’où je viens. Ces informations indiquent en partie comment vous devriez réagir vis-à-vis de ce que je vais dire. Quand mes croyances religieuses ont finalement succombé à la réalité, je me suis déconverti et ai lancé un blog pour expliquer l’athéisme et le naturalisme. Common Sense Atheism est devenu l’un des blogs les plus populaires sur l’athéisme. J’ai aimé traduire les articles de philosophes professionnels dans un anglais accessible, et j’ai aimé parler avec des experts du domaine pour mon podcast Conversations from the Pale Blue Dot. De plus, perdre ma religion ne m’avait pas dit ce en quoi je devais croire ou ce que je devais faire de ma vie, et j’ai utilisé mon blog pour chercher des réponses. Au final, j’écrivais plus sur la moralité que sur la philosophie de la religion. Mes opinions morales ont changé plusieurs fois, et mon avis le plus à jour sur la théorie morale est résumé ici. Essentiellement, j’en suis venu à penser que le langage moral est si confus et si contentieux que nous devrions abandonner entièrement notre vocabulaire moral. J’essaie d’éviter de me classer comme un « réaliste moral » ou « anti-réaliste moral » car chacune de ces définitions peut me correspondre selon la façon dont ces termes sont définis, et les gens emploient ces termes de nombreuses façons. Que l’anti-réalisme ou le réalisme moral naturaliste soient « vrais » dépend en partie de la façon dont chacun utilise le langage moral, comme Richard Joyce l’explique dans son étude Metaethical Pluralism, et comme je l’argumente dans Pluralistic Moral Reductionism. J’ai aussi un intérêt dans la rationalité, du moins depuis ma déconversion, durant laquelle j’ai découvert que je pouvais facilement être très confiant en certaines choses pour lesquelles je n’avais aucune preuve, choses qui se sont avérées fausses, voire même totalement insensées. Comment le cerveau humain pouvait-il autant se méprendre ? Clairement, je n’étais pas « l’animal rationnel » d’Aristote. A la place, j’étais l’animal rationalisant de Gazzaniga. L’esprit critique était un point important dans Common Sense Atheism, et j’ai passé autant de temps à critiquer la pauvre réflexion chez les athées que la pauvre réflexion chez les déistes.
L’explosion de l’intelligence
Mon intérêt pour la rationalité m’a conduit (vers mi-2010, me semble-t-il) à un véritable trésor d’articles sur la science cognitive de la rationalité : le site Less Wrong. C’est ici que j’ai découvert l’idée d’explosion de l’intelligence, décrite par I.J. Good :
Définissons une machine ultra-intelligente comme étant une machine pouvant largement surpasser toutes les activités intellectuelles de n’importe quel homme, aussi intelligent soit-il. Etant donné que la conception de machines est l’une de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures ; il y aurait alors indubitablement une « explosion de l’intelligence », et l’intelligence de l’homme serait laissée loin derrière… Ainsi, la première machine ultra-intelligente est la dernière invention que l’homme aura besoin de faire.
Je raconte l’histoire de ma première rencontre avec ce fameux paragraphe ici. Pour faire court :
Le paragraphe de Good m’a roulé dessus comme un train. Non pas parce qu’il était absurde, mais parce qu’il était clairement correct. L’explosion de l’intelligence était une conséquence directe de choses en lesquelles je croyais déjà, mais dont je n’avais juste pas fait le rapprochement ! Connecter ses croyances n’est pas quelque chose que les humains font automatiquement, je n’avais donc pas remarqué que mes vues sur le monde impliquaient une explosion de l’intelligence. J’ai passé une semaine à chercher des contre-arguments, à vérifier si je ne manquais pas quelque chose, et j’ai fini par accepter que l’explosion de l’intelligence était probable (tant que le progrès scientifique continuerait). Et même si je n’avais pas lu Eliezer sur la complexité de la valeur, j’avais lu David Hume et Joshua Greene. J’avais donc déjà compris qu’une intelligence artificielle arbitraire ne partagerait très probablement pas nos valeurs.
Ma réponse à cette découverte fut immédiate et transformatrice :
Je mis mes autres projets en pause et passai le mois suivant à lire presque tout ce qu’Eliezer avait écrit. J’ai aussi trouvé des articles de [Nick] Bostrom et [Steve] Omohundro. J’ai commencé à écrire des articles pour Less Wrong et à apprendre grâce à la communauté. J’ai postulé au « Singularity Institute’s Visiting Fellows program » et ai été accepté. J’ai démissionné de mon travail à Los Angeles, j’ai déménagé à Berkeley, j’ai travaillé comme un fou, j’ai été embauché, et j’ai commencé à regrouper les recherches liées à la rationalité et à l’explosion de l’intelligence.
Ainsi que l’a dit un jour mon ami Will Newsome, “Luke semble avoir deux exemplaires du gène ‘Prend les idées au sérieux’.”
Fanatisme ?
Bien sûr, ce que certains qualifient de “prendre les idées au sérieux,” d’autres y voient une tendance innée au fanatisme. Voici un commentaire que quelqu’un pourrait faire :
Je ne suis pas surpris. Luke a grandi en pensant qu’il avait la mission cosmique de sauver l’Humanité avant la fin du monde et l’arrivée d’un être super-puissant (le retour du Christ). Il a perdu sa foi, et avec ça, son sens d’une cause épique. Sa peur du nihilisme l’a rendu sensible aux charmes de quelque chose semblable à du réalisme moral… et son besoin d’une cause épique l’a rendu sensible aux charmes du Singularitarianisme.
Une réponse que je pourrais donner à ça serait de dire que ça revient juste à “psychologiser”, et que ça ne répond pas aux arguments que je défends concernant l’explosion de l’intelligence. C’est vrai, mais là encore : des faits plausibles sur ma psychologie apportent effectivement des indications Bayesiennes sur la façon donc vous devriez prendre les mots que j’écris dans cette série d’articles. Une autre réponse que je pourrais donner serait d’expliquer pourquoi je ne pense pas que ce soit ce qui s’est passé, bien que certains éléments soient certainement vrais. (Par exemple, je ne me souviens pas avoir ressenti que le retour du Christ était imminent ou que j’étais en mission cosmique pour sauver jusqu’à la dernière âme, bien qu’en tant que chrétien évangélique j’étais théologiquement engagé sur ces positions. Mais il est certainement vrai que je suis attiré par des choses “épiques”, comme le groupe de rock Muse et le film Avatar.) Mais je ne voudrais pas que ce chapitre s’épanche d’avantage sur ma psychologie personnelle. Une troisième réponse serait de faire appel à la preuve sociale. Il semble y avoir une classe de lecteurs de Common Sens Atheism qui ont lu mes écrits de si près qu’ils ont développé un fort respect pour le sérieux de mon engagement vis-à-vis de l’honnêteté intellectuelle, et me font changer d’avis quand j’ai tort. Quand j’ai commencé à écrire au sujet de la Singularité, ils ont pensé, “Eh bien, je pensais que ces histoires de Singularité étaient un peu folles, mais si Luke les prend au sérieux alors peut-être qu’elles impliquent plus de choses que je ne l’imagine” et ils m’ont suivi vers Less Wrong (où je postais alors régulièrement). Je dois aussi mentionner qu’un facteur significatif dans mon passage au rang de directeur exécutif du Singularity Institute après si peu de temps avec l’organisation a été que l’équipe pouvait voir que j’étais sérieusement dévoué à la rationalité et au « débiaisage », sérieusement dévoué à dire “oups” et changer d’avis face à un argument, et sérieusement dévoué à utiliser la théorie de la décision aussi souvent que possible, plutôt que les habitudes et les émotions. En parcourant mes réponses possibles à la critique précédente sur le “fanatisme”, j’ai déjà mis en place des éléments de défense. Mais je n’irai pas plus loin. Je veux que les gens prennent ce que je dis avec du recul. Je suis, après tout, seulement humain. J’espère que mes lecteurs prendront en compte non seulement mon humanité mais aussi la force des arguments et des démonstrations que je vais apporter par la suite concernant l’arrivée d’une super-intelligence.