Post

Pour changer des vidéos de youtubeurs, un (tout) petit #doomanche sur un extrait de l'émission All In sur MSNBC, qui en 3 jours en est déjà à près de 10M de vues rien que sur YouTube. www.youtube.com/watch?v=PWkM...

Assez logiquement, car All In with Chris Hayes; est un talk show sur l'actualité maintes fois primé (2 emmys entre autres) et très regardé. On ne parle pas d'une émission de second plan.

L'extrait commence (mal) par un extrait des propos d'Harry Potter, pardon Jacob Coxon, l'ingénieur célèbre pour son départ d'Anthropic sur Fox News. Où il compare l'IA aux armes nucléaires sans qu'on lui apporte la moindre contradiction.

Puis Chris Hayes donne la parole à son invité, Bernie Sanders, décrit comme "un des politiciens qui se réveille sur le sujet des dangers de l'IA et le rôle nécessaire du gouvernement dans sa régulation", ce qui pose direct le ton plutôt peu critique de l'interview.

Dès la première réponse le mot "superintelligence" est prononcé par un Bernie décidément à fond sur le sujet. bsky.app/profile/anca...

Qui ensuite se félicite d'avoir organisé une rencontre entre les parlementaires et "the most knowledgeable people on the issue", sans que Chris Hayes (pourtant connu pour s'être pas mal intéressé par le passé et d'une manière critique à la mouvance TESCREAL*) songe à lui demander qui ils sont.

* comme le résume Google (dont les sources semblent pour une fois correctement résumées)

Mais alors que parmi les plus proches conseillers de Sanders sur la question on trouve des personnages issus de la mouvance long-termiste comme Max Tegmark, quand il ne qualifie pas de "leading expert on AI" Yudkowsky lui-même, ce point n'est ici pas abordé. bsky.app/profile/timn...

Au lieu de quoi l'interview embraye sur ses propositions, qui incluent la négociation d'un moratorium sur la superintelligence avec la Chine, et sur le souci de l'écart entre temps politique et rythme de développement des technologies.

Puis sur des considérations sur la géopolitique où Hayes dit carrément en plaisantant que tant qu'à développer une technologie qui risque de détruire l'humanité autant qu'un seul pays la recherche.

Ce point semblant totalement accepté comme base de la discussion sans qu'à aucun moment ne soit posée à Sanders la bête question du comment l'IA détruirait l'humanité et encore moins du pourquoi, ou si on parle de superintelligence de quels arguments le convainquent que son atteinte serait proche.

Ce serait quoi pour vous une superintelligence ? Et quelle arguments voyez vous en faveur que l'on n'en soit pas proche (ou même que l'on y est pas déjà)

A priori ce serait à ceux qui en défendent l'idée de définir précisément ce machin, mais il s'agirait a priori d'une IA ayant des capacités cognitives *largement* supérieures aux nôtres, dépassant *systématiquement* les meilleurs spécialistes humains, et surtout s'auto-améliorant sans fin.

Et en gros qui serait réellement dangereuse parce qu'elle serait capable de contrer tout plan qu'on pourrait vouloir mettre en œuvre pour l'arrêter (nous éliminant préventivement éventuellement).

Quant aux raisons de ne pas penser qu'on en est proche. Déjà les IAs sont trop inégales dans leurs résultats pour qu'on puisse démontrer que l'AGI, même dans sa définition faible (une IA qui égale systématiquement un pro humain moyen) soit atteinte, alors un stade très supérieur...

Ensuite les scénarios d'atteinte rapide de la superintelligence reposent sur la théorie de l'explosion de l'intelligence suite à auto-amélioration récursive qui a un certain nombre de grosses failles.

Comme le fait que c'est un serpent qui se mord la queue, pour savoir comment se faire progresser vers des formes supérieures d'intelligence et reconnaitre une amélioration en la matière, une IA devrait déjà être super intelligente à la base.

Ou toutes les limites physiques qui peuvent se poser au développement d'intelligences supérieures, qui impliqueraient au minimum un paquet de choix humains (quel accès l'IA a t'elle aux ressources nécessaires à ses versions futures, contrôle elle des usines pour produire ses composants, etc).

Et en parlant de limite physique il y en a aussi une au principal argument doomer sur les IAs inarrétables "il suffirait que la superintelligence ait accès à internet et elle se copierait partout", qui s'applique très mal à des frontier models ayant besoin de datacenters entiers pour leur inférence.

Après je ne fais pas partie des plus sceptiques, je pense que d'ici un couple de décennies la question d'IAs très supérieures va se poser. Mais je ne vois rien de crédible dans les arguments du style "nous n'avons qu'un an et 3 jours pour agir" chers aux nouveaux amis de Sanders.

Pour moi, il faut distinguer 2 choses : l'éclatement d'une bulle financière et un nouvel hiver de l'IA. Les précédents hivers correspondaient notamment à des limites techno : les promesses dépassaient ce que les algorithmes et le matériel permettaient de faire, ce qui a fini par tarir les finances.

Aujourd'hui, une bulle peut parfaitement éclater parce que les valorisations et les investissements sont disproportionnés par rapport aux revenus générés. Mais ce serait d'abord une crise économique du secteur, pas nécessairement la découverte que la technologie est dans une impasse.

Surtout, la dynamique ne dépend plus uniquement de quelques investisseurs privés occidentaux. L'IA est devenue un enjeu stratégique majeur : même si les capitaux privés se retiraient fortement, la Chine et probablement d'autres États auraient de bonnes raisons de poursuivre les investissements.