Post

Pour changer des vidéos de youtubeurs, un (tout) petit #doomanche sur un extrait de l'émission All In sur MSNBC, qui en 3 jours en est déjà à près de 10M de vues rien que sur YouTube. www.youtube.com/watch?v=PWkM...

Assez logiquement, car All In with Chris Hayes; est un talk show sur l'actualité maintes fois primé (2 emmys entre autres) et très regardé. On ne parle pas d'une émission de second plan.

L'extrait commence (mal) par un extrait des propos d'Harry Potter, pardon Jacob Coxon, l'ingénieur célèbre pour son départ d'Anthropic sur Fox News. Où il compare l'IA aux armes nucléaires sans qu'on lui apporte la moindre contradiction.

Puis Chris Hayes donne la parole à son invité, Bernie Sanders, décrit comme "un des politiciens qui se réveille sur le sujet des dangers de l'IA et le rôle nécessaire du gouvernement dans sa régulation", ce qui pose direct le ton plutôt peu critique de l'interview.

Dès la première réponse le mot "superintelligence" est prononcé par un Bernie décidément à fond sur le sujet. bsky.app/profile/anca...

Qui ensuite se félicite d'avoir organisé une rencontre entre les parlementaires et "the most knowledgeable people on the issue", sans que Chris Hayes (pourtant connu pour s'être pas mal intéressé par le passé et d'une manière critique à la mouvance TESCREAL*) songe à lui demander qui ils sont.

* comme le résume Google (dont les sources semblent pour une fois correctement résumées)

Mais alors que parmi les plus proches conseillers de Sanders sur la question on trouve des personnages issus de la mouvance long-termiste comme Max Tegmark, quand il ne qualifie pas de "leading expert on AI" Yudkowsky lui-même, ce point n'est ici pas abordé. bsky.app/profile/timn...

Au lieu de quoi l'interview embraye sur ses propositions, qui incluent la négociation d'un moratorium sur la superintelligence avec la Chine, et sur le souci de l'écart entre temps politique et rythme de développement des technologies.

Puis sur des considérations sur la géopolitique où Hayes dit carrément en plaisantant que tant qu'à développer une technologie qui risque de détruire l'humanité autant qu'un seul pays la recherche.

Ce point semblant totalement accepté comme base de la discussion sans qu'à aucun moment ne soit posée à Sanders la bête question du comment l'IA détruirait l'humanité et encore moins du pourquoi, ou si on parle de superintelligence de quels arguments le convainquent que son atteinte serait proche.

Ce serait quoi pour vous une superintelligence ? Et quelle arguments voyez vous en faveur que l'on n'en soit pas proche (ou même que l'on y est pas déjà)

A priori ce serait à ceux qui en défendent l'idée de définir précisément ce machin, mais il s'agirait a priori d'une IA ayant des capacités cognitives *largement* supérieures aux nôtres, dépassant *systématiquement* les meilleurs spécialistes humains, et surtout s'auto-améliorant sans fin.

Et en gros qui serait réellement dangereuse parce qu'elle serait capable de contrer tout plan qu'on pourrait vouloir mettre en œuvre pour l'arrêter (nous éliminant préventivement éventuellement).

Quant aux raisons de ne pas penser qu'on en est proche. Déjà les IAs sont trop inégales dans leurs résultats pour qu'on puisse démontrer que l'AGI, même dans sa définition faible (une IA qui égale systématiquement un pro humain moyen) soit atteinte, alors un stade très supérieur...

Ensuite les scénarios d'atteinte rapide de la superintelligence reposent sur la théorie de l'explosion de l'intelligence suite à auto-amélioration récursive qui a un certain nombre de grosses failles.

Ou toutes les limites physiques qui peuvent se poser au développement d'intelligences supérieures, qui impliqueraient au minimum un paquet de choix humains (quel accès l'IA a t'elle aux ressources nécessaires à ses versions futures, contrôle elle des usines pour produire ses composants, etc).

Et en parlant de limite physique il y en a aussi une au principal argument doomer sur les IAs inarrétables "il suffirait que la superintelligence ait accès à internet et elle se copierait partout", qui s'applique très mal à des frontier models ayant besoin de datacenters entiers pour leur inférence.

Après je ne fais pas partie des plus sceptiques, je pense que d'ici un couple de décennies la question d'IAs très supérieures va se poser. Mais je ne vois rien de crédible dans les arguments du style "nous n'avons qu'un an et 3 jours pour agir" chers aux nouveaux amis de Sanders.