Post

2/ (* allusion à un propos d'Ed Zitron qui m'avait poussé à écrire ce fil il y a quelques mois :) bsky.app/profile/anca...

Antoine C.@ancadweb.com

Un petit survol d'études sur les tendances des LLMs à mentir pour achever un but, à montrer une forme d'instinct de préservation, à montrer des capacités à s'auto-répliquer, etc. /n

4/ Après comme ceux qui s'intéressent au phénomène sont des chercheurs en alignement (probablement un brin TESCREAL comme l'indique le "longterm" dans le nom de l'institut d'où vient cette recherche 😜 ) et emploient le vocabulaire de ce champ.

0 reposts2 likes

5/ … Qui comme celui du secteur en général a tendance à humaniser un peu trop l'IA en parlant de "raisonnement", disant "l'agent décide", "le LLM préfère", évoquant une "intentionnalité" etc. comme le déplore Eryk Salvaggio ici... bsky.app/profile/eryk...

Eryk Salvaggio@eryk.bsky.social

This report is full of language describing the actions of LLMs as intentional rather than describing it as the perception of automated language production on users who misinterpreted the behavior. “I didn’t know it was doing that, it must have deceived me” is kind of just a cope

6/ Le pire étant que les journalistes ont tendance à le reprendre non seulement sans le replacer dans le contexte du fonctionnement des LLMs, mais en y ajoutant encore plus de formules qui sonnent "IA consciente" (par exemple le "délibérément" du titre des Numériques plus haut).

7/ Il est donc bon de préciser que "scheming" (intriguer, comploter, manipuler) est à peu près aussi objectif que "raisonnement" pour parler de comment fonctionnent des LLMs (c'est à dire pas vraiment).

8/ Il faut voir ce terme juste comme une catégorie de comportements qu'une IA imite, car elle est programmée pour imiter, pas comme un signe de conscience ou d'intelligence autre que d'avoir su associer tel vecteur avec tel autre.

Le « délibérément » est d'autant plus ironique que le fonctionnement des LLM est probabiliste. À moins de prétendre que le LLM aurait *décidé* de tirer sa décision au sort, ce qui est franchement farfelu.