Post

2/ (* allusion à un propos d'Ed Zitron qui m'avait poussé à écrire ce fil il y a quelques mois :) bsky.app/profile/anca...

Antoine C.@ancadweb.com

Un petit survol d'études sur les tendances des LLMs à mentir pour achever un but, à montrer une forme d'instinct de préservation, à montrer des capacités à s'auto-répliquer, etc. /n

3/ En employant une approche OSINT pour recenser les incidents une étude en a trouvé plusieurs centaines impliquant des comportements de types "scheming" entre octobre et mars, avec un nombre en hausse de 490% entre le premier et le dernier de ces mois. tinyurl.com/4bf7us8p

tinyurl.comtinyurl.com

4/ Après comme ceux qui s'intéressent au phénomène sont des chercheurs en alignement (probablement un brin TESCREAL comme l'indique le "longterm" dans le nom de l'institut d'où vient cette recherche 😜 ) et emploient le vocabulaire de ce champ.

theguardian.comNumber of AI chatbots ignoring human instructions increasing, study saysExclusive: Research finds sharp rise in models evading safeguards and destroying emails without permission

5/ … Qui comme celui du secteur en général a tendance à humaniser un peu trop l'IA en parlant de "raisonnement", disant "l'agent décide", "le LLM préfère", évoquant une "intentionnalité" etc. comme le déplore Eryk Salvaggio ici... bsky.app/profile/eryk...

Eryk Salvaggio@eryk.bsky.social

This report is full of language describing the actions of LLMs as intentional rather than describing it as the perception of automated language production on users who misinterpreted the behavior. “I didn’t know it was doing that, it must have deceived me” is kind of just a cope

6/ Le pire étant que les journalistes ont tendance à le reprendre non seulement sans le replacer dans le contexte du fonctionnement des LLMs, mais en y ajoutant encore plus de formules qui sonnent "IA consciente" (par exemple le "délibérément" du titre des Numériques plus haut).

7/ Il est donc bon de préciser que "scheming" (intriguer, comploter, manipuler) est à peu près aussi objectif que "raisonnement" pour parler de comment fonctionnent des LLMs (c'est à dire pas vraiment).

8/ Il faut voir ce terme juste comme une catégorie de comportements qu'une IA imite, car elle est programmée pour imiter, pas comme un signe de conscience ou d'intelligence autre que d'avoir su associer tel vecteur avec tel autre.

28/3/26, 9:07 pm0 reposts2 likes

9/ Surtout que c'est précisément leur absence de conscience de ce qu'elles font qui rend difficile d'aligner les IAs. Tout serait carrément plus simple si elles comprenaient ce qu'elles faisaient ou pouvaient adhérer "intentionnellement" à des principes moraux.

10/ L'intentionnalité il y en a une seule et commune à tout programme informatique ou résidu de, qui est de suivre ce que son code lui dit de faire (à savoir favoriser les choses qu'on lui a fait favoriser lors de son entrainement pour une IA Gen).

11/ Tout ce que font les modèles "de raisonnement" ou pas c'est générer sans réellement le comprendre du langage imitant ce que pourraient dire ou penser des humains, à partir des exemples ayant servi à leur entrainement, en favorisant ce qui a été récompensé lors de son renforcement.