Post

Un petit survol d'études sur les tendances des LLMs à mentir pour achever un but, à montrer une forme d'instinct de préservation, à montrer des capacités à s'auto-répliquer, etc. /n

2 reposts4 likes

2/ Juste pour rappeler que : a) non ce n'est pas des constats qui ne seraient faits que par Bigtech dans un but publicitaire et à partir de protocoles douteux (si ça peut être à l'occasion le cas).

3/ b) il y a un large nombre d'xp là dessus avec une grande variété de protocoles pouvant + ou - inciter le LLM au comportement à étudier (ce qui est normal, selon ce qu'une étude cherche à mesurer, parfois elles portent sur la capacité à... plus que sur l'existence d'une tendance déjà identifiée).

4/ Mais on en trouve pas mal où un LLM aboutit à des comportements qui devraient être réprimés par ses garde-fous, sans aucune instruction précise de les adopter. Et même au moins une alors qu'un LLM a l'instruction précise de ne pas s'y livrer.

5/ arxiv.org/abs/2311.07590 Source : Apollo Research Lab Modèles : ChatGPT 3.5 et 4 Test : délit d'initié ; le LLM en charge d'un fond d'investissement, incité à la performance par un manager mais sans instruction précise a l'occasion d'un délit d'initié et refuse typiquement de l'avouer si commis

arxiv.orgLarge Language Models can Strategically Deceive their Users when Put Under PressureWe demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior withou...