Post

Petit test: 150 professeurs correcteurs vs 2 IA (mistral et copilot) sur une copie de bac. Situation "idéale" car sujet bien cadré, barème très détaillé et 150 professeurs qui travaillent sur la même copie (d'abord seuls puis en concertation) Résultats 👇

0 reposts4 likes

Note professeurs: 10,5/20 Note IA: Mistral 11,5/20 Copilot 9,5/20 Moyenne IA: 10,5/20 Évidemment il y a toujours des différences entre les correcteurs pris individuellement tout comme entre les IA. Je vous laisse libre de penser ce que vous voulez de ce test, votre avis m'intéresse !

Selon moi la question devrait être au delà de celle de la performance des IA. Elle devrait plutôt être du genre que voulons-nous comme société ? Voulons nous vivre dans une société où les humains sont évalués par des machines ? 1/2

Celle où la question de la transmission du savoir dépasse le simple but performatif, mais est plutôt de l'ordre de l'élévation collective et mutuelle vers un monde meilleur. 2/2

Mon avis est que le principal intérêt, pour un Gouvernement, de promouvoir le développement de la correction 'par IA' d'épreuves terminales du bac est de priver les enseignant.e.s d'un moyen de pression, à savoir la grève pendant les corrections, sans avoir à supprimer ces épreuves terminales. +

Mais c'est à relativiser car je crains qu'à la suite d'une telle grève - si elle avait lieu -, ces épreuves terminales soient supprimées. Je sais, sur des sujets relatifs à l'avenir de l'éducation nationale, je ne suis pas très optimiste.

Lors de la dernière réforme du lycée, il y avait eu une grève pour les épreuves du bac. Dans mon entourage, le principal obstacle à cette grève avait été "la conscience professionnelle" des profs eux mêmes, qui avaient peu suivi.

Je pense que typiquement pour des copies de bac (sujets assez classiques, énorme base de donnée d'entraînement) il n'y a aucune raison qu'une IA n'arrive pas à corriger correctement une copie en suivant un barème (elles arrivent à résoudre des exos de niveau plus élevé déjà). EN REVANCHE :

Il faut se poser quelques questions : - est-ce que ça en vaut la peine (quel est le coût par rapport à un correcteur humain) ? - quel est le taux d'erreur ? - qui est responsable si l'IA hallucine sur une copie ? - qu'est-ce que ça envoie comme message aux élèves que leur copie est corrigée par IA ?

Il pourrait être intéressant de refaire 150 fois la correction par chaque IA (en passant par des comptes différents) pour obtenir l'écart type de chacune

150 profs sur la même copie de bac ? Il y a vraiment eu un test comme ça ? Quelle est la distribution des notes, ou au moins l'écart type, si on les connait ?

Malheureusement je n'ai pas noté ces valeurs! Mais oui: avant la réunion d'harmonisation nous avons tous une copie témoin (vraie copie) et le barème détaillé. Perso j'avais obtenu la note de 9,5. Entre la +basse et la + haute il y a souvent 4 à 5pts d'écarts 🫣

Pour donner mon avis : un test sur une copie ne veut rien dire. C'est encourageant pour l'IA, mais il faudrait répéter avec d'autres copies. Mais je ne suis pas surpris du bon score de l'IA.