Agent conversationnel

Un agent conversationnel ou chatbot est un programme conçu à partir d'algorithmes et techniques d'intelligence artificielle. On peut engager une discussion suivie avec lui sous la forme d'un échange de questions (ou prompt)/réponses sur des thèmes d'ordre général. Il garde en mémoire les réponses précédentes et peut donner l'illusion d'une conversation avec un humain. Le premier agent conversationnel est Eliza en 1966.

ChatGPT

L'agent conversationnel ChatGPT, basé sur le modèle GPT3 est disponible sur https://chat.openai.com depuis novembre 2022 et ses performances impressionnent. L'accès est gratuit après création d'un compte. Une nouvelle version gratuite GPT3.5 est apparue début 2023, la version basée sur GPT4 est payante. D'autres chatbot basés sur l'API de GPT ne nécessitent pas de compte comme https://chatbot.theb.ai/.
OpenAI est désormais très lié à Microsoft, ses modèles sont complètement fermés et opaques (architecture et données).

Entraînement

Un agent conversationnel est un programme informatique qui repose sur un modèle de Traitement Automatique du Langage(TAL). Avec leurs centaines de millairs de paramètres, on parle désormais de Large Language Models (LLM) L'objectif est de permettre au programme de comprendre, d'analyser, de manipuler et de générer du texte ou de la parole de manière similaire à celle des humains. L'entraînement nécessite d'énormes volumes de données, une grande puissance de calcul et beaucoup d'énergie : l'entraînement de GPT3 a consommé autant d'énergie que 275 foyers français en un an.

Phase 1 : apprentissage supervisé

L'architecture du modèle est un réseau de neurones profond. Le premier entraînement est un apprentissage surpervisé sur un large volumes de données étiquetées issues du Web afin d'améliorer sa capacité de prédiction du mot suivant dans un texte.

Les résultats prédictifs dépendent entièrement de la distribution des données d'entraînement, qui peuvent induire des biais algorithmiques. ChatGPT a été entraîné sur des données antérieures à 2021 et il ne peut accéder au Web actuel (pas le cas du nouveau chatbot dans Bing).

Phase 2 : apprentissage par renforcement

Ensuite comme un chatbot doit pouvoir fournir une réponse plausible à un humain et suivre une conversation, le modèle suit un apprentissage par renforcement à l'aide de retours humains : des agents humains attribuent des notes à des réponses du modèle, ces données sont utilisées pour entraîner un modèle de récompense qui lui même est utilisé pour entraîner le modèle initial à renforcer la qualité de ses réponses. Pour filtrer les requêtes à caractère haineux, de grands volumes de contenus sensibles sont labellisées par des travailleurs de pays en développement (Kenya pour ChatGPT).

Utilisations possibles

Elles sont nombreuses d'autant plus que les performances des modèles sont en constante amélioration en particulier dans des domaines où ils n'étaient pas très bons (raisonnement logique)

• traduction automatique, génération automatique de texte, résumé automatique
• classification de texte, extraction d'informations, de mots clefs, détection de spams
• plans de cours, d'exposé, de dissertation
• génération d'exercices, de listes de conseils contextualisés

Exemples d'utilisations par OpenAI : https://platform.openai.com/examples.

Pistes pour l'enseignement

Il faut toujours examiner les réponses du chatbot avec un esprit critique: elles sont plausibles mais pas forcément exactes !

• côté élève : Piste de réflexion en NSI (David Cobac) : compréhension du cours, approfondissement, évaluations de code/de production, analyse critique des réponses du chatbot
• côté professeur : Manuel ouvert IA pour les enseignants (Université de Nantes) et Guide d'usage de ChatGPT dans l'enseignement (@herfteducator traduit par @alexandre_gagne) :
  plans de cours, des QCM, conseils aux apprenants, stratégies d'enseignement etc ... Un guide pratique du prompt.

Dans une conversation avec ChatGPT j'ai testé plusieurs scénarios (questions d'ordre général, plans de cours, rédactions, résolution d'exercices de calcul ou de logique, génération de QCM etc ...) :
https://chat.openai.com/share/114f2165-e750-419b-9dad-b29533fdecd0

QR Code pour ouvrir le lien vers la conversation sur la page d'après.

La question du plagiat

Source : Eric Berbudeau blog de la MAIF

• Le plagiat et la triche dans les travaux à la maison existent depuis longtemps. Le copier/coller depuis Wikipedia est facile à détecter mais certains ont développé des stratégies de contournement.
• certains services en ligne comme scribbr proposent déjà une assistance légale et payante pour corriger, relire, "éliminer" le plagiat ...
• Avec un agent convsersationnel comme ChatGPT, la détection est plus compliquée puisque chaque texte généré est unique.

Le problème de l'évaluation

• Stéphane Bonvallet, formateur en handicapologie à l'université de Lyon, constate en décembre 2022 des similitudes dans la rédaction et l'organisation des idées pour la moitié des copies d'un devoir à la maison. Une étudiante avoue l'utilisation de ChatGPT dans le groupe. Voir son blog : https://bonvalletstephane.com/blog-et-actu/.
• En Janvier 2023, la ville de New York proscrit l'utilisation de ChatGPT dans les écoles de la ville puis l'IEP de Paris interdit l'utilisation de ChatGPT pour toute production orale ou écrite d'élève.

Perspectives

Peut-on encore évaluer des devoirs à la maison ? Quelles compétences évaluer ? Faut-il évaluer uniquement en classe ? Autant de questions ouvertes. Il semble vain de vouloir détecter le plagiat surtout si les solutions (payantes?) sont apportées par les plateformes qui développent les chabots. Dans un éditorial publié dans le Monde Philippe Meirieu souligne qu'on peut travailler autrement avec ChatGPT : en questionnant et comparant ses réponses avec d'autres sources, en les considérant comme des brouillons à personnaliser, un travail donc sur l'esprit critique (déceler les contradictions logiques, les fausses nouvelles ...)

Dans son article Philippe Meirieu alerte sur un risque plus important : la perte de curiosité induite par les réponses directes du chabot.

Le danger majeur de ChatGPT n'est donc pas dans la fraude qu'il autoriserait, mais plutôt dans le rapport aux connaissances que promeut un robot conversationnel conçu pour donner le sentiment de parler à un humain et qui inverse complètement le sens de la relation pédagogique. En effet, ChatGPT, bien plus encore que les traditionnels moteurs de recherche, comble le désir de savoir et tue le désir d'apprendre.

Limites des agents conversationnels

C'est OpenAI qui l'affirme sur la page de présentation de GPT4 en petits caractères après avoir vanté ses performances :

Le GPT-4 présente encore de nombreuses limites connues que nous nous efforçons de résoudre, telles que les préjugés sociaux, les hallucinations et les messages contradictoires. Nous encourageons et facilitons la transparence, l'éducation des utilisateurs et une plus grande connaissance de l'IA au fur et à mesure que la société adopte ces modèles. Nous cherchons également à élargir les possibilités de contribution à l'élaboration de nos modèles (Note : quelle contribution ? nos données ? )

Limite 1 : des réponses plausibles mais pas forcément exactes

Source : Rapport du Pôle d'expertise de la régulation numérique avril 2023

Il existe une différence importante entre la satisfaction de l'utilisateur et la véracité des réponses. Le modèle tend à s'aligner sur la position de l'utilisateur lorsque celui-ci fait savoir qu'il n'est pas satisfait de la réponse fournie. De plus, les LLM conversationnels sont entraînés sur des corpus labellisés par des agents humains qui peuvent biaiser leur comportement.

Source : Article de Laure Soulier maître de conférences en informatique à Sorbonne Université

L’entrainement basé sur l’apprentissage par renforcement ne contraint pas le modèle à générer des informations véridiques et sa connaissance du monde est limitée aux données qu’on lui a fournies lors de l’entraînement.

Un même prompt des réponses différentes, plausibles avec certains éléments vrais et d'autres faux.

Limite 2 : des données d'entraînement opaques

Les modèles de langages comme ChatGPT ont principalement été entraînés sur des corpus de données en anglais. Ils sont moins bons pour les requêtes dans d'autres langues. OpenAI n'a pas donné d'informations ouvertes sur les données d'entraînement de ChatGPT qui contiennent certainement des données personnelles, sous licence ou protégées par des droits d'auteur. Un accès transparent aux données et aux architectures permettrait de meiux évaluer et limiter les biais algorithmiques.

Source : Rapport du Pôle d'expertise de la régulation numérique avril 2023

La question de la labellisation des données est récurrente en apprentissage machine, et il n'est pas rare que celle-ci soit déléguée à des travailleurs de pays en développement. [..] Les acteurs du domaine sont parfois réticents à proposer un accès ouvert à leurs données car l'opération de labellisation
peut demander un investissement conséquent.

Source : Rapport du Pôle d'expertise de la régulation numérique avril 2023

OpenAI obtient chaque jour gratuitement de nouvelles conversations grâce à ChatGPT et les utilise pour améliorer leurs produits payants. L'un des enjeux majeurs à venir sera celui de l'éducation des utilisateurs à ces nouveaux outils, afin qu'ils soient en situation de choisir avec quel modèle
interagir, c'est-à-dire à qui offrir leurs données de conversation.

Limite 3 : la question des sources

Un agent conversationnel génère du texte à partir de son modèle, un texte plausible par rapport à la distribution statistique de ses données d'entraînement mais pas forcément exact et donc il ne peut citer ses sources d'autant plus qu'il n'a pas accès au Web. Cela va changer avec le chabot de la nouvelle version de Bing et une nouvelle guerre des moteurs de recherche entre Google et Microsoft s'est ouverte.

Source : Article de Laure Soulier maître de conférences en informatique à Sorbonne Université.

La question du plagiat et des droits d'auteur est également au cœur des débats. A qui appartient le texte généré ? à l'utilisateur qui pose la question ? aux ingénieurs qui ont conçu le modèle ? Pour tenter de lutter contre les potentiels plagiats, Open AI développe actuellement un système permettant de détecter automatiquement les textes générés par le chat.

Bibliographie

• "Intelligences artificielles - miroirs de nots vies" BD de Fibretigre, Héloïse Chochois, Arnold Zéphir chez Delcourt disponible au CDI. De nombreuses références à la fin.
• "Quand la machine apprend" de Yann Le Cun chez Odile Jacob
• "Des robots et des hommes" de Laurence Devillers disponible au CDI

Sitographie

• Article : deux points de vue divergents sur les pespectives de l'IA par deux grands spécialistes : Yoshua Bengio et Yann Le Cun
• Vidéo : Ce qui se cache derrière ChatGPT de David Louapre
• Podcasts :
  • L'intelligence artificielle objet philosophique podcast sur France Culture
  • Ce que l'intelligence artificielle fait à l'emploi podcast sur France Culture
  • ChatGPT l'école doit-elle revoir sa copie ? podcast sur France Culture