Quand l’IA rencontre ses limites : les problèmes de chatbots

Février 2023 : Microsoft et Google annoncent qu’ils vont incorporer des programmes d’IA similaires à ChatGPT dans leurs moteurs de recherche, afin de transformer notre façon de trouver des informations en ligne en une conversation avec un chatbot omniscient. Un problème : ces modèles linguistiques sont des mythomanes notoires.

  • Dans une vidéo promotionnelle, le chatbot Bard de Google a commis une erreur flagrante sur l’astronomie, en se trompant de plus de 10 ans sur la date de la première photo d’une planète en dehors de notre système solaire, ce qui a fait chuter l’action de sa société mère de 9 %.
  • La démonstration en direct du nouveau Bing, qui intègre une version plus avancée de ChatGPT, était également truffée d’inexactitudes embarrassantes.

Même si ces derniers mois ont fait croire à beaucoup que l’intelligence artificielle était enfin à la hauteur de son nom, les limites fondamentales de cette technologie suggèrent que les annonces de ce mois-ci se situent en fait quelque part entre l’effondrement des Google Glass et une mise à jour de l’iPhone, au pire un battage de science-fiction, au mieux une amélioration progressive accompagnée d’un maelström de bugs.

Où est-ce que ça cloche ?

Le problème survient lorsque nous traitons les chatbots non seulement comme des robots de recherche, mais aussi comme des êtres dotés d’un cerveau, lorsque les entreprises et les utilisateurs font confiance à des programmes comme ChatGPT pour analyser leurs finances, planifier leurs voyages et leurs repas ou fournir des informations de base.

Au lieu de forcer les utilisateurs à lire d’autres pages internet, Microsoft et Google ont proposé un avenir où les moteurs de recherche utilisent l’IA pour synthétiser les informations et les présenter en prose de base, comme des oracles en silicium.

Mais la réalisation complète de cette vision pourrait être un objectif lointain, et la route qui y mène est sinueuse et nébuleuse : Les programmes actuellement à l’origine de ce changement, connus sous le nom de « grands modèles de langage » , sont décents pour générer des phrases simples mais plutôt mauvais pour tout le reste.

Comment fonctionnent ChatGPT et autres Bard ?

Ces modèles fonctionnent en identifiant et en régurgitant des modèles dans le langage, comme un autocorrecteur surpuissant.

Un logiciel comme ChatGPT analyse d’abord d’énormes quantités de textes (livres, pages Wikipédia, journaux, messages sur les réseaux sociaux) puis utilise ces données pour prédire les mots et les phrases les plus susceptibles d’aller ensemble.

Ces programmes modélisent le langage existant, ce qui signifie qu’ils ne peuvent pas proposer d’idées « nouvelles » . Et comme ils s’appuient sur des régularités statistiques, ils ont tendance à produire des versions abaissées et dégradées de l’information originale, un peu comme une copie défectueuse.

Même si ChatGPT et ses cousins avaient appris à prédire les mots à la perfection, d’autres compétences de base leur feraient toujours défaut.

  • Par exemple, ils ne comprennent pas le monde physique ou l’utilisation de la logique,
  • sont nuls en maths
  • ne peuvent pas vérifier les faits

Hier encore, ChatGPT m’a dit qu’il y avait six lettres dans son nom.

Ces programmes linguistiques écrivent des choses « nouvelles » , mais on peut aussi les décrire comme des mensonges. De la même manière que le correcteur automatique est terriblement mauvais lorsqu’il s’agit de corriger une seule lettre, ces modèles gâchent des phrases et des paragraphes entiers.

Le nouveau Bing aurait dit que 2022 venait après 2023, puis aurait déclaré que l’année en cours était 2022, tout en pestant contre les utilisateurs qui le contestaient.

Interrogé sur ces problèmes, un porte-parole de Microsoft a écrit dans un courriel que, « étant donné qu’il s’agit d’un aperçu précoce, le nouveau Bing peut parfois afficher des réponses inattendues ou inexactes » et que « nous ajustons ses réponses pour créer des réponses cohérentes, pertinentes et positives. »Autrement dit : il y a un problème de censure évidente dans ces chatbots. Essayez de parler de contenus adultes avec eux, ils vont diront qu’ils n’ont pas le droit.

chatbot

L’apprentissage d’une IA nécessite d’énormes quantités de données et de temps

ChatGPT, par exemple, n’a pas été entraîné sur tout ce qui est postérieur à 2021, et la mise à jour d’un modèle avec les nouvelles de chaque minute serait peu pratique, voire impossible.

Pour fournir des informations plus récentes, sur les dernières nouvelles ou sur les événements sportifs à venir, le nouveau Bing exécuterait la requête de l’utilisateur par le biais du moteur de recherche Bing traditionnel et utiliserait ces résultats, en conjonction avec l’IA, pour rédiger une réponse.

Cela ressemble à une poupée russe, ou peut-être à une statue dorée : Sous la couche extérieure brillante de l’IA se cache le même Bing terni que nous connaissons tous et que nous n’utilisons jamais.

La réserve à ce scepticisme est que Microsoft et Google n’ont pas dit grand-chose sur la façon dont ces outils de recherche alimentés par l’IA fonctionnent réellement.

  • Peut-être sont-ils en train d’incorporer d’autres logiciels pour améliorer la fiabilité des chatbots,
  • ou peut-être la prochaine itération du modèle de langage d’OpenAI, GPT-4, résoudra-t-elle ces problèmes comme par magie, si les rumeurs s’avèrent vraies.

Avoir la foi ?

En effet, 2 des plus grandes entreprises du monde demandent essentiellement au public d’avoir la foi, de leur faire confiance comme s’ils étaient des dieux et les chatbots leur moyen de communication.

Ces robots de recherche IA seront bientôt disponibles pour tous, mais nous ne devrions pas être si prompts à faire confiance à des correcteurs automatiques glorifiés pour diriger nos vies. Il y a moins de dix ans, le monde a réalisé que Facebook était moins un réseau social amusant qu’une machine à éroder la démocratie.

Si nous nous précipitons encore pour faire confiance à la prochaine grande révolution des géants de la technologie, cela veut peut-être dire que l’hallucination, avec ou sans chatbots, a déjà supplanté la recherche d’informations et la réflexion.