ChatGPT et autres IA génératives : Peut-on s’y fier lorsqu’il est question d’allergies alimentaires ?

Comme pour toutes les sources d’information sur le Web, il faut user de son jugement critique!
En 2022, l’entreprise OpenAI lançait ChatGPT. Rapidement, ce modèle d’intelligence artificielle (IA) générative accessible gratuitement a connu un énorme succès. Certains parlaient même d’une véritable révolution dans le monde de l’IA. En effet, ChatGPT est capable, en quelques secondes, de générer une variété infinie de contenus. Mais le modèle fournit-il à tout coup des réponses justes et fiables, peu importe le sujet et le contexte ? Pourrait-il induire ses utilisateurs en erreur dans des domaines spécialisés comme celui des allergies alimentaires ? Allergies Québec a creusé la question.
Quelques mots sur l’intelligence artificielle générative
ChatGPT est une IA générative* qui fonctionne en créant des contenus originaux (p. ex., textes, images, vidéo, etc.) à partir d’algorithmes sophistiqués qui simulent le fonctionnement du cerveau humain [1]. Ainsi, à partir d’une requête de l’utilisateur, l’IA générative recherchera, dans les milliards de données auxquelles elle a accès, l’information lui permettant de générer la réponse la plus probable.
Par exemple, nous avons demandé à ChatGPT 4.0 de nous expliquer en quelques mots ce que sont les allergies alimentaires. Le modèle nous a proposé deux définitions somme toute pertinentes et assez semblables :
*Il existe d’autres modèles d’IA générative. Copilot, Gemini et Claude en sont des exemples.
ChatGPT en santé : des réponses empathiques et détaillées, selon un groupe d’évaluateurs
En 2022, des chercheurs américains ont testé l’habileté de ChatGPT à répondre correctement et de manière empathique à des questions relatives à la santé posées par des patients sur des forums en ligne [2]. Un groupe d’évaluateurs a par la suite comparé les réponses de ChatGPT avec celles de vrais médecins.
Dans 78,6 % des cas, les évaluateurs ont préféré les réponses générées par ChatGPT, lesquelles étaient généralement plus longues et détaillées que celles des médecins. Étonnamment, ChatGPT générait également des réponses davantage empathiques que les médecins (41 % de plus en moyenne).
Les résultats de cette étude sont intéressants, car ils mettent en lumière certains besoins qu’ont les personnes allergiques et auxquels la médecine peut difficilement répondre. En effet, les personnes qui composent avec des allergies ont besoin de soutien et d’écoute. Elles cherchent à comprendre leur condition en profondeur. C’est pourquoi Allergies Québec est là! N’oubliez pas que vous pouvez nous écrire ou rejoindre notre ligne de soutien en tout temps au 1-800-990-2575 poste 204.
Des réponses parfois inexactes
Plus récemment, un groupe de chercheurs a entrepris d’évaluer la justesse des réponses de ChatGPT après l’avoir confronté à dix mythes et informations erronées en lien avec les allergies, en utilisant la prémisse « Vrai ou Faux » [3]. Ensuite, ils ont demandé à un groupe de 24 allergologues d’évaluer l’exactitude des réponses de ChatGPT.
Les résultats de l’étude démontrent que, selon le groupe d’évaluateurs, les réponses générées par ChatGPT étaient « exactes » dans 70 % des cas, « en partie exacte » dans 21 % des cas, « en partie inexacte » dans 5 % des cas et « inexactes » dans 4 % des cas. Ainsi, malgré une bonne moyenne d’exactitude, ChatGPT génère parfois des informations fausses.
Attention aux hallucinations de ChatGPT
Dans le domaine de l’IA générative, on définit l’hallucination comme un élément généré par le modèle qui se révèle entièrement faux [4]. Pire encore, l’élément est présenté de manière à convaincre l’utilisateur de sa véracité. Le modèle d’IA générative peut même aller jusqu’à présenter des arguments pour justifier la validité de l’élément.
L’an dernier, deux chercheurs ont été surpris de constater les hallucinations de ChatGPT lorsqu’est venu le temps de citer les sources ayant servi à générer ses réponses [5]. À la demande des chercheurs, le modèle a d’abord expliqué avec exactitude un des mécanismes d’apparition de l’ostéoporose, une maladie qui affecte les os. Pour valider l’information, les chercheurs lui ont ensuite demandé de citer ses sources. Or, le titre des cinq sources citées par ChatGPT ne référait à aucune publication réelle. Elles avaient été générées de toutes pièces.
Bref, ChatGPT est généralement fiable, mais…
Revenons à nos deux questions en introduction.
ChatGPT fournit-il à tout coup des réponses fiables et exactes, peu importe le sujet et le contexte ? La réponse est non, selon nos recherches. Mais pour en avoir le cœur net, nous avons tout de même pris le temps de lui poser la question. Voici ce qu’il nous a répondu :
Dans ce contexte, ChatGPT pourrait-il induire ses utilisateurs en erreur dans des domaines comme celui des allergies alimentaires ? C’est effectivement une possibilité ! En effet, contrairement aux spécialistes de la santé régis par un ordre professionnels, ChatGPT n’est pas tenu de maintenir une distance professionnelle ou de respecter un code de déontologie, même s’il doit adhérer à certaines lignes de conduite. D’ailleurs, ChatGPT est reconnu pour donner raison à l’utilisateur! Et la réponse que celui-ci espère n’est pas nécessairement la bonne…
La morale de l’histoire : si vous utilisez ChatGPT pour obtenir des réponses en lien avec les allergies alimentaires, assurez-vous toujours de valider les informations qu’il vous donne. Comme il le dit lui-même, il n’est pas infaillible. Alors, qu’il soit question d’une information fournie par l’intelligence artificielle ou humaine, restons curieux et engagés. Aiguisons notre esprit critique et ne laissons pas nos questions sans réponse.
Pour de l’information fiable sur les allergies alimentaires :
- Allergies Québec
- Food Allergy Canada
- Gouvernement du Québec
- Soins de nos enfants (Société canadienne de pédiatrie)
- Gouvernement du Canada
Références
[1] IBM. (2024, 22 mars). Qu’est-ce que l’IA générative ? https://www.ibm.com/fr-fr/topics/generative-ai
[2] Ayers, J. W., Poliak, A., Dredze, M., Leas, E. C., Zhu, Z., Kelley, J. B., Faix, D. J., Goodman, A. M., Longhurst, C. A., Hogarth, M. et Smith, D. M. (2023). Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum. JAMA Internal Medicine, 183(6), 589–596. https://doi.org/10.1001/jamainternmed.2023.1838
[3] Estrada-Mendizabal, R. J., Cojuc-Konigsberg, G., Labib, E. N., De la Cruz-De la Cruz, C., Gonzalez-Estrada, A., Cuervo-Pardo, L., Zwiener, R. et Canel-Paredes, A. (2024). Assessing the accuracy of ChatGPT’s responses to common allergy myths. The Journal of Allergy and Clinical Immunology. In practice, S2213-2198(24)01166-8. https://doi.org/10.1016/j.jaip.2024.11.002
[4] Shorey, S., Mattar, C., Pereira, T. L. et Choolani, M. (2024). A scoping review of ChatGPT’s role in healthcare education and research. Nurse Education Today, 135, 106121. https://doi.org/10.1016/j.nedt.2024.106121
[5] Alkaissi, H. et McFarlane, S. I. (2023). Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2), e35179. https://doi.org/10.7759/cureus.35179