Les propriétaires d'animaux ont préféré les réponses de ChatGPT à celles d'un vétérinaire, mais l'étude n'a pas évalué la précision clinique

Dans une étude menée par l'université d'Édimbourg, 68 % des participants ont préféré les réponses générées par ChatGPT à celles rédigées par un vétérinaire, après s'être vu poser deux questions sur la santé des animaux de compagnie. Les réponses fournies par l'IA ont été mieux notées en termes de structure, de qualité perçue et d'empathie, et ont également inspiré un peu plus souvent confiance. Cependant, cette étude n’a porté que sur un seul vétérinaire, deux scénarios cliniques et le modèle GPT-4o, et n’a pas évalué de manière indépendante l’exactitude des conseils médicaux.

Cette étude s’est penchée sur une question qui prend de plus en plus d’importance dans la pratique vétérinaire : comment les propriétaires d’animaux et les professionnels vétérinaires perçoivent-ils les communications médicales générées par l’IA lorsqu’ils ne savent pas qui en est l’auteur ?

Les chercheurs ont sélectionné deux questions posées par des propriétaires d’animaux de compagnie sur la communauté AskVet de Reddit. Un vétérinaire et ChatGPT, utilisant GPT-4o, ont répondu à ces deux questions en mai 2024 dans des conditions comparables. Les réponses ont été anonymisées et randomisées avant d’être présentées dans le cadre d’une enquête en ligne. Les participants les ont notées en fonction de leur structure, de leur qualité et de leur empathie, ont indiqué s’ils faisaient confiance aux informations fournies et ont sélectionné la réponse qu’ils préféraient.

Les deux tiers ont préféré la réponse générée par l’IA

Au total, 201 personnes ont répondu à l’enquête, dont 43 vétérinaires, 70 étudiants en médecine vétérinaire, 10 infirmiers vétérinaires, cinq réceptionnistes, 15 chercheurs ou professionnels de santé et 58 membres du grand public.

Dans les deux scénarios, 68,1 % ont préféré la réponse générée par ChatGPT, contre environ un tiers qui a préféré celle du vétérinaire. Le niveau de confiance a suivi une tendance similaire : 88 % ont déclaré faire confiance aux réponses de ChatGPT, contre 80 % pour celles générées par le vétérinaire.

Cette différence s’est également reflétée dans les évaluations détaillées. ChatGPT a obtenu une note moyenne de 4,52 sur 5 pour la structure, contre 4,03 pour le vétérinaire. La qualité perçue de ses informations a été notée 4,28 contre 4,03.

Les auteurs ont également constaté des notes plus élevées en matière d’empathie, ce qui suggère que les participants ont réagi positivement non seulement à l’organisation des informations, mais aussi au ton utilisé par l’IA.

La communication, plutôt que l’expertise clinique

L’étude ne démontre pas que ChatGPT ait fourni de meilleurs conseils en médecine vétérinaire. Il est important de noter que l’exactitude clinique des réponses n’a pas fait l’objet d’une évaluation indépendante. La note de « qualité » mesurait la perception des informations par les participants plutôt que la justesse médicale des conseils. Cette distinction est essentielle pour interpréter les résultats. Une réponse peut paraître plus claire, plus rassurante ou plus complète tout en contenant néanmoins des erreurs ou des conseils inappropriés.

Les auteurs eux-mêmes font valoir qu’une grande partie de l’avantage de ChatGPT pourrait résulter de son style de communication : une organisation claire, une prise en compte explicite des préoccupations du propriétaire et un langage rassurant. Ils décrivent ces éléments comme des compétences que les vétérinaires peuvent également acquérir, plutôt que comme des avantages propres à l’IA.

Limites importantes

L’expérience a été délibérément menée à petite échelle. Un seul vétérinaire a fourni les réponses de comparaison, et l’analyse n’a porté que sur deux scénarios issus de Reddit. Un autre vétérinaire, des questions différentes ou une autre stratégie d’invite auraient pu produire des résultats différents. Les réponses étaient également soumises à des limites de nombre de mots, ce qui a pu influencer leur niveau de détail ou leur finesse d’expression. Les auteurs mettent donc en garde contre toute généralisation des résultats à l’ensemble des consultations vétérinaires.

L’étude a par ailleurs utilisé la version de GPT-4o disponible en mai 2024. Elle n’évalue pas les modèles plus récents ni les performances de l’IA face à des cas plus complexes, des antécédents incomplets, une incertitude diagnostique ou des informations trompeuses fournies par un propriétaire.

Un rôle d’assistant de communication

L’application la plus immédiate identifiée par les chercheurs n’est pas le diagnostic autonome, mais l’assistance à la communication avec les clients, aux conseils écrits et à la documentation clinique. Dans une profession où la charge de travail est une préoccupation constante, l’IA pourrait aider les équipes vétérinaires à rédiger des explications plus claires ou à structurer les informations de suivi. Mais les auteurs soulignent que la responsabilité professionnelle doit rester celle du vétérinaire et que le contenu généré par l’IA nécessite un examen critique.

L’étude met donc en évidence un contraste intéressant : les participants ont souvent préféré la réponse de l’IA, mais l’expérience visait à évaluer dans quelle mesure la réponse semblait convaincante et bien communiquée, et non à déterminer si l’IA était plus performante en matière de diagnostic vétérinaire.

Pour les cabinets vétérinaires, c’est peut-être là la conclusion la plus utile. L’avantage concurrentiel de l’IA générative réside peut-être moins, à l’heure actuelle, dans le remplacement de l’expertise clinique que dans la mise en évidence de l’importance que les propriétaires accordent à une communication écrite claire, structurée et empathique.