Accuracy of Information and References Using ChatGPT-3 for Retrieval of Clinical Radiological Information

Purpose: To assess the accuracy of answers provided by ChatGPT-3 when prompted with questions from the daily routine of radiologists and to evaluate the text response when ChatGPT-3 was prompted to provide references for a given answer. Methods: ChatGPT-3 (San Francisco, OpenAI) is an artificial intelligence chatbot based on a large language model (LLM) that has been designed to generate human-like text. A total of 88 questions were submitted to ChatGPT-3 using textual prompt. These 88 questions were equally dispersed across 8 subspecialty areas of radiology. The responses provided by ChatGPT-3 were assessed for correctness by cross-checking them with peer-reviewed, PubMed-listed references. In addition, the references provided by ChatGPT-3 were evaluated for authenticity. Results: A total of 59 of 88 responses (67%) to radiological questions were correct, while 29 responses (33%) had errors. Out of 343 references provided, only 124 references (36.2%) were available through internet search, while 219 references (63.8%) appeared to be generated by ChatGPT-3. When examining the 124 identified references, only 47 references (37.9%) were considered to provide enough background to correctly answer 24 questions (37.5%). Conclusion: In this pilot study, ChatGPT-3 provided correct responses to questions from the daily clinical routine of radiologists in only about two thirds, while the remainder of responses contained errors. The majority of provided references were not found and only a minority of the provided references contained the correct information to answer the question. Caution is advised when using ChatGPT-3 to retrieve radiological information. Graphical Abstract Objectif : evaluer l'exactitude des reponses fournies par ChatGPT-3 en reaction a des questions de routine quotidienne des radiologistes et evaluer les reponses textes quand ChatGPT-3 est invite a fournir les references pour une reponse donnee. Methodes : ChatGPT-3 (San Francisco, OpenAI) est un robot conversationnel (chatbot) utilisant une intelligence artificielle et s'appuyant sur un LLM ou grand modele linguistique (Large Language Model) qui a ete concu pour generer un texte d'aspect naturel, c'est-a-dire produit par un humain. Un total de 88 questions a ete soumis a ChatGPT-3 au moyen de messages textuels. Ces 88 questions etaient reparties de maniere egale dans 8 domaines de sous-specialites de la radiologie. La pertinence des reponses fournies par ChatGPT-3 a ete evaluee en les recoupant avec des listes de reference PubMed revues par des pairs. De plus, l'authenticite des references fournies par ChatGPT-3 a ete evaluee. Resultats : Un total de 59 reponses sur 88 (67 %) a des questions de radiologie etaient correctes, tandis que 29 reponses (33 %) contenaient des erreurs. Sur les 343 references fournies, seulement 124 (36,2 %) etaient disponibles apres recherche sur le Web, tandis que 219 references (63,8 %) semblaient avoir etre generees par ChatGPT-3. Apres l'examen des 124 references identifiees, seulement 47 (37,9 %) ont ete jugees comme procurant assez de contexte pour repondre correctement a 24 questions (37,5 %). Conclusion : Dans cette etude pilote, ChatGPT-3 n'a fourni des reponses correctes a des questions en rapport avec la routine clinique des radiologistes que dans seulement deux tiers des cas et le tiers restant des reponses contenait des erreurs. La majorite des references fournies n'a pas ete trouvee et seulement une minorite de ces references contenait les informations correctes permettant de repondre aux questions. Il est donc conseille de faire preuve de prudence lors de l'utilisation de ChatGPT-3 pour obtenir des informations relatives a la radiologie.