Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas
Resumen: Antecedentes y objetivo: La inteligencia artificial generativa es una tecnología que ofrece su mayor conectividad con las personas gracias a los bots conversacionales («chatbot»). Estos pueden mantener un diálogo con un lenguaje natural indistinguible del humano y son una fuente potencial...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Elsevier
2025-01-01
|
| Series: | Revista Española de Cirugía Ortopédica y Traumatología |
| Subjects: | |
| Online Access: | http://www.sciencedirect.com/science/article/pii/S1888441524000869 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1841553795599826944 |
|---|---|
| author | F. Canillas del Rey M. Canillas Arias |
| author_facet | F. Canillas del Rey M. Canillas Arias |
| author_sort | F. Canillas del Rey |
| collection | DOAJ |
| description | Resumen: Antecedentes y objetivo: La inteligencia artificial generativa es una tecnología que ofrece su mayor conectividad con las personas gracias a los bots conversacionales («chatbot»). Estos pueden mantener un diálogo con un lenguaje natural indistinguible del humano y son una fuente potencial de información para los pacientes. El objetivo de este trabajo es estudiar el rendimiento de estos bots en la resolución de cuestiones específicas de cirugía ortopédica y traumatología empleando las preguntas del examen MIR español entre 2008 y 2023. Material y métodos: Se analizaron 3 modelos de «chatbots» (ChatGPT, Bard y Perplexity) respondiendo a 114 preguntas del MIR. Se compararon aciertos, se valoró la legibilidad de las respuestas y se examinó su dependencia con el razonamiento lógico y la información interna y externa. En los fallos también se evaluó el tipo de error. Resultados: ChatGPT obtuvo un 72,81% de aciertos, seguido por Perplexity (67,54%) y Bard (60,53%). Las respuestas más legibles y completas las ofrece Bard. Las respuestas demostraron un razonamiento lógico y el uso de información interna de los enunciados de preguntas. En 16 preguntas (14%) las 3 aplicaciones fallaron simultáneamente. Se identificaron errores, que incluían fallos lógicos y de información. Conclusiones: Aunque los bots conversacionales pueden ser útiles en la resolución de preguntas médicas, se señala la necesidad de precaución debido a la posibilidad de errores. Actualmente deben considerarse como una herramienta en desarrollo y la opinión humana debe prevalecer sobre la inteligencia artificial generativa. Abstract: Introduction: Generative Artificial Intelligence is a technology that provides greater connectivity with people through conversational bots («chatbots»). These bots can engage in dialogue using natural language indistinguishable from humans and are a potential source of information for patients.The aim of this study is to examine the performance of these bots in solving specific issues related to orthopedic surgery and traumatology using questions from the Spanish MIR exam between 2008 and 2023. Material and methods: Three «chatbot» models (ChatGPT, Bard and Perplexity) were analyzed by answering 114 questions from the MIR. Their accuracy was compared, the readability of their responses was evaluated, and their dependence on logical reasoning and internal and external information was examined. The type of error was also evaluated in the failures. Results: ChatGPT obtained 72.81% correct answers, followed by Perplexity (67.54%) and Bard (60.53%).Bard provides the most readable and comprehensive responses. The responses demonstrated logical reasoning and the use of internal information from the question prompts. In 16 questions (14%), all 3 applications failed simultaneously. Errors were identified, including logical and information failures. Conclusions: While conversational bots can be useful in resolving medical questions, caution is advised due to the possibility of errors. Currently, they should be considered as a developing tool, and human opinion should prevail over Generative Artificial Intelligence. |
| format | Article |
| id | doaj-art-1106961da6d24302a2d34bd935614958 |
| institution | Kabale University |
| issn | 1888-4415 |
| language | English |
| publishDate | 2025-01-01 |
| publisher | Elsevier |
| record_format | Article |
| series | Revista Española de Cirugía Ortopédica y Traumatología |
| spelling | doaj-art-1106961da6d24302a2d34bd9356149582025-01-09T06:13:39ZengElsevierRevista Española de Cirugía Ortopédica y Traumatología1888-44152025-01-016913846Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicasF. Canillas del Rey0M. Canillas Arias1Servicio de Cirugía Ortopédica y Traumatología, Hospital Universitario Cruz Roja, Madrid, España; Facultad de Medicina, Universidad Alfonso X el Sabio, Madrid, España; Autor para correspondencia.Facultad de Medicina, Universidad Alfonso X el Sabio, Madrid, EspañaResumen: Antecedentes y objetivo: La inteligencia artificial generativa es una tecnología que ofrece su mayor conectividad con las personas gracias a los bots conversacionales («chatbot»). Estos pueden mantener un diálogo con un lenguaje natural indistinguible del humano y son una fuente potencial de información para los pacientes. El objetivo de este trabajo es estudiar el rendimiento de estos bots en la resolución de cuestiones específicas de cirugía ortopédica y traumatología empleando las preguntas del examen MIR español entre 2008 y 2023. Material y métodos: Se analizaron 3 modelos de «chatbots» (ChatGPT, Bard y Perplexity) respondiendo a 114 preguntas del MIR. Se compararon aciertos, se valoró la legibilidad de las respuestas y se examinó su dependencia con el razonamiento lógico y la información interna y externa. En los fallos también se evaluó el tipo de error. Resultados: ChatGPT obtuvo un 72,81% de aciertos, seguido por Perplexity (67,54%) y Bard (60,53%). Las respuestas más legibles y completas las ofrece Bard. Las respuestas demostraron un razonamiento lógico y el uso de información interna de los enunciados de preguntas. En 16 preguntas (14%) las 3 aplicaciones fallaron simultáneamente. Se identificaron errores, que incluían fallos lógicos y de información. Conclusiones: Aunque los bots conversacionales pueden ser útiles en la resolución de preguntas médicas, se señala la necesidad de precaución debido a la posibilidad de errores. Actualmente deben considerarse como una herramienta en desarrollo y la opinión humana debe prevalecer sobre la inteligencia artificial generativa. Abstract: Introduction: Generative Artificial Intelligence is a technology that provides greater connectivity with people through conversational bots («chatbots»). These bots can engage in dialogue using natural language indistinguishable from humans and are a potential source of information for patients.The aim of this study is to examine the performance of these bots in solving specific issues related to orthopedic surgery and traumatology using questions from the Spanish MIR exam between 2008 and 2023. Material and methods: Three «chatbot» models (ChatGPT, Bard and Perplexity) were analyzed by answering 114 questions from the MIR. Their accuracy was compared, the readability of their responses was evaluated, and their dependence on logical reasoning and internal and external information was examined. The type of error was also evaluated in the failures. Results: ChatGPT obtained 72.81% correct answers, followed by Perplexity (67.54%) and Bard (60.53%).Bard provides the most readable and comprehensive responses. The responses demonstrated logical reasoning and the use of internal information from the question prompts. In 16 questions (14%), all 3 applications failed simultaneously. Errors were identified, including logical and information failures. Conclusions: While conversational bots can be useful in resolving medical questions, caution is advised due to the possibility of errors. Currently, they should be considered as a developing tool, and human opinion should prevail over Generative Artificial Intelligence.http://www.sciencedirect.com/science/article/pii/S1888441524000869Generative Artificial IntelligenceChatbotMulti-choice question answeringChatGPTBardPerplexity |
| spellingShingle | F. Canillas del Rey M. Canillas Arias Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas Revista Española de Cirugía Ortopédica y Traumatología Generative Artificial Intelligence Chatbot Multi-choice question answering ChatGPT Bard Perplexity |
| title | Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas |
| title_full | Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas |
| title_fullStr | Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas |
| title_full_unstemmed | Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas |
| title_short | Explorando el potencial de la inteligencia artificial en traumatología: respuestas conversacionales a preguntas específicas |
| title_sort | explorando el potencial de la inteligencia artificial en traumatologia respuestas conversacionales a preguntas especificas |
| topic | Generative Artificial Intelligence Chatbot Multi-choice question answering ChatGPT Bard Perplexity |
| url | http://www.sciencedirect.com/science/article/pii/S1888441524000869 |
| work_keys_str_mv | AT fcanillasdelrey explorandoelpotencialdelainteligenciaartificialentraumatologiarespuestasconversacionalesapreguntasespecificas AT mcanillasarias explorandoelpotencialdelainteligenciaartificialentraumatologiarespuestasconversacionalesapreguntasespecificas |