867 - INTELIGENCIA ARTIFICIAL EN LA RESOLUCIÓN DE PREGUNTAS CLÍNICAS DE LA PRÁCTICA ASISTENCIAL HABITUAL
Medicina Interna, Hospital General Universitario de Elda, Alicante, España.
Objetivos: El objetivo principal del presente estudio es cuantificar la concordancia en la toma de decisiones clínicas complejas entre la inteligencia artificial, los adjuntos especialistas en Enfermedades Infecciosas y los residentes de Medicina Interna.
Métodos: El diseño del estudio es observacional, descriptivo y transversal. Se plantearon 100 preguntas concretas sobre decisiones clínicas derivadas de la práctica clínica habitual de los investigadores. Los supuestos clínicos se presentaron a los participantes (3 adjuntos de Enfermedades Infecciosas y 3 residentes de Medicina Interna) y a los modelos de inteligencia artificial seleccionados (ChatGPT 4.0, Google Gemini 1.5 flash y Open evidence 2.0). Las respuestas, mayoritariamente, fueron dicotómicas para poder comparar con mayor exactitud los resultados y; se definió acierto a la pregunta contestada correctamente según la evidencia científica actual extraída de la literatura. La concordancia se evalúo mediante el coeficiente Kappa de Cohen y las discrepancias mediante el test de McNemar. El estudio fue aprobado por el Comité de Ética de Investigación.
Resultados: Tras realizar el análisis, el coeficiente Kappa obtenido entre la inteligencia artificial y los expertos en Enfermedades Infecciosas fue de 0,14; obteniendo la mayor concordancia con la herramienta Google Gemini 1,5 flash (fig.). Respecto a la concordancia entre las tres herramientas de inteligencia artificial utilizadas, se ha observado un coeficiente Kappa de 0,35 de media. Sin embargo, el coeficiente Kappa obtenido entre residentes de Medicina Interna es de 0,2 y entre los adjuntos de Enfermedades Infecciosas es de 0,32 (tabla 1). También se han evaluado las discrepancias entre los expertos con la inteligencia artificial, utilizando la prueba de McNemar. Se identificaron diferencias estadísticamente significativas, con las herramientas Open Evidence 2.0 y ChatGPT 4.0. Pues estas fueron, las herramientas con mayor número de aciertos en la resolución de las preguntas complejas con 86 preguntas acertadas cada una. En general, la inteligencia artificial tiene mayor porcentaje de aciertos con un 83% de media frente a un 67% de los residentes y un 71% de los adjuntos (tabla 2).
|
Tabla 1 |
||||||
|
Kappa ponderados |
Asintótica |
95% Intervalo de confianza asintótica |
||||
|
Error estándar |
z |
Sig. |
Límite inferior |
Límite superior |
||
|
Respuesta IA1 Respuesta IA2 |
0,395 |
0,127 |
3,955 |
< 0,001 |
0,146 |
0,645 |
|
Respuesta IA1 Respuesta IA3 |
0,228 |
0,112 |
2,362 |
0,018 |
0,008 |
0,449 |
|
Respuesta IA2 Respuesta IA3 |
0,444 |
0,111 |
4,643 |
< 0,001 |
0,227 |
0,660 |
|
Tabla 2 |
|||
|
IA1 |
IA2 |
IA3 |
|
|
Respuesta R1 |
0,016 |
0,009 |
0,248 |
|
Respuesta R2 |
< 0,001 |
< 0,001 |
0,02 |
|
Respuesta R3 |
0,005 |
0,001 |
0,143 |
|
Respuesta A1 |
0,248 |
0,169 |
1 |
|
Respuesta A2 |
0,061 |
0,029 |
0,736 |
|
Respuesta A3 |
0,036 |
0,016 |
0,5 |
Discusión: La inteligencia artificial es un campo de la informática basado en algoritmos capaces de generar una respuesta tras el procesamiento de datos. Esta herramienta se ha instaurado en nuestro día a día por el rápido desarrollo que ha experimentado en los últimos años. Ya hay numerosos estudios acerca del papel de la inteligencia artificial en el ámbito del diagnóstico por imagen, entre otros campos de la Medicina. Actualmente, se está investigando su aplicación en Enfermedades Infecciosas, principalmente, en la detección de brotes, el estudio de contactos, el análisis de resistencias y el desarrollo de nuevas terapias. Sin embargo, todavía es necesario demostrar su capacidad en la toma de decisiones clínicas complejas y controvertidas. Según el presente estudio y los datos obtenidos, la inteligencia artificial es un recurso prometedor.
Conclusiones: Los expertos en enfermedades infecciosas y las herramientas de inteligencia artificial presentan una concordancia escasa-baja en la resolución de casos clínicos complejos sobre Enfermedades Infecciosas. Las herramientas de inteligencia artificial respondieron de manera adecuada con más frecuencia que los residentes de Medicina Interna y los adjuntos de Enfermedades Infecciosas.
