Estudio descriptivo del proceso de elaboración, desarrollo y ejecución de la ECOE-CCS desde su gestación en abril de 2020 hasta su ejecución en junio de 2020.

El día 25 de marzo de 2020 ya en el estado de alarma el Comité Nacional de la prueba de la ECOE-CNDFME acuerda formar grupos de trabajo para elaborar una base de casos y preguntas para una prueba ECOE virtual que pudiese ejecutarse simultáneamente en cada FM (ver material suplementario).

Dos semanas más tarde se establecieron dos agrupaciones de los grupos de trabajo. De las 40 FM que debían realizar la prueba ECOE-CNDFME el curso 2019-2020, 21 (52,5%) decidieron unirse a alguno de los grupos para compartir una prueba común. De estas, 16 FM (76,2%) desarrollaron y compartieron la ECOE-CCS objeto de este trabajo y cinco FM (23,8%) se unieron en un grupo de trabajo utilizando la plataforma de la Fundación Practicum-Script®.

Desde el 25 de abril se realizaron reuniones online semanales de las 16 FM que participaron en la ECOE-CCS con casos comunes compartidos y a las que también se sumaron otros coordinadores del resto de las FM para compartir la experiencia y tratar todos los aspectos de la organización. Se comenzó por establecer el mapa de competencias, el número de estaciones necesarias, el número de ítems por competencia y se fijaron las fechas de realización de la prueba.

En la tabla 1 se incluye el mapa de competencias de la ECOE-CCS y el de la ECOE de la CNDFME presencial. En este sentido se vio que las competencias de habilidades técnicas y habilidades de comunicación no se podrían evaluar adecuadamente, pero sí se podían desarrollar preguntas virtuales para el resto de las competencias. Por consenso de todas las FM participantes en la prueba y refrendado por la Comisión Permanente de la CNDFME, la competencia de juicio clínico se pasó de 20 a 35% y la de prevención y salud pública y la de aspectos éticos/legales/profesionalismo de 10 a 15%.

Inicialmente se solicitó a las FM estaciones que pudieran desarrollarse en plataformas online. Se presentaron 44 estaciones virtuales clasificadas de acuerdo con las especialidades clínicas que figuran en el Módulo V del plan de estudios, y, finalmente, se seleccionaron 10 estaciones para cada día de examen, teniendo en cuenta las diferentes competencias que había que evaluar y las especialidades clínicas para cubrir el requerimiento del plan de estudios que permite que el título de grado en medicina tenga reconocido el nivel de máster. Por ello se acordó seleccionar casos clínicos de ginecología (n = 1), pediatría (n = 1), psiquiatría (n = 1), cirugía y traumatología (n = 2), medicina (n = 3) y atención primaria (n = 2).

Se realizó una prueba previa de la ECOE-CCS tres a cinco semanas antes (16 de mayo de 2020), con una estación de comienzo y tres estaciones simuladas. Estaba diseñada para que el estudiante pudiera tener modelos de preguntas con los que se iba a encontrar en las estaciones de la ECOE-CCS. Se celebró un sábado por la tarde para simular la presión del examen común simultáneo sobre los servicios informáticos de las plataformas virtuales de cada FM.

Participaron 2.829 alumnos. Comenzaba con una estación con un video de bienvenida, la explicación de la prueba y una pregunta de compromiso ético y, a continuación, cuatro estaciones que fueron apareciendo de forma secuencial. Una vez finalizada la previa, se mantuvo la posibilidad de repetir la última estación en días sucesivos para que los alumnos pudieran familiarizarse con el tipo de preguntas. La duración de la prueba fue de unos 30 minutos. Trece FM realizaron la prueba en la plataforma Moodle, dos en Sakai y una en Blackboard.

Los términos empleados en la elaboración de la ECOE-CCS se definen como:

• 1)

  Estación: agrupación de preguntas sobre un caso clínico.

• 2)

  Pregunta: enunciado presentado al alumno en la pantalla con un número variable de ítems evaluables y neutros que una vez completada se enviaba y no se permite su modificación. En la mayoría de las preguntas de anamnesis y de exploración se añadió la posibilidad de comprobación, que permitió informar al alumno de la respuesta del paciente en forma de texto como respuesta a lo que se preguntó en la anamnesis o como imagen gráfica o video en caso de las exploraciones.

• 3)

  Ítems evaluables: elementos sobre los que se pregunta y puntuables positiva o negativamente.

La ECOE-CCS se realizó en dos fechas, el 6 de junio y el 20 de junio de 2020. En la primera participaron 13 FM con 2.463 alumnos y en la segunda, tres FM con 366 alumnos. La prueba empezó a las 19 h de forma simultánea en todas las FM. Se diseñó la ECOE-CCS con los mismos casos, las mismas preguntas y ponderaciones de competencias. En la tabla 2 se recoge las universidades, las plataformas virtuales utilizadas y el número de alumnos.

Cada ECOE-CCS del día 6 de junio de 2020 y del día 20 presentaban situaciones diferentes si bien se compartieron cuatro estaciones, dos con el mismo contenido de caso clínico y las otras dos con la misma situación de partida, pero con un caso clínico diferente (tabla 3). El alumno fue convocado con un tiempo de 30 minutos antes del inicio de la prueba. La prueba empezaba con una estación 0 o de presentación; a continuación, 10 estaciones y para finalizar una encuesta de satisfacción de la prueba.

La prueba ECOE-CCS se diseñó para que cada alumno entrara en las estaciones con una secuencia diferente (con 50 variantes distintas) para disminuir el efecto de copia o de trasmisión de la información. La duración de cada estación fue de 12 minutos. Las estaciones se abrían cuando se entregaba la anterior. Si no acababa en los 12 minutos, se entregaba automáticamente, le sacaba de la estación y le ofrecía la siguiente estación que le correspondía según su propia secuencia. La duración total máxima de la prueba fue de 120 minutos. Dentro de cada estación las preguntas se presentan secuencialmente al responder sin permitir volver a la anterior.

El 6 de junio se presentaron al examen 2.463 estudiantes de 13 FM. Las 10 estaciones fueron: tres de medicina, dos de atención primaria, dos de cirugía y traumatología y una de ginecología, pediatría y psiquiatría. El número de preguntas por estación osciló de seis a 21, lo que correspondía a un promedio de 1,1 minutos por pregunta. El total de ítems evaluables fue de 261. La anamnesis estuvo representada en nueve estaciones, la exploración física en cinco, el juicio clínico en nueve, la prevención y promoción en cinco estaciones y los aspectos ético-legales en seis estaciones. De las 10 estaciones casi todas tenían las cinco áreas competenciales que se iban a evaluar con una ponderación diferente. En la tabla 3 se detallan los casos, el número de puntos y el de ítems evaluables en todas las competencias y la propuesta de la CNDFME para la ECOE-CCS.

El 20 de junio del 2020 se presentaron 366 estudiantes de tres FM y algunos alumnos de las otras FM que no pudieron realizar la prueba el día 6. De las 10 estaciones, cuatro eran los mismos casos clínicos que el día 6 de junio del 2020, dos idénticos y dos con la misma situación de partida (el derecho a la información y la parálisis facial) pero con un desarrollo diferente, y seis casos nuevos diferentes (pie de tabla 3). En esta prueba las áreas competenciales fueron similares a la anterior.

Cada estación tenía una situación de partida que presentaba el entorno del caso clínico y a continuación una serie de indicaciones sobre las tareas y el contenido general de las preguntas que se tenían que responder. Todas las estaciones tenían una o más preguntas con imágenes y en varias se incluyó algún video.

Las preguntas de anamnesis mayoritariamente fueron de múltiple opción con respuesta múltiple, con pesos distintos en cada ítem y según la posibilidad de la plataforma, con retroalimentación específica, mostrando al alumno la respuesta del paciente a los ítems seleccionados (moodle) o mostrando un pequeño resumen seleccionado en las otras dos plataformas (fig. 1A y 1 B).

Figura 1.

Ejemplo de pregunta con retroalimentación para evaluar la competencia de anamnesis utilizada en la ECOE-CCS.

(0.35MB).

Se construyó una estación de atención primaria sobre derecho a la información con viñetas y preguntas binarias (correcto o falso) sobre aspectos éticos (fig. 2A). Un porcentaje importante de las preguntas de juicio clínico fueron de razonamiento tipo Script o de organización de ese conocimiento clínico en redes conceptuales (fig. 2B).

Figura 2.

Ejemplo de pregunta para evaluar en A) la competencia de ética tipo viñetas y en B) para evaluar la competencia de juicio clínico tipo Script utilizadas en la ECOE-CCS.

(0.41MB).

La mayoría de las FM incorporó una encuesta de satisfacción al final como estación 11; ocho facultades realizaron una encuesta común en moodle que constaba de 60 preguntas (entre cinco a 10 respuestas) (ver material suplementario). En un análisis preliminar de 1.437 respuestas a la encuesta sobre los ítems que analizan en los parámetros globales, la mayoría de los estudiantes se consideraron satisfechos, muy o extremadamente satisfechos con el simulacro realizado.

Respecto a la prueba evaluada, la mayor parte de los alumnos (52%) señaló percibir bastante nivel de estrés previo y, a pesar de ello, valoraron como adecuada o mejor la información previa recibida (70%), la organización el día de la prueba (83%), la preparación recibida durante el grado (67%), los conocimientos previos adquiridos (88%), el tipo de problemas médicos presentados con respecto a los contenidos vistos durante el grado (76%), y consideraron la prueba como una buena experiencia del aprendizaje (75%).