Equidad, validez y confiabilidad del Examen Nacional para Aspirantes a Residencias Médicas (ENARM): oportunidades para mejorar

Equity, validity and reliability of the National Examination for Candidates to Medical Residences (ENARM): opportunities for improvement

Aldo Barajas-Ochoa Cesar Ramos-Remus Acerca de los autores

Señor editor: La formación de recursos humanos de alta calidad en las especialidades médicas es de gran importancia para la sociedad. El proceso inicia cada año con la selección de los candidatos a través del Examen Nacional para Aspirantes a Residencias Médicas (ENARM). En 2016, más de 36 000 médicos generales compitieron a través del ENARM por una de las, aproximadamente, 8 250 plazas ofertadas. Según fuentes oficiales, algunos de los atributos conferidos al proceso del ENARM incluyen “equitativo”, “transparente”, “objetivo” y “válido”.11. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2017 [documento en internet]. Ciudad de México: CIFRHS, 2017 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...

El ENARM se compone de 450 reactivos de opción múltiple y se aplica en diferentes ciudades del país y en días consecutivos. Cada día se utilizan reactivos distintos “con las mismas características de objetividad, calidad, balance y nivel académico”,**Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2016. Ciudad de México: CIFRHS, 2016 [citado el 06 de marzo de 2017]. Disponible en:https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,11. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2017 [documento en internet]. Ciudad de México: CIFRHS, 2017 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...
“constituyendo cada versión [del examen] con el mismo número de reactivos y con la misma proporción de 50% de ítems de media dificultad y 25% para los de alta y baja, respectivamente”.‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view El diseño de los reactivos es realizado por “al menos ocho profesores expertos, quienes participan conforme a perfiles específicos” en diferentes etapas del proceso.**Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2016. Ciudad de México: CIFRHS, 2016 [citado el 06 de marzo de 2017]. Disponible en:https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,11. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2017 [documento en internet]. Ciudad de México: CIFRHS, 2017 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...
La dificultad de los reactivos es determinada “con base en la tasa de respuestas [de cinco expertos clínicos] y su experiencia”.‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view Tras haberse aplicado todos los exámenes, los puntajes se agrupan por especialidad y se selecciona a los sustentantes de acuerdo con su puntaje hasta que se cumple con un cupo.22. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Metodología, Proceso de Selección [documento en internet]. Ciudad de México: CIFRHS , 2016 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/E40_met_proceso_seleccion_2016.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...
El criterio primario utilizado para seleccionar a los sustentantes es el porcentaje de respuestas correctas (PRC): número de respuestas correctas dividido entre 450. En caso de empate, se consideran sucesivamente el puntaje en medicina interna, pediatría, gineco-obstetricia y cirugía y, finalmente, el grado de dificultad de los reactivos respondidos de forma correcta.22. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Metodología, Proceso de Selección [documento en internet]. Ciudad de México: CIFRHS , 2016 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/E40_met_proceso_seleccion_2016.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...

Por la trascendencia del ENARM y los recursos económicos que genera -aproximadamente, 108 millones de pesos por cuotas de inscripción en 2016-, el ENARM debería desarrollarse con los más altos estándares de calidad.33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25.,44. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 2011;33:783-797. https://doi.org/10.3109/0142159X.2011.611022
https://doi.org/10.3109/0142159X.2011.61...
Sin embargo, existen características en su diseño y forma de evaluación que ponen en duda algunos de sus atributos (equidad, validez y confiabilidad). Como ejemplo, en el XL ENARM se encontró: a) que no existe un reporte técnico de su elaboración;‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25. b) que no participa un editor profesional;‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25. c) la inexistencia de prueba piloto de los reactivos en la población blanco;‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25. d) la asignación cuasi-arbitraria del grado de dificultad de los reactivos sin utilizar teorías psicométricas;‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25.,44. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 2011;33:783-797. https://doi.org/10.3109/0142159X.2011.611022
https://doi.org/10.3109/0142159X.2011.61...
e) la calificación del examen con el PRC (considera a los reactivos como iguales a pesar de que tienen una dificultad diferenciada); f) que no se calcula el error estándar de la medición,44. Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 2011;33:783-797. https://doi.org/10.3109/0142159X.2011.611022
https://doi.org/10.3109/0142159X.2011.61...
y g) que se compara a los sustentantes utilizando el PRC sin utilizar procesos de equiparación de pruebas,‡Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view a pesar de que se utilizan distintos reactivos cada día, lo que constituye la mayor amenaza contra la equidad del ENARM.33. Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25.

Estas áreas de oportunidad§§Barajas-Ochoa A, Ramos-Remus C. Ensayo: un análisis sobre la equidad, validez y confiabilidad del Examen Nacional para Aspirantes a Residencias Médicas (ENARM). Mayo de 2017 [citado el 16 de mayo de 2017]. Disponible en:https://drive.google.com/file/d/0B4Qe4F_sYmX0YVoxUjRaTk9wU1E/view deben atenderse por las autoridades respectivas para el beneficio de los involucrados, particularmente al considerar que la estructura y convocatoria del próximo XLI ENARM (septiembre 2017) son similares a las del XL ENARM.**Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2016. Ciudad de México: CIFRHS, 2016 [citado el 06 de marzo de 2017]. Disponible en:https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view ,11. Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2017 [documento en internet]. Ciudad de México: CIFRHS, 2017 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...

Referencias

  • 1
    Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2017 [documento en internet]. Ciudad de México: CIFRHS, 2017 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
    » http://www.cifrhs.salud.gob.mx/site1/enarm/docs/enarm-convo_2017.pdf
  • 2
    Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Metodología, Proceso de Selección [documento en internet]. Ciudad de México: CIFRHS , 2016 [citado el 15 de mayo de 2017]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/docs/E40_met_proceso_seleccion_2016.pdf
    » http://www.cifrhs.salud.gob.mx/site1/enarm/docs/E40_met_proceso_seleccion_2016.pdf
  • 3
    Downing SM. Twelve steps for effective test development. En: Downing SM, Haladyna TM, comp. Handbook of test development. Mahwah: Lawrence Erlbaum Associates, 2006:3-25.
  • 4
    Schuwirth LW, van der Vleuten CP. General overview of the theories used in assessment: AMEE Guide No. 57. Med Teach 2011;33:783-797. https://doi.org/10.3109/0142159X.2011.611022
    » https://doi.org/10.3109/0142159X.2011.611022

  • *
    Subsecretaría de Integración y Desarrollo del Sector Salud, Dirección General de Calidad y Educación en Salud, Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas. Convocatoria 2016. Ciudad de México: CIFRHS, 2016 [citado el 06 de marzo de 2017]. Disponible en:https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view

  • Información proporcionada por Sebastián García Saisó, Director General de Calidad y Educación en Salud, a través de la Unidad de Transparencia de la Secretaría de Salud, con fundamento en la Ley Federal de Transparencia y Acceso a la Información Pública, en respuesta a la solicitud No. 0001200055817 [2017 Marzo 06]. Disponible en: https://drive.google.com/file/d/0B4Qe4F_sYmX0bHM0dHlpWFBObnM/view

Fechas de Publicación

  • Publicación en esta colección
    Sep-Oct 2017
Instituto Nacional de Salud Pública Cuernavaca - Morelos - Mexico
E-mail: spm@insp3.insp.mx