Desempeño de las escuelas de medicina en México: resultados del Examen Nacional para Aspirantes a Residencias Médicas

Performance of medical schools in Mexico: Results from the Examen Nacional para Aspirantes a Residencias Médicas

Aldo Barajas-Ochoa César Ramos-Remus Stephanie Ramos-Gómez Zalathiel Barajas-Ochoa Jorge Manuel Sánchez-González Mauricio Hernández-Ávila José Ángel Córdova-Villalobos Acerca de los autores

Resumen:

Objetivo:

Evaluar el desempeño de las facultades y escuelas de medicina (FEM) utilizando como subrogado los resultados del Examen Nacional para Aspirantes a Residencias Médicas (ENARM).

Material y métodos:

Se analizaron las bases de datos oficiales del ENARM 2016 y 2017, empleando cinco criterios de desempeño (CD) por cada FEM: dos oficiales y tres creados exprofeso. Resultados. En 2016 y 2017 se registraron sustentantes de 112 y 115 FEM, respectivamente. Dependiendo del CD, la FEM que quedó clasificada en el primer lugar obtuvo entre 5 y 20 puntos más que la del segundo lugar, y entre 23 y 98 puntos más que la FEM ubicada en el último lugar. Aproximadamente 25% de los sustentantes fueron calificados como “deficientes en conocimientos” y aproximadamente 80% de éstos provenían de menos de un tercio de las FEM.

Conclusiones:

El ENARM arroja información sobre el desempeño de las FEM. Aproximadamente uno de cada cuatro sustentantes obtuvo puntajes menores al aprobatorio en cualquier especialidad.

Palabras clave:
facultades de medicina; evaluación educacional; rendimiento académico; especialización; calidad de la atención de salud; México

Abstract:

Objective:

To assess the performance of medical schools (FEM) by analyzing the results of their applicants in the Examen Nacional para Aspirantes a Residencias Médicas (ENARM).

Materials and methods:

Five performance criteria, two official and three created on purpose, were calculated from the ENARM-2016 and -2017 official databases to assess FEM performance.

Results:

In 2016 and 2017, applicants registered from 112 and 115 FEM, respectively. Depending on the performance criteria, the FEM in the first place obtained 5 to 20 points more than the one placed second, and 23 to 98 points more than the FEM in the last place. Approximately 25% applicants were classified as “knowledge-deficient,” and about 80% of these originated from less than one third of the FEM.

Conclusion:

The ENARM results provide information on the performance of the FEM. Approximately one of every four applicants obtained scores lower than the approval threshold of any specialty.

Keywords:
schools, medical; educational measurement; academic performance; specialization; quality of health care; Mexico

Proveer a la población de atención médica de calidad es un proceso complejo y multifacético que involucra a distintos protagonistas como, por ejemplo, médicos competentes. La competencia de un médico se ha definido como el uso habitual y juicioso, en la práctica diaria, de habilidades de comunicación, conocimiento, habilidades técnicas, juicio clínico, emociones, valores y reflexiones, con el fin de beneficiar a la comunidad a la que se sirve.11. Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287:226-35. https://doi.org/10.1001/jama.287.2.226
https://doi.org/10.1001/jama.287.2.226...
El conocimiento es esencial para la labor del médico. El nivel de conocimiento de un médico general (MG) recién graduado depende de muchos factores; sin embargo, el individuo y su facultad o escuela de medicina (FEM), como protagonistas, comparten la mayoría de la responsabilidad. La motivación y el esfuerzo del estudiante de medicina, así como la calidad de la educación médica provista por la FEM, determinan en mayor medida la competencia del MG recién graduado, para brindar atención médica. De hecho, la principal responsabilidad de las FEM es producir médicos competentes que sirvan a las necesidades de la comunidad;22. Stegers-Jager KM. Lessons learned from 15 years of non-grades-based selection for medical school. Med Educ. 2018;52:86-95. https://doi.org/10.1111/medu.13462
https://doi.org/10.1111/medu.13462...
a estos médicos se les confieren los documentos necesarios para obtener el título profesional que avala su competencia.

En México no existe una evaluación obligatoria para determinar el desempeño de las FEM en el adiestramiento de sus alumnos. Sin embargo, existe una evaluación para medir conocimientos, la cual, si bien es voluntaria, es presentada por la mayoría de los médicos pasantes y los MG recién graduados que desean realizar una especialidad médica. El Examen Nacional para Aspirantes a Residencias Médicas (ENARM) es una prueba basada en la norma (norm-referenced test, en inglés); se emplea para seleccionar a aquellos médicos generales interesados en realizar estudios de especialización médica.33. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Examen Nacional para Aspirantes a Residencias Médicas [sitio en internet]. Ciudad de México: CIFRHS, 2018 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/
http://cifrhs.salud.gob.mx/...
El ENARM ha tenido más de 35 000 sustentantes por año en periodos recientes, con una tasa de aceptación aproximada de 22%. El Comité de Posgrado y Educación Continua (CPEC) y la Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud (CIFRHS), que son los organismos encargados de producir el examen, definen el ENARM como un “instrumento objetivo y válido de medición de conocimientos en medicina general”.44. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XL Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_convo_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,55. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XLI Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_convo_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
Por tal motivo, los resultados del examen podrían utilizarse como indicadores del desempeño de las FEM en el adiestramiento de MG que tienen un nivel de conocimientos adecuado.

Cada año, la CIFRHS publica el reporte académico del ENARM,66. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Reportes académicos ENARM [sitio en internet]. Ciudad de México: CIFRHS , 2018 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
http://cifrhs.salud.gob.mx/site1/enarm/r...
el cual contiene información limitada para evaluar el desempeño de las FEM, ya que comprende sólo el número de sustentantes, el puntaje promedio y la proporción de sustentantes aceptados. A pesar de lo anterior, algunos investigadores y otros medios han utilizado este reporte para comparar las FEM77. Acosta-Arreguin E, Cortes-Gutiérrez MA, Font-López KC, Moran-Álvarez C, Cravioto A. Desempeño en el examen nacional de ingreso a residencias médicas. Facultad de Medicina, UNAM. Rev Fac Med UNAM. 2004;47(6):231-7.,88. Romero-Valle S, González-Pérez GJ. Desempeño de los egresados de medicina en el Examen Nacional de Residencias Médicas: un estudio en la Universidad de Guadalajara. Guadalajara: Universidad de Guadalajara, 2007.,99. Ramiro M, Cruz JE, Zerón-Gutiérrez L, Arévalo-Vargas A. El ENARM y las escuelas y facultades de medicina. Un análisis que no le va a gustar a nadie. Rev Med Inst Mex Seguro Soc. 2017;55(4):498-511.,1010. Díaz-Maldonado I. De acuerdo al ENARM, éstas son las mejores escuelas de medicina [página de internet]. Saludiario, 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://saludiario.com/de-acuerdo-al-enarm-estas-son-las-mejores-escuelas-de-medicina/
http://saludiario.com/de-acuerdo-al-enar...
sin tomar en cuenta las limitaciones de las variables notificadas (p. ej., influencia del número total de sustentantes por FEM y/o de la competitividad de las especialidades que eligen los sustentantes), por lo que dichas comparaciones podrían resultar falaces.

El objetivo del presente estudio fue evaluar el desempeño de las FEM en la formación de sus MG, utilizando como subrogado los resultados del ENARM de 2016 y 2017.

Material y métodos

El presente estudio consiste en un análisis post hoc de las bases de datos oficiales correspondientes a los resultados del ENARM de los años 2016 y 2017; así, se analizó a todos los sustentantes de ambos exámenes. El estudio se realizó en Guadalajara, México, de febrero a mayo de 2018.

Origen de los datos

Las bases de datos oficiales de los ENARM 2016 y 2017 fueron proporcionadas por la Dirección General de Calidad y Educación en Salud (DGCES) a través de la Plataforma Nacional de Transparencia, de acuerdo con la Ley General de Transparencia y Acceso a la Información Pública. Las bases de datos contenían las siguientes variables: edad, sexo, nacionalidad (mexicano, no mexicano), FEM, especialidad elegida (las 27 mismas especialidades para elegir en 2016 y 2017) y el “puntaje total” (0 a 100) del examen. Las bases de datos no incluían información que permitiera identificar a algún sustentante en particular.

Definición de los criterios de desempeño

Las bases de datos ENARM 2016 y ENARM 2017 fueron analizadas por separado, siguiendo la misma metodología. Se utilizaron cinco “criterios de desempeño” (CD) para evaluar a cada FEM en cuanto a la formación de médicos generales, quienes, al haber recibido el aval de su FEM para obtener el título correspondiente, debían tener un nivel de conocimientos adecuado. Los primeros dos CD son acordes a la práctica de la CIFRHS para notificar resultados del ENARM. El CD “A” fue definido como el “promedio del puntaje de los sustentantes de la FEM”, y se calculó de las bases de datos oficiales. El CD “B” se definió como la “proporción de sustentantes de la FEM que fueron aceptados en la especialidad de su elección” y se obtuvo de los reportes de la CIFRHS.1111. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: reporte académico. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
http://www.cifrhs.salud.gob.mx/site1/ena...
,1212. Comisión Interinstitucional para la Formación de Recursos Humanos para la SaludXLI Examen Nacional para Aspirantes a Residencias Médicas: reporte académico. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/E41_Instruc_Reg_Aplic_2017.pdf
http://www.cifrhs.salud.gob.mx/site1/ena...
No fue posible obtener el CD “B” para los sustentantes con “estudios en el extranjero”.

Con la finalidad de analizar el constructo “desempeño” desde una perspectiva más amplia, se crearon tres CD adicionales. El CD “C” evalúa si el sustentante obtuvo un puntaje igual o mayor al puntaje mínimo aprobatorio de la especialidad con el menor puntaje mínimo aprobatorio. Consecuentemente, el CD “C” se definió como el “número y proporción de sustentantes por FEM que obtuvieron un puntaje igual o mayor al puntaje mínimo aprobatorio de la especialidad con el menor puntaje mínimo aprobatorio”. El puntaje mínimo de las especialidades se obtuvo de la CIFRHS.1313. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_puntajes_max_min_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,1414. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_puntajes_max_min_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
El CD “C” también permitió evaluar el número y la proporción de “médicos generales deficientes en conocimientos” producidos por cada FEM. El ENARM es considerado un “instrumento objetivo y válido de medición de conocimientos en medicina general”;44. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XL Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_convo_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,55. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XLI Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_convo_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
entonces, ya que el CD “C” representa el nivel de conocimientos mínimo necesario para ser aceptado en la especialidad menos competitiva (en ambos años, medicina familiar, que, además de ser la especialidad con el puntaje mínimo aprobatorio más bajo, también es aquella que en la práctica clínica se asemeja más a la formación de MG), un sustentante que no obtiene un puntaje igual o mayor que este CD “C” puede ser considerado como un “médico general deficiente en conocimientos”.

El CD “D” evalúa el puntaje del sustentante respecto al promedio general del examen, de acuerdo con el promedio calculado de las bases de datos oficiales. Consecuentemente, el CD “D” fue definido como la “proporción de sustentantes por FEM con un puntaje igual o mayor al promedio general del examen”.

Finalmente, el CD “E” evalúa el puntaje del sustentante respecto al promedio ponderado de los puntajes mínimos aprobatorios de todas las especialidades; la ponderación de cada puntaje mínimo aprobatorio se realizó de acuerdo con el número de plazas oficiales disponibles por especialidad. Los promedios ponderados se calcularon con datos de la CIFRHS. 1313. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_puntajes_max_min_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,1414. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_puntajes_max_min_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,1515. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: plazas para médicos seleccionados. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_plazas_mex_lugares_ext_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,1616. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas: plazas para médicos seleccionados. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_plazas_mex_lugares_ext_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
En consecuencia, el CD “E” fue definido como la “proporción de sustentantes por FEM que alcanzaron un puntaje igual o mayor al promedio ponderado de los puntajes mínimos aprobatorios de todas las especialidades”.

Análisis estadístico

Se calcularon las estadísticas descriptivas de acuerdo con el tipo de variable. Se realizaron análisis de regresión lineal univariada y multivariada para evaluar las diferencias en el número de respuestas correctas obtenidas de sustentantes de FEM públicas y privadas. El número de respuestas correctas se obtuvo al multiplicar el puntaje del sustentante por 4.5 para transformarlo de una escala de 0-100 a otra de 0-450 (el número total de reactivos en el examen es 450). El estatus “público/privado” de las FEM se obtuvo de sus respectivos sitios web y otras fuentes. Las covariables incluidas en el análisis multivariado fueron edad (continua, incrementos de un año), sexo, especialidad elegida (27 especialidades disponibles), día del examen (1 a 5, en ambos años), y nacionalidad (mexicano, extranjero). Se consideró a todos los sustentantes de FEM extranjeras (“estudios en el extranjero”) como provenientes de una misma FEM.

Debido al tamaño de la población, se asumió que se obtendrían valores p con significancia estadística aun con mínimas diferencias; sin embargo, el coeficiente de regresión es por sí mismo una medida apropiada del tamaño del efecto, ya que representa la diferencia en el número de reactivos respondidos de forma correcta. Se utilizaron los programas Stata (versión 12) y SPSS (versión 24) para el manejo de datos.

El comité de ética de la Unidad de Investigación en Enfermedades Crónico-Degenerativas revisó y aprobó el protocolo de investigación, sin que hubiera alguna consideración ética de su parte; la información pública empleada no permite identificar a ningún sujeto o institución que pueda verse afectado con los resultados.

Resultados

Desempeño global de los sustentantes

El cuadro I muestra las características demográficas de los sustentantes de los ENARM 2016 y 2017. En el ENARM 2016 participaron 36 114 sustentantes, provenientes de 112 FEM. El valor del CD “C” fue 56.66 (medicina familiar) y fue alcanzado por 25 109 (69.52%) sustentantes. El valor del CD “D” fue 61.2 y fue obtenido por 18 240 (50.5%) sustentantes. El valor del CD “E” fue 66.56 y fue alcanzado por 10 288 (28.48%) sustentantes. Por otro lado, en el ENARM 2017 participaron 38 380 sustentantes de 115 FEM. El valor del CD “C” fue 55.77 (medicina familiar) y fue conseguido por 29 436 (76.69%) sustentantes. El valor del CD “D” fue 62.63 y fue alcanzado por 19 516 (50.84%) sustentantes. El valor del CD “E” fue 68.09 y fue obtenido por 11 293 (29.42%) sustentantes.

cuadro I
Características demográficas de los sustentantes de los ENARM 2016 y 2017, México

Desempeño de las FEM

El cuadro II muestra los resultados de las tres FEM con mejor desempeño, las dos FEM localizadas en la mediana de desempeño o muy cerca de esta (posiciones 55 y 56), y las dos FEM con el desempeño más bajo, de acuerdo con cada uno de los CD (información completa disponible por petición). Para ambos años, las diferencias entre el primero y el segundo lugar de las FEM con mejor desempeño fueron amplias. La figura 1 muestra la distribución del puntaje total de los sustentantes por FEM y los puntos de corte de los CD “C”, “D” y “E” en ambos ENARM.

Cuadro II
Valores obtenidos en los criterios de desempeño por las facultades y escuelas de medicina en posiciones específicas dentro de los ENARM 2016 y 2017, México
Figura 1
Distribución de los puntajes de las facultades y escuelas de medicina en los ENARM 2016 y 2017, México

En el ENARM 2016, el número de “médicos generales deficientes en conocimientos” fue de 11 005. Treinta y seis de las 112 FEM generaron 80.2% (8 823) de éstos. Para 2017, 36 de las 115 FEM generaron 78.6% (7 035) de los 8 944 “médicos generales deficientes en conocimientos”. La FEM con más “médicos generales deficientes en conocimientos” tuvo 926 (8.41% del total anual) en 2016 y 635 (7.32% del total anual) en 2017.

Los cuadros III y IV muestran los datos descriptivos y los resultados en los cinco CD de las 15 FEM que tuvieron un mayor número de “médicos generales deficientes en conocimientos” en los ENARM 2016 y 2017 (el “número de FEM” es distinto para cada año) (información completa disponible por petición).

Cuadro III
Datos descriptivos y resultados en los criterios de desempeño de las 15 facultades y escuelas de medicina que produjeron el mayor número de médicos generales deficientes en conocimientos dentro del ENARM 2016, México
Cuadro IV
Datos descriptivos y resultados en los criterios de desempeño de las 15 facultades y escuelas de medicina que produjeron el mayor número de médicos generales deficientes en conocimientos dentro del ENARM 2017, México

En 2016, de los 34 913 sustentantes que estudiaron medicina en México, 9 057 (25.9%) provenían de FEM privadas; en 2017, 26.5% (9 819) de los 36 986 sustentantes que estudiaron medicina en el país provenían igualmente de FEM privadas. En los análisis de regresión lineal univariada y multivariada, los sustentantes de FEM públicas obtuvieron puntajes significativamente más altos que los de FEM privadas, con una ventaja de 7.22 (IC95% 6.36-8.07) y 7.36 (IC95% 6.5-8.21) respuestas correctas en el análisis multivariado, para 2016 y 2017, respectivamente (información no mostrada, disponible por petición).

Discusión

Los MG y los especialistas en medicina familiar comprenden la mayoría de los médicos que proporcionan atención primaria en México, ya que atienden aproximadamente 80% de las necesidades de salud de la población.1717. Hamui-Sutton L, Halabe-Cherem J. La “academización” del primer nivel de atención. Gac Med Mex. 2016;152:5-6. La principal responsabilidad de una FEM es producir MG competentes que puedan servir a las necesidades de la comunidad.22. Stegers-Jager KM. Lessons learned from 15 years of non-grades-based selection for medical school. Med Educ. 2018;52:86-95. https://doi.org/10.1111/medu.13462
https://doi.org/10.1111/medu.13462...
En el hecho de otorgar la documentación para la titulación está implícito el aval de sus conocimientos. Sería entonces trascendente conocer el desempeño de las FEM en al menos alguno de sus constructos como, por ejemplo, el nivel de conocimientos de sus egresados. Sin embargo, en México no existe ley alguna o norma que obligue a las FEM a ser evaluadas.

En este estudio se evaluó el nivel de conocimientos de los egresados de las FEM utilizando como subrogado los resultados de todos los sustentantes de los ENARM 2016 y 2017. Lo anterior se fundamentó en dos premisas: la primera es que los sustentantes del ENARM son representativos de sus FEM de origen, ya que la mayoría de los MG recién graduados (o médicos pasantes a punto de graduarse) del país intentan realizar una especialidad médica.99. Ramiro M, Cruz JE, Zerón-Gutiérrez L, Arévalo-Vargas A. El ENARM y las escuelas y facultades de medicina. Un análisis que no le va a gustar a nadie. Rev Med Inst Mex Seguro Soc. 2017;55(4):498-511.,1818. Graue-Wiechers E. Educación médica y los sistemas de salud. Gac Med Mex. 2011;147:517-25.La segunda es que, si bien el objetivo del ENARM es seleccionar a los médicos que entrarán a cursos de especialización -aunque no mida la “competencia” del sustentante y utilice estándares basados en la norma en lugar de estándares basados en un criterio-,1919. Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30:836-45. https://doi.org/10.1080/01421590802402247
https://doi.org/10.1080/0142159080240224...
,2020. Cizek GJ, Earnest DS. Setting performance standards on tests. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge, 2016:212-37. el examen sí es un instrumento oficial que evalúa conocimientos en medicina general.

No existen criterios validados de desempeño para las FEM que pudieran aplicarse en el análisis post hoc de las bases de datos pertenecientes al ENARM. Los CD “A” y “B” son los que ha utilizado la CIFRHS para notificar los resultados del ENARM; estas mediciones son limitadas para la evaluación de cada FEM, ya que los valores están dados por los extremos y por el número de aspirantes, que es asimétrico entre las diferentes facultades y escuelas. A tal efecto, se crearon a priori otros tres CD, con el fin de dar una perspectiva más amplia y útil del desempeño de cada una de las FEM. Dadas las definiciones, el CD “C” brinda información también sobre el número de aspirantes “deficientes en conocimientos”, ya que su puntaje fue menor al mínimo de medicina familiar, y los CD “D” y “E” son expresados en proporciones con la finalidad de disminuir el efecto de las amplias diferencias en el número de sustentantes entre las FEM.

Como producto de la presente investigación se obtuvieron tres resultados principales: el primero es que sí existe un desempeño diferencial entre las FEM, independientemente del CD utilizado y en un patrón similar para los dos años estudiados. Ello sugiere que la calidad de las FEM en México, al menos en el constructo de conocimiento, no es homogénea, lo que sugiere la posibilidad de que exista inequidad en la educación médica en México. Ya que las variables disponibles en las bases de datos oficiales de los resultados del ENARM no permiten identificar potenciales determinantes para estas diferencias, son necesarios más estudios con diferentes diseños para corroborar lo anterior. El segundo resultado es que, en general, los sustentantes de las FEM públicas obtuvieron puntajes más altos que las privadas. Sin embargo, ello no tuvo un impacto en el orden por desempeño de las FEM. Si bien en este estudio no se contó con otras variables explicativas, es plausible considerar que la presencia de un sesgo de selección sea una de las razones de ese resultado. Esto es, el ingreso a las FEM privadas no es tan competitivo y selectivo como el de las escuelas públicas, por lo que el mayor puntaje pudiera ser asignable a un aspirante de mayor calidad y no a una FEM en particular. El tercer resultado es que 36 de las 112 FEM en el año 2016 y otras 36 de las 115 FEM en el año 2017 produjeron alrededor de 80% de los aspirantes clasificables como “deficientes en conocimientos”, según el CD “C” arriba descrito. Lo anterior debe tomarse en cuenta en el contexto de que estos aspirantes han sido avalados por sus FEM correspondientes. Ello debe de ser estudiado utilizando otro tipo de investigaciones con un diseño específico para tal efecto, ya que, de corroborarse, tendría múltiples implicaciones. La atención médica de baja calidad es una causa importante de morbilidad y mortalidad. En México, la mortalidad debido a la atención médica de baja calidad se ha estimado entre 53 y 74 muertes por 100 000 personas.2121. Kruk ME, Gage AD, Joseph NT, Danaei G, García-Saisó S, Salomon JA. Mortality due to low-quality health systems in the universal health coverage era: A systematic analysis of amenable deaths in 137 countries. Lancet. 2018;392:2203-12. https://doi.org/10.1016/S0140-6736(18)31668-4
https://doi.org/10.1016/S0140-6736(18)31...

A pesar de lo anterior, en México no existe un proceso sistemático y obligatorio para evaluar el desempeño de las FEM en el adiestramiento de los MG. Las dos vías más comunes para demostrar a la población que un médico posee las credenciales necesarias para brindar atención médica resolutiva y de calidad son la licencia (obligatoria) y la certificación (voluntaria).2222. Raymond MR. Job analysis, practice analysis and the content of credentialing examinations. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge , 2016:144-64. Para obtener una licencia (cédula profesional federal y cédula estatal), el MG proporciona pruebas de haber concluido su educación médica (título profesional) a los organismos gubernamentales. Sin embargo, debido a modificaciones en la ley, el número de FEM activas en México ha incrementado de 115 a 162 desde 2013. Estas modificaciones permiten la apertura de FEM sin la obligación de presentar sus planes académicos o demostrar que brindan educación médica de calidad.2323. Rojas-Dosal JA. Certificación del médico general. Gac Med Mex. 2017;153:651-652. https://doi.org/10.24875/GMM.17003809
https://doi.org/10.24875/GMM.17003809...
,2424. Martínez-Carballo N. Proliferan escuelas de medicina fraudulentas. Entrevista a José Ángel Córdova Villalobos. El Universal ;internet2017 mar 13 [Citado sept 4, 2018]. Disponible en: Disponible en: http://www.eluniversal.com.mx/articulo/nacion/sociedad/2017/06/13/proliferan-escuelas-de-medicina-fraudulentas
http://www.eluniversal.com.mx/articulo/n...
De hecho, sólo 77 FEM (47.5%) del país han solicitado y cumplido los requisitos para ser certificadas ante el Consejo Mexicano para la Acreditación de la Educación Médica, A.C.2525. Consejo Mexicano para la Acreditación de la Educación Médica [sitio en internet]. Ciudad de México: Comaem, 2018 [citado jun 6, 2018]. Disponible en: Disponible en: http://www.comaem.org.mx/
http://www.comaem.org.mx/...
Entonces, ya que la titulación por parte de las FEM es disímil y no está estandarizada, el requisito de concluir la escuela de medicina parecería no ser suficiente para garantizar que se brindará atención en salud de alta calidad. Por otra parte, respecto a la certificación, el Consejo Nacional de Certificación en Medicina General (Conamege) es el organismo que certifica a los MG que de forma voluntaria cumplen los requerimientos establecidos por dicho consejo.2222. Raymond MR. Job analysis, practice analysis and the content of credentialing examinations. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge , 2016:144-64.,2323. Rojas-Dosal JA. Certificación del médico general. Gac Med Mex. 2017;153:651-652. https://doi.org/10.24875/GMM.17003809
https://doi.org/10.24875/GMM.17003809...
Sin embargo, el Conamege estima que sólo 30% (30 095) de los MG de México están certificados.2323. Rojas-Dosal JA. Certificación del médico general. Gac Med Mex. 2017;153:651-652. https://doi.org/10.24875/GMM.17003809
https://doi.org/10.24875/GMM.17003809...
Lo anterior sugiere la pertinencia para desarrollar nuevas estrategias que evalúen los múltiples constructos de desempeño de las FEM, incluyendo aquellas de reciente creación.

Las fortalezas de este estudio incluyen el uso de las bases de datos oficiales correspondientes a los resultados de los ENARM 2016 y 2017. Sin embargo, existen limitaciones que deben considerarse. Primero, los CD que se utilizaron fueron creados exprofeso, con base en la norma y no en un criterio; 1919. Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30:836-45. https://doi.org/10.1080/01421590802402247
https://doi.org/10.1080/0142159080240224...
,2020. Cizek GJ, Earnest DS. Setting performance standards on tests. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge, 2016:212-37.esto es, no son CD validados, por lo que los resultados que se derivan de ellos se limitan a su propia definición y no pueden conformarse en un índice global de desempeño. Segundo, aunque el análisis incluye a todos los MG que compitieron por una plaza de especialidad, no existe forma de conocer el número de candidatos potenciales que no se registraron para realizar el ENARM. Tercero, se desconoce el tiempo transcurrido a partir de la graduación de los sustentantes (información no proporcionada por la DGCES). Es decir, los resultados de una FEM podrían arrojar información no solamente de sus sustentantes recién graduados y de aquéllos a punto de hacerlo, sino de los que se graduaron hace años. Ello puede ser relevante, ya que la FEM desempeña un papel importante en el nivel de conocimientos de un MG recién graduado, pero no necesariamente de un médico que se graduó hace años. Sin embargo, incluso en dicha situación, estos resultados pueden reflejar una parte del desempeño de la FEM, puesto que promover una cultura de actualización continua en sus estudiantes es otra de sus tareas relevantes.2626. Berkhout JJ, Helmich E, Teunissen PW, Van der Vleuten CPM, Jaarsma ADC. Context matters when striving to promote active and lifelong leaning in medical education. Med Educ. 2018;52:34-44. https://doi.org/10.1111/medu.13463
https://doi.org/10.1111/medu.13463...
Cuarto, no se contó con otras variables que podrían haber modificado los resultados en el ENARM, como el número de ocasiones en que un sustentante ha presentado el examen (información no disponible según la DGCES) o la participación en un curso de preparación para el examen. Quinto, el presente grupo de investigación ha notificado que el día en que se sustenta el examen (en todo el país se utiliza una versión del examen exclusiva para cada día) tiene un efecto significativo sobre el puntaje final del sustentante.2727. Barajas-Ochoa A, Ramos-Remus C. Equidad, validez y confiabilidad del Examen Nacional para Aspirantes a Residencias Médicas (ENARM): oportunidades para mejorar. Salud Publica Mex. 2017;59:501-2. https://doi.org/10.21149/8769
https://doi.org/10.21149/8769...
,2828. Barajas-Ochoa A, Ramos-Remus C, Castillo-Ortiz JD, Yañez J, Barajas-Ochoa Z, Sánchez-González JM, et al. Flaws in the design of the Examen Nacional para Aspirantes a Residencias Médicas (ENARM) produce inequity. Salud Publica Mex . 2019;61:125-35. https://doi.org/10.21149/9790
https://doi.org/10.21149/9790...
No es posible saber si el presente estudio subestima o sobrestima el desempeño de las FEM debido a lo anterior; sin embargo, el margen de error esperado para estos resultados es de ±2.5 puntos. Sexto, si bien tienen un patrón similar entre el ENARM de 2016 y el de 2017, los resultados no pueden generalizarse a otros años. De hecho, hubo un cambio significativo para el ENARM 2018 en el sentido de que todos los sustentantes de una misma especialidad realizaron el examen en un día específico. Un análisis similar al que aquí se presenta ajustado para los resultados del ENARM 2018 pudiera ser más preciso.

En conclusión, la calidad en la educación médica proporcionada por las FEM tiene un impacto inconmensurable y multidimensional en el sistema de salud de México. El ENARM, al ser definido como un “instrumento objetivo y válido de medición de conocimientos en medicina general”,44. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XL Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_convo_2016.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
,55. Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XLI Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_convo_2017.pdf
http://cifrhs.salud.gob.mx/site1/enarm/d...
puede utilizarse como indicador del desempeño de las FEM en el adiestramiento de sus MG. Los resultados del presente estudio sugieren que el desempeño de las FEM en México es diferencial, lo que pudiera indicar inequidad en la calidad de la enseñanza en medicina. Además, es posible que algunas FEM estén avalando a sus egresados a pesar de que éstos tengan deficiencias importantes en conocimiento.

Referencias

  • 1
    Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287:226-35. https://doi.org/10.1001/jama.287.2.226
    » https://doi.org/10.1001/jama.287.2.226
  • 2
    Stegers-Jager KM. Lessons learned from 15 years of non-grades-based selection for medical school. Med Educ. 2018;52:86-95. https://doi.org/10.1111/medu.13462
    » https://doi.org/10.1111/medu.13462
  • 3
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Examen Nacional para Aspirantes a Residencias Médicas [sitio en internet]. Ciudad de México: CIFRHS, 2018 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/
    » http://cifrhs.salud.gob.mx/
  • 4
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XL Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_convo_2016.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_convo_2016.pdf
  • 5
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Convocatoria XLI Examen Nacional para Aspirantes a Residencias Médicas. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_convo_2017.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_convo_2017.pdf
  • 6
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. Reportes académicos ENARM [sitio en internet]. Ciudad de México: CIFRHS , 2018 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
    » http://cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
  • 7
    Acosta-Arreguin E, Cortes-Gutiérrez MA, Font-López KC, Moran-Álvarez C, Cravioto A. Desempeño en el examen nacional de ingreso a residencias médicas. Facultad de Medicina, UNAM. Rev Fac Med UNAM. 2004;47(6):231-7.
  • 8
    Romero-Valle S, González-Pérez GJ. Desempeño de los egresados de medicina en el Examen Nacional de Residencias Médicas: un estudio en la Universidad de Guadalajara. Guadalajara: Universidad de Guadalajara, 2007.
  • 9
    Ramiro M, Cruz JE, Zerón-Gutiérrez L, Arévalo-Vargas A. El ENARM y las escuelas y facultades de medicina. Un análisis que no le va a gustar a nadie. Rev Med Inst Mex Seguro Soc. 2017;55(4):498-511.
  • 10
    Díaz-Maldonado I. De acuerdo al ENARM, éstas son las mejores escuelas de medicina [página de internet]. Saludiario, 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://saludiario.com/de-acuerdo-al-enarm-estas-son-las-mejores-escuelas-de-medicina/
    » http://saludiario.com/de-acuerdo-al-enarm-estas-son-las-mejores-escuelas-de-medicina/
  • 11
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: reporte académico. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
    » http://www.cifrhs.salud.gob.mx/site1/enarm/reportes_academicos.html
  • 12
    Comisión Interinstitucional para la Formación de Recursos Humanos para la SaludXLI Examen Nacional para Aspirantes a Residencias Médicas: reporte académico. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://www.cifrhs.salud.gob.mx/site1/enarm/E41_Instruc_Reg_Aplic_2017.pdf
    » http://www.cifrhs.salud.gob.mx/site1/enarm/E41_Instruc_Reg_Aplic_2017.pdf
  • 13
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_puntajes_max_min_2016.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_puntajes_max_min_2016.pdf
  • 14
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas: puntajes máximos y mínimos por especialidad. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_puntajes_max_min_2017.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_puntajes_max_min_2017.pdf
  • 15
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XL Examen Nacional para Aspirantes a Residencias Médicas: plazas para médicos seleccionados. Ciudad de México: CIFRHS , 2016 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_plazas_mex_lugares_ext_2016.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2016/E40_plazas_mex_lugares_ext_2016.pdf
  • 16.
    Comisión Interinstitucional para la Formación de Recursos Humanos para la Salud. XLI Examen Nacional para Aspirantes a Residencias Médicas: plazas para médicos seleccionados. Ciudad de México: CIFRHS , 2017 [citado sept 4, 2018]. Disponible en: Disponible en: http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_plazas_mex_lugares_ext_2017.pdf
    » http://cifrhs.salud.gob.mx/site1/enarm/docs/2017/E41_plazas_mex_lugares_ext_2017.pdf
  • 17
    Hamui-Sutton L, Halabe-Cherem J. La “academización” del primer nivel de atención. Gac Med Mex. 2016;152:5-6.
  • 18
    Graue-Wiechers E. Educación médica y los sistemas de salud. Gac Med Mex. 2011;147:517-25.
  • 19
    Bandaranayake RC. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008;30:836-45. https://doi.org/10.1080/01421590802402247
    » https://doi.org/10.1080/01421590802402247
  • 20.
    Cizek GJ, Earnest DS. Setting performance standards on tests. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge, 2016:212-37.
  • 21
    Kruk ME, Gage AD, Joseph NT, Danaei G, García-Saisó S, Salomon JA. Mortality due to low-quality health systems in the universal health coverage era: A systematic analysis of amenable deaths in 137 countries. Lancet. 2018;392:2203-12. https://doi.org/10.1016/S0140-6736(18)31668-4
    » https://doi.org/10.1016/S0140-6736(18)31668-4
  • 22
    Raymond MR. Job analysis, practice analysis and the content of credentialing examinations. En: Lane S, Raymond MR, Haladyna TM (comps). Handbook of test development. 2 ed. Nueva York: Routledge , 2016:144-64.
  • 23
    Rojas-Dosal JA. Certificación del médico general. Gac Med Mex. 2017;153:651-652. https://doi.org/10.24875/GMM.17003809
    » https://doi.org/10.24875/GMM.17003809
  • 24
    Martínez-Carballo N. Proliferan escuelas de medicina fraudulentas. Entrevista a José Ángel Córdova Villalobos. El Universal ;internet2017 mar 13 [Citado sept 4, 2018]. Disponible en: Disponible en: http://www.eluniversal.com.mx/articulo/nacion/sociedad/2017/06/13/proliferan-escuelas-de-medicina-fraudulentas
    » http://www.eluniversal.com.mx/articulo/nacion/sociedad/2017/06/13/proliferan-escuelas-de-medicina-fraudulentas
  • 25
    Consejo Mexicano para la Acreditación de la Educación Médica [sitio en internet]. Ciudad de México: Comaem, 2018 [citado jun 6, 2018]. Disponible en: Disponible en: http://www.comaem.org.mx/
    » http://www.comaem.org.mx/
  • 26
    Berkhout JJ, Helmich E, Teunissen PW, Van der Vleuten CPM, Jaarsma ADC. Context matters when striving to promote active and lifelong leaning in medical education. Med Educ. 2018;52:34-44. https://doi.org/10.1111/medu.13463
    » https://doi.org/10.1111/medu.13463
  • 27
    Barajas-Ochoa A, Ramos-Remus C. Equidad, validez y confiabilidad del Examen Nacional para Aspirantes a Residencias Médicas (ENARM): oportunidades para mejorar. Salud Publica Mex. 2017;59:501-2. https://doi.org/10.21149/8769
    » https://doi.org/10.21149/8769
  • 28
    Barajas-Ochoa A, Ramos-Remus C, Castillo-Ortiz JD, Yañez J, Barajas-Ochoa Z, Sánchez-González JM, et al. Flaws in the design of the Examen Nacional para Aspirantes a Residencias Médicas (ENARM) produce inequity. Salud Publica Mex . 2019;61:125-35. https://doi.org/10.21149/9790
    » https://doi.org/10.21149/9790

Fechas de Publicación

  • Publicación en esta colección
    22 Abr 2020
  • Fecha del número
    Jul-Aug 2019

Histórico

  • Recibido
    20 Set 2018
  • Acepto
    06 Mar 2019
Instituto Nacional de Salud Pública Cuernavaca - Morelos - Mexico
E-mail: spm@insp3.insp.mx