Knowledge of epidemiological risk indicators used in clinical trials among medical students in advanced years and medical residents

Alonso Zea-Vera^1,a, Carola Liendo-Caro^1,a, Lucía Luna-Carrillo^1,a, Yolanda Prevost-Ruiz^1,b, Ana Castañeda-Guarderas^1,2,a, Germán Málaga^1,2,c

1 Facultad de Medicina Alberto Hurtado, Universidad Peruana Cayetano Heredia. Lima, Perú.

2 CONEVID. Unidad de Conocimiento y Evidencia, Universidad Peruana Cayetano Heredia. Lima, Perú.

a Médico cirujano; b médico neonatólogo magíster en epidemiología; c médico internista magíster en Medicina

* Este estudio fue presentado como tesis para obtener el título profesional de médico cirujano en la Facultad de Medicina Alberto Hurtado de la Universidad Peruana Cayetano Heredia en 2012.

RESUMEN

Estudio que evaluó el conocimiento de 182 estudiantes de los dos últimos años de medicina y 70 residentes de un hospital nacional de Perú, sobre los indicadores de riesgo utilizados en la presentación de resultados en ensayos clínicos. Se realizó un estudio transversal en el que se aplicó un cuestionario que evaluó la capacidad de reconocer y calcular los indicadores de riesgo epidemiológico más utilizados en la literatura médica. El 19,4% no reconoció ninguno de los indicadores y el 81,4% no logró calcularlos. La reducción de riesgo relativo fue el indicador más reconocido (55,2%), seguida del número necesario a tratar (51,6%); reducción de riesgo absoluto (26,6%), y hazard ratio (9,5%). En conclusión, los alumnos de los dos últimos años de medicina y los residentes, no reconocen ni calculan adecuadamente los indicadores de riesgo utilizados en ensayos clínicos.

ABSTRACT

A cross-sectional study evaluated 182 students in the last two years of medical school and 70 residents of a national hospital in Peru on the risk indicators used for reporting results in clinical trials. A questionnaire was used to assess the ability to recognize and calculate risk indicators most widely used in the epidemiological literature. From the participants, 19.4% did not recognize any of the indicators and 81.4% was not able to calculate them. The relative risk reduction was the most recognized indicator (55.2%), followed by the number needed to treat (51.6%), the absolute risk reduction (26.6%), and the hazard ratio (9.5%). In conclusion, medical students in the last two years of school and medical residents do not recognize or are able to calculate properly the risk indicators used in clinical trials.

Key words: Relative risk; Students, medical; Data interpretation, statistical; Education, medical (source: MesH NLM).

INTRODUCCIÓN

El médico actual debe ser capaz de presentar las opciones terapéuticas al paciente y propiciar la toma de decisiones compartidas (1,2), utilizando para esto el conocimiento derivado de los estudios clínicos, es decir, ejerciendo una medicina basada en evidencias (MBE) (3,4). Esto significa que debe poder interpretar correctamente los resultados de una investigación y presentárselos al paciente de la forma más adecuada, asegurando que este comprenda la información (1).

En la literatura médica se utilizan diversos indicadores para presentar los resultados sobre la efectividad de una intervención terapéutica. Entre los más empleados se encuentran: el riesgo relativo (RR); la reducción de riesgo relativo (RRR); la reducción del riesgo absoluto (RRA); el hazard ratio (HR), y el número necesario a tratar (NNT). Todos estos indicadores representan diferentes formas de expresar un mismo resultado (1, 5).

Diversos estudios muestran que la forma en que se presentan los riesgos influye en la decisión de médicos y pacientes (2, 6-10). Ambos tienden a preferir un medicamento cuando este presenta sus beneficios en forma de RRR (5-7,11). La RRR es percibida como “mayor” al compararla con la RRA o el NNT, lo que se malinterpreta como un “mayor efecto” de dicho medicamento, aun cuando esto no sea cierto (1,5). Llama la atención que los errores derivados de esta interpretación sesgada se presenten en magnitud similar en médicos y pacientes (11).

El fenómeno descrito anteriormente se puede explicar de dos formas: un error de concepto e interpretación, o una decisión voluntaria de no aplicar los conocimientos en la práctica diaria. Algunos estudios orientan a que los sesgos se deben a fallas de concepto (8,12,13); sin embargo, no se ha evaluado esta posibilidad en forma sistemática.

A pesar que son los médicos asistenciales los que suelen decidir el tratamiento de un paciente, es nuestro interés evaluar la población de estudiantes que finalizan su formación médica, y aquellos que se encuentran en formación para ser especialistas, ya que ante la posibilidad de prescribir medicamentos serán más susceptibles de mostrar sesgos por la forma de presentación de resultados de los ensayos clínicos.

EL ESTUDIO

Se realizó un estudio transversal que incluyó a estudiantes de los dos últimos años de medicina y residentes de primer, segundo y tercer año de las especialidades de Pediatría, Medicina, Cirugía General y Ginecología-Obstetricia de un hospital de referencia de Perú.

Se elaboró un instrumento compuesto de tres secciones: en la primera se recogían datos socioepidemiológicos de los participantes (edad, sexo, año de estudios o año de residencia de ser el caso); en la segunda sección se evaluó, a través de cuatro preguntas, la capacidad de reconocer indicadores de riesgo. Cada pregunta mostró un enunciado que presentaba el resultado de un ensayo clínico y se pidió reconocer qué tipo de indicador había sido utilizado. La primera pregunta trató sobre RRR, la segunda sobre RRA, la tercera sobre NNT y la cuarta sobre HR. Todas las respuestas fueron de opción múltiple. Tres de las preguntas se modificaron del estudio de Hux et al. (10). Se introdujo HR en vista que es un indicador epidemiológico muy importante y se usa con frecuencia en la literatura científica. En la tercera sección se evaluó la capacidad de calcular los indicadores de riesgo epidemiológico a través de cuatro preguntas; para ello, en base a los resultados del ensayo clínico PCI CLARITY (14), se solicitó calcular el RR, RRR, RRA y NNT. No se incluyó el HR ya que su cálculo implica operaciones matemáticas más complejas que el de los otros indicadores evaluados. En esta sección se utilizaron preguntas abiertas.

La validación del instrumento se realizó por juicio de expertos (un estadístico, un epidemiólogo y dos médicos con experiencia en ensayos clínicos). Se realizó un estudio piloto que incluyó a 30 exalumnos de la Facultad de Medicina de una universidad particular de Lima, Perú (egresados el 2011), para evaluar la confiabilidad por el método de test-retest (índice kappa: 0,85).

Después de explicar los objetivos de la investigación, se obtuvo el consentimiento oral de todos los participantes. No hubo límite de tiempo para la resolución de las preguntas, y se permitió el uso de calculadoras. Las respuestas debían corresponder con lo calculado por los investigadores. En el caso de encuestados que no contaron con calculadora se consideró correcta la respuesta si las operaciones aritméticas que se debían realizar para calcular el indicador estaban expresada correctamente. Las encuestas fueron anónimas y los datos se trataron con confidencialidad.

Se evaluó el número de respuestas correctas que lograron los participantes en los dos grupos de preguntas (reconocimiento y cálculo). Se determinaron los porcentajes de acierto para cada uno de los ítems seleccionados. La descripción de frecuencias se hizo en función de la variable años de estudio. Se utilizó el programa Excel para elaborar la base de datos y STATA 10 para el análisis de datos.

HALLAZGOS

De un total de 325 estudiantes de pregrado y segunda especialización matriculados en el año 2012 (de los dos últimos años de medicina y residentes de primer a tercer año) se contactó a 286. De estos, 252 (88,1%) completaron la evaluación. Participaron 182 alumnos de pregrado y 70 médicos residentes. Las características de la población se ven en la Tabla 1.

RECONOCIMIENTO Y CÁLCULO DE INDICADORES DE RIESGO EPIDEMIOLÓGICO

El porcentaje de respuesta fue de 86,0% en estudiantes del penúltimo año; 93,6% en los del último año; 78,9% en los residentes de primer año; 96,4% en los residentes de segundo año, y 76,4% en los residentes de tercer año.

El 19,4% (49/252) de los evaluados no fue capaz de reconocer ninguno de los indicadores de riesgo y solo el 1,6% (4/256) reconoció los cuatro. Más del 80%, en cada año de estudio, no reconoció la mitad de los indicadores presentados. La RRR fue el indicador mejor reconocido, con 55,2% de porcentaje de acierto, seguido por el NNT (51,6%), la RRA (26,6%) y el HR (9,5%) (Tabla 2).

El 81,4% (205/252) no fue capaz de calcular ninguno de los cuatro indicadores y solo el 3,2% (8/252) calculó correctamente más de dos. Se vio en todos los grupos evaluados que más del 70% calcularon menos de dos indicadores. Todas las preguntas de cálculo mostraron un bajo porcentaje de acierto, fueron respondidas correctamente por menos de la quinta parte. El indicador mejor calculado fue la RRA con un porcentaje de acierto de 11,9%, seguido por el NNT (8,7%), el RR (7,1%) y RRR (4,4%).

DISCUSIÓN

Al revisar investigaciones publicadas en el área de medicina basada en evidencias, se encontró que, en general, el nivel de estos conocimientos en estudiantes y graduados de medicina es bajo, con porcentajes de acierto entre el 40 y 60% en preguntas relacionadas con indicadores de riesgo (3,15,16). A pesar que estos estudios nos pueden dar una idea del nivel de conocimientos (en temas de MBE) en otras poblaciones, sus resultados no son comparables con los obtenidos en la presente investigación ya que en aquellas se mide el nivel de conocimiento de los conceptos sobre indicadores de riesgo epidemiológico y no su comprensión o aplicación (17).

El porcentaje de aciertos obtenido en la pregunta sobre el reconocimiento de la RRR (55,2%) se encuentra en el rango de los encontrados en la literatura (43- 97%) (3,8,18,19). A diferencia de otros estudios, la pregunta sobre NNT (51,6%) fue respondida mejor que la de RRA (26,6%) (18,19). Esta discrepancia puede deberse a los diferentes niveles de aprendizaje que se evaluaron. Se ha descrito que el concepto de NNT es difícil de entender y es malinterpretado por un gran número de médicos (13); sin embargo, esto no implica que sea difícil de reconocer. Finalmente, el menos reconocido es el HR; indicador que no ha sido evaluado previamente. En la actualidad este indicador es uno de los más utilizados en la presentación de resultados sobre análisis de sobrevida. El bajo nivel de reconocimiento se debería a la falta de enseñanza en el pregrado.

La capacidad de calcular correctamente los indicadores seleccionados es baja. Ninguno de los indicadores mostró un porcentaje de acierto notablemente superior al resto. El único dato que se tiene en otras poblaciones se refiere a la capacidad de cálculo del NNT en un estudio llevado a cabo en Irán, donde el 60% de los evaluados contestó correctamente (4). Si consideramos que el cálculo de los indicadores de nuestra encuesta implicó operaciones aritméticas simples y se permitió el uso de calculadoras, la causa más probable habría sido el desconocimiento de las fórmulas y conceptos.

Los porcentajes de respuesta correcta en la sección de reconocimiento son muy similares entre los grupos evaluados. En las preguntas de cálculo, a pesar que el porcentaje de aciertos es bajo en todos los grupos, los alumnos de postgrado logran un porcentaje mayor que los alumnos de pregrado, en particular los residentes de tercer año. Esto contrasta con otras investigaciones en las que se ha visto que los participantes más cercanos a los años de preclínica tienen mejor conocimiento de MBE (3,8). Sin embargo, debemos tener en cuenta que el número de residentes es mucho menor que el grupo de alumnos de Medicina y que la residencia es un programa académico y estructurado.

Los hallazgos apoyan la hipótesis de que el sesgo que se presenta en los médicos, favoreciendo los medicamentos que reportan sus beneficios en forma de RRR, podría deberse al conocimiento deficiente en los indicadores de riesgo epidemiológico. Todo esto lleva a una interpretación inadecuada de los resultados de estudios publicados y, por tanto, a una práctica clínica que puede caer en diversos errores, impulsados más por el marketing que por la aplicación de la mejor evidencia (4,9). Si bien los médicos involucrados en estudios clínicos suelen conocer mejor estos temas (4), el médico de labor asistencial también debería ser capaz de manejarlos.

La presente investigación presenta limitaciones. En primer lugar, al haberse realizado en un único hospital, los resultados no son extrapolables a otros contextos. En segundo lugar, la ejecución de la prueba puede haberse afectado por el escaso tiempo disponible con el que cuenta la población estudiada. Por último, las preguntas del cuestionario no están estandarizadas, por lo que estos resultados pueden variar en distintas situaciones. A pesar de estas limitaciones, el estudio es importante por la gran cantidad de personas evaluadas, y el alto porcentaje de participación (superior al 80%), lo cual podría servir como una medición inicial del nivel de conocimientos en esta área.

En conclusión, los alumnos de últimos años de Medicina y residentes no reconocen ni calculan adecuadamente los indicadores de riesgo utilizados en la presentación de resultados en ensayos clínicos. Se recomienda incluir temas sobre interpretación de indicadores de riesgo epidemiológico en la capacitación de alumnos de los últimos años de Medicina y residentes.

Contribuciones de autoría

Todos los autores participaron en la concepción de la investigación. AGZV, CSLC, LLC, YPR y GMR se encargaron del diseño y AGZV, CSLC, LLC y ACG de la recolección de datos. Todos los autores participaron en el análisis e interpretación de datos, revisaron en forma crítica versiones preliminares del manuscrito y aprobaron la versión final del trabajo.

Autofinanciado.

Conflictos de interés

Los autores declaran no tener conflictos de interés en la publicación de este artículo.

REFERENCIAS BIBLIOGRÁFICAS

1. Berry DC, Knapp P, Raynor T. Expressing medicine side effects: assessing the effectiveness of absolute risk, relative risk, and number needed to harm, and the provision of baseline risk information. Patient Educ Couns. 2006;63(1- 2):89-96.         [ Links ]

2. Hembroff LA, Holmes-Rovner M, Wills CE. Treatment decision-making and the form of risk communication: results of a factorial survey. BMC Med Inform Decis Mak. 2004;4:20.         [ Links ]

3. Windish DM, Huot SJ, Green ML. Medicine residents’ understanding of the biostatistics and results in the medical literature. JAMA. 2007;298(9):1010-22.         [ Links ]

4. Ahmadi-Abhari S, Soltani A, Hosseinpanah F. Knowledge and attitudes of trainee physicians regarding evidencebased medicine: a questionnaire survey in Tehran, Iran. J Eval Clin Pract. 2008;14(5):775-9.         [ Links ]

5. Aki EA, Oxman AD, Herrin J, Vist GE, Terrenato I, Sperati F, et al. Using alternative statistical formats for presenting risks and risk reductions. Cochrane Database Syst Rev. 2011;(3):CD006776.         [ Links ]

6. McGettigan P, Sly K, O´Connell D, Hill S, Henry D. The effects of information framing on the practices of physicians. J Gen Intern Med. 1999;14(10):633-42.         [ Links ]

7. Sheridan SL, Pignone MP, Lewis CL. A randomized comparison of patients’ understanding of number needed to treat and other common risk reduction formats. J Gen Intern Med. 2003;18(11):884-92.         [ Links ]

8. Weiss ST, Samet JM. An assessment of physician knowledge of epidemiology and biostatistics. J Med Educ. 1980;55(8):692-7.         [ Links ]

9. Heller RF, Sandars JE, Patterson L, McElduff P. GPs’ and physicians’ interpretation of risks, benefits and diagnostic test results. Fam Pract. 2004;21(2):155-9.         [ Links ]

10. Hux JE, Naylor CD. Communicating the benefits of chronic preventive therapy: does the format of efficacy data determine patients’ acceptance of treatment? Med Decis Making. 1995;15(2):152-7.         [ Links ]

11. Griffith JM, Lewis CL, Hawley S, Sheridan SL, Pignone MP. Randomized trial of presenting absolute v. relative risk reduction in the elicitation of patient values for heart disease prevention with conjoint analysis. Med Decis Making. 2009;29(2):167-74.         [ Links ]

12. West CP, Ficalora RD. Clinician attitudes toward biostatistics. Mayo Clin Proc. 2007;82(8):939-43.         [ Links ]

13. Halvorsen PA, Kristiansen IS, Aasland OG, Forde OH. Medical doctors’ perception of the “number needed to treat” (NNT). A survey of doctors’ recommendations for two therapies with different NNT. Scand J Prim Health Care. 2003;21(3):162-6.         [ Links ]

14. Sabatine MS, Cannon CP, Gibson CM, López-Sendón JL, Montalescot G, Theroux P, et al. Effect of Clopidogrel Pretreatment Before Percutaneous Coronary Intervention in Patients With ST-Elevation Myocardial Infarction Treated With Fibrinolytics: the PCI-CLARITY study. JAMA. 2005;294(10):1224-32.         [ Links ]

15. Novack L, Jotkowitz A, Knyazer B, Novack V. Evidencebased medicine: assessment of knowledge of basic epidemiological and research methods among medical doctors. Postgrad Med J. 2006;82(974):817-22.         [ Links ]

16. Caspi O, McKnight P, Kruse L, Cunningham V, Figueredo AJ, Sechrest L. Evidence-based medicine: discrepancy between perceived competence and actual performance among graduating medical students. Med Teach. 2006;28(4):318-25.         [ Links ]

17. Bloom B. Taxonomy of educational objectives: the classification of educational goals. New York: David McKay Company, Inc.; 1956. p. 201-7.         [ Links ]

19. Khader YS, Batayha W, Al-Omari M. The effect of evidence-based medicine (EBM) training seminars on the knowledge and attitudes of medical students towards EBM. J Eval Clin Pract. 2011;17(4):640-3.         [ Links ]

20. Sheridan SL, Pignone M. Numeracy and the medical student’s ability to interpret data. Eff Clin Pract. 2002;5(1):35- 40.         [ Links ]

Correspondencia: Alonso Zea Vera

Dirección: Calle República del Líbano 143, Lima 33, Perú.

Teléfono: (511) 4357318

Correo electrónico: alonso.zea@upch.pe

Recibido: xx-xx-12

Aprobado: 30-05-12