Comunicación de los resultados de la investigación observacional: análisis mediante la guía Strobe

The reporting of observational studies: analysis using the STROBE statement

Jordi Galera Llorca (1), Raquel Lahoz Grillo (1) y Francesc Roig Loscertales (2).

(1) Health Outcomes Research, Novartis Farmacéutica, Barcelona, España.
(2) Medical Information & Communication, Novartis Farmacéutica, Barcelona, España.

Los autores declaran no tener ningún conflicto de interés relacionado con el tema objeto de estudio.

RESUMEN

Fundamento: En la publicación de la investigación biomédica se detectan deficiencias que han llevado a la aparición de guías cuyo seguimiento mejora la calidad de la comunicación. El objetivo del estudio es analizar el cumplimiento de los criterios de la Iniciativa Strobe para la publicación de estudios observacionales.
Métodos: Análisis descriptivo transversal de los estudios observacionales de las áreas Cardiovascular y Metabolismo (CVM) publicados en 6 revistas españolas a lo largo de 2009 mediante la aplicación de los 34 puntos de la Iniciativa STROBE. Se describieron las frecuencias de las variables cualitativas y los estimadores muestrales y de dispersión de las variables cuantitativas. El análisis comparativo entre revistas se realizó mediante el test ANOVA (p<0,05).
Resultados: En 2009 se publicaron 74 estudios observacionales en las revistas evaluadas. Los más frecuentes fueron estudios de cohortes 45 (60,8%) y transversales 28 (37,8%). En cuanto al objetivo principal, la mayoría fueron sobre patología 55 (74,3%), seguidos de fármacos e intervenciones no farmacológicas 15 (20,3%) y diagnóstico 4 (5,4%). La media de criterios cumplidos fue de 20 sobre 34 (DE±3,7), con un máximo de 24 (DE±2) en Gaceta Sanitaria y un mínimo de 19 (DE±2,8) en Hipertensión.
Conclusiones: Solo algo más de la mitad de los artículos cumplían las recomendaciones de la Iniciativa STROBE. Los apartados de Resultados y Métodos fueron los que mostraron más carencias.

Palabras clave: Estudios observacionales. Medicina Basada en la Evidencia. Guías como asunto. Comunicación y Divulgación científica. Publicaciones.

ABSTRACT

Key words: Observational Studies. Evidence-Based Medicine.Guidelines as topic. Scientific Communication and Diffusion. Publications.

Introducción

Una parte fundamental en la difusión de la investigación biomédica la constituye el proceso de publicación. Durante él, los investigadores elaboran un manuscrito original en el que recogen las principales características y resultados del estudio realizado y lo presentan a una revista científica para que lo considere para publicación. La revista somete el original a revisión por parte de expertos con el objetivo de identificar los puntos débiles del estudio tanto para mejorar su calidad como, si fuera preciso, recomendar su no publicación¹. La rigurosidad del contenido científico es un elemento crítico, ya que de ella depende que los resultados sean una aportación que contribuya al avance del conocimiento². Pero la revisión por expertos no es infalible y no garantiza que los estudios finalmente publicados estén libres de errores. Por otra parte, la comunicación clara y transparente de una investigación es un elemento fundamental para facilitar su interpretación al permitir conocer qué se ha hecho y evaluar la fiabilidad y la relevancia de los resultados. A pesar de ello, se han detectado deficiencias en cómo se publica la investigación en todas las especialidades médicas y en todos los tipos de diseño^3-6.

A mediados de los años noventa surgieron iniciativas para elaborar "directrices" sobre cómo debían comunicarse los estudios de investigación¹. La primera en este ámbito fue la guía CONSORT³ para ensayos clínicos aleatorizados, cuya primera versión apareció en 1996, consiguiendo una gran atención por parte de editores e investigadores. Posteriormente aparecieron recomendaciones de carácter similar para otros tipos de estudios: de precisión diagnóstica (STARD)⁵, no aleatorizados de evaluación de intervenciones sobre hábitos y de salud pública (TREND)⁶ o revisiones sistemáticas de ensayos clínicos aleatorizados (QUORUM)7 entre otros. La guía STROBE⁸ para la publicación de estudios observacionales fue desarrollada por un grupo de expertos con el objetivo de conseguir publicaciones claras y transparentes que faciliten la interpretación y eviten ofrecer resultados sesgados. Al igual que el resto de guías relacionadas con la publicación de estudios, la guía STROBE no debe considerarse como un instrumento de evaluación de la calidad metodológica de un estudio, sino de cómo éste se transmite a la comunidad científica⁹.

El objetivo del estudio es analizar la comunicación de los estudios observacionales del Área Cardiovascular y Metabolismo (CVM) publicados en 6 revistas españolas a lo largo de 2009 mediante la guía STROBE.

Sujetos y métodos

Selección de artículos. Cada investigador revisó de forma individual los originales publicados durante 2009 en las revistas Atención Primaria, Gaceta Sanitaria, Hipertensión, Medicina Clínica, Revista Clínica Española y Revista Española de Cardiología. Se seleccionó el área cardiovascular por tratarse de una de las áreas terapéuticas más representativas de la investigación realizada en nuestro país¹⁰. Para cada revista se identificaron los estudios observacionales españoles cuyo diseño correspondía a estudios de cohortes, estudios de casos y controles o estudios transversales. No se tuvieron en cuenta los estudios que aparecían en las secciones cartas y originales breves, ya que la restricción en la extensión que fijan las editoriales para esos apartados condicionaban su contenido. La selección individual inicial se validó después de forma conjunta entre los investigadores hasta llegar a una lista final de estudios consensuada.

Evaluación de la comunicación de resultados. A los artículos seleccionados se les aplicó la guía STROBE, la cual establece el tipo de información que debería contener la publicación de los resultados de un estudio observacional a través de 22 puntos esenciales que agrupan un total de 34 ítems. Cada investigador aplicó por separado la lista de criterios (ítems) a cada estudio valorando si "cumplía", "no cumplía" o bien "no aplicaba" a ese estudio en concreto por su tipo de diseño. Se realizaron reuniones periódicas de seguimiento en las que los investigadores ponían sus resultados en común y revisaban y discutían los casos en que la valoración no era unánime. La evaluación final se alcanzaba a través de consenso.

Variables. Además del cumplimiento de cada uno de los ítems de la guía STROBE para cada artículo correspondiente a un estudio observacional, se recogieron las siguientes variables: nombre de la revista, diseño según la guía STROBE (cohortes, casos y controles o transversales), diseño según el tipo de seguimiento (retrospectivo, transversal o prospectivo a partir de la definición de la Circular 15/2002¹¹), tema objeto de estudio (diagnóstico, patología o fármaco/intervención), tamaño muestral y fuente de financiación/promotor.

Análisis estadístico. Los análisis estadísticos se realizaron con el programa informático SPSS v.15.0. Para la descripción de los resultados se realizó un análisis de frecuencias con las variables cualitativas. Para las variables cuantitativas se obtuvieron los estimadores muestrales y de dispersión (media, desviación estándar, IC95%, mediana, mínimo y máximo). Para cada ítem de la guía STROBE se calculó el porcentaje de cumplimiento así como el de artículos que tenían todos los ítems de cada uno de los apartados (título y resumen, introducción, métodos, resultados y discusión) para cada una de las revistas y para el total de artículos. El análisis comparativo entre revistas se realizó mediante el test ANOVA, con una p < 0,05.

Resultados

Se identificó un total de 80 estudios observacionales. De ellos, 74 (92,5%) cumplían los criterios de inclusión. La figura 1 muestra la distribución de estudios por revista.

Las características de los estudios analizados se detallan en la tabla 1. Según la tipología de la guía STROBE, los más frecuentes fueron los estudios de cohortes 45 (60,8%) seguidos de los estudios transversales 25 (37,8%). Por tipo de seguimiento predominaron los prospectivos 31 (42,5%), y los transversales 28 (38,4%). Únicamente hubo un estudio caso control, publicado en Revista Clínica Española. En cuanto al objetivo principal, la mayoría eran sobre patología 55 (74,3%), seguidos de fármaco e intervenciones no farmacológicas 15 (20,3%) y diagnóstico 4 (5,4%). Los estudios de seguimiento prospectivo y variable principal de tratamiento fueron 8 (10,8%) del total. En relación con el tamaño muestral, la mediana fue de 577 participantes (rango: 13-57.025).

La tabla 2 muestra el cumplimiento por cada una de las revistas de los ítems recomendados por la guía STROBE. Los ítems que mostraron un mayor cumplimiento fueron los dos del apartado Introducción "Explique las razones y el fundamento científico de la investigación que se comunica" e "Indique los objetivos específicos, incluida cualquier hipótesis pre-especificada", con 73 (98,6%) para el total de artículos y los ítems que ofrecieron un menor seguimiento se observaron en el apartado de Resultados "Indique el número de participantes con datos ausentes en cada variable de interés" y "Explique el tratamiento de los datos ausentes (missing data)" con 4 (6,0%) y 7 (9,5%) respectivamente de artículos que los contemplaban.

Cabe destacar que 41 (54%) de los estudios declaró su fuente de financiación frente 33 (46%) que no la declaró. Entre los que la declararon 19 (47%) contaba con apoyo económico de la industria farmacéutica.

No se observaron diferencias estadísticamente significativas en el porcentaje de cumplimiento de los puntos esenciales agrupados por apartados para cada una de las revistas: 97,3% en Introducción, 56,8 % en Resumen y 50% en Discusión. Sin embargo, ninguno de los artículos revisados cumplía todos los ítems recomendados en los apartados Métodos y Resultados.

Discusión

El análisis de las publicaciones de estudios observacionales realizado a partir de la guía STROBE pone de manifiesto que los 74 artículos analizados del año 2009 cumplen de media 20/34 ítems (58,8%). Junto a apartados que se cumplen de forma mayoritaria hay algunos que quedan escasamente reflejados. Este hecho dificulta la correcta comprensión e interpretación de los resultados obtenidos en el estudio y su relevancia real para la práctica clínica.

El diseño de los estudios revisados difiere de las tipologías de estudios analizados previamente^10,12. En la serie que se presenta hay un porcentaje mayor de estudios retrospectivos y transversales y un menor número de estudios prospectivos (43 % en el presente estudio frente al 93% en 2001¹⁰, 71% entre 2002-07¹²). Esta diferencia de resultados podría ser debida tanto a las características intrínsecas del tipo de estudios que se realiza en el área cardiovascular como también a los efectos de la normativa establecida en 2002 a través de la circular 15/2002¹¹, al dificultar la realización de estudios de seguimiento prospectivo de calidad y potencialmente publicables.

No mencionar cierta información no significa que el estudio no haya sido realizado correctamente, pero dado el diseño de este tipo de estudios en los que en muchas ocasiones no se realiza monitorización presencial ni se hacen consultas, hace suponer que para algunas variables es común tener datos ausentes (missing data). Por este motivo, no es de extrañar que los ítems con menor cumplimiento sean detallar el número de sujetos con datos ausentes en las variables de interés (6%) y el tratamiento de éstos (9,5%). Estos ítems, conjuntamente con "cómo se afrontan las pérdidas de seguimiento (follow up)", son dos de los que también se encuentran poco reportados en una revisión sistemática en el área de dermatología¹³: un 6% en datos ausentes, un 7% en la justificación del tamaño muestral, un 12% en afrontar las pérdidas del seguimiento y un 14% en métodos estadísticos. En nuestro estudio, solamente el 15,1% de los artículos incluyen "el uso de un diagrama de flujo". Estudios realizados en el área oncológica¹⁴ han encontrado también como no suficientemente reflejados los diagramas de flujo, los datos ausentes, riesgos absolutos y criterios de apareamiento o formación de parejas.

Otro de los ítems que aparece menos descrito son las medidas adoptadas para afrontar fuentes potenciales de sesgo. No es fácil evitarlos en los estudios observacionales, ya sean sesgos de selección o de información, que afectan a la validez del estudio. Un análisis de 174 estudios observacionales publicados entre 2004 y 2007¹⁵ muestra que no siempre se describen los posibles sesgos del estudio y concluyen que la utilización de las recomendaciones de la guía STROBE podría mejorar los resultados. Estudios similares evaluando la calidad de la comunicación a partir del grado de cumplimiento de las recomendaciones de las guías CONSORT¹⁶, QUORUM¹⁷ y STARD¹⁸ ponen de manifiesto que su uso está aumentando con el tiempo y que su utilización está relacionada con una mejor publicación de los resultados de los estudios.

En la interpretación de los resultados pueden ser relevantes también las normas de publicación de las seis revistas analizadas. Una revisión de la información a los autores para la confección de los manuscritos originales permite observar que si bien las recomendaciones de cada revista sobre los apartados "Introducción" y "Discusión" se acercan bastante a las de la guía, los de "Metodología" y "Resultados" quedan lejos. Por otra parte, el hecho que Gaceta Sanitaria sea la única de las analizadas que incluía dentro de sus instrucciones para los autores la recomendación de la utilización de la guía STROBE podría explicar que sus artículos presenten un mayor cumplimiento. Es posible, pues, que las propias revistas pueden conducir a los autores hacia una mejora de los estándares de calidad, recomendando el uso de las guías y, a su vez, haciendo que los autores las puedan utilizar la próxima vez que envíen un artículo a esa misma revista o a otra, en un sistema de refuerzo positivo¹⁹.

Las principales limitaciones del trabajo se encuentran en haber revisado los artículos publicados durante un año y el haber seleccionado una sola área terapéutica, por lo que los resultados podrían no ser extrapolables a la totalidad de la investigación observacional realizada en España. No obstante, cabe tener en cuenta que un estudio publicado recientemente evaluando la calidad de la investigación diagnóstica en España utilizando la Guia STARD¹⁸ si bien analizó las publicaciones de un período superior (2004-2007) lo hizo sólo sobre 4 revistas, lo que supuso un total de 58 estudios frente a los 74 estudios observacionales analizados en el trabajo que se presenta. Por otra parte, si bien una muestra mayor de revistas o un período más amplio de análisis podrían ofrecer mayor información, dado que hasta donde conocemos los resultados del estudio aportan la primera evidencia sobre la calidad de la comunicación de estudios observacionales en España podrán servir como base para posteriores trabajos que permitan evaluar una posible evolución.

Bibliografía

1. Altman DJ, Moher D. Elaboración de directrices para la publicación de investigación biomédica: proceso y fundamento crítico. Med Clin (Barc). 2005;125(Suppl 1):8-13.         [ Links ]

2. Ribera JM, Cardellach F, Selva A. Procesos de revisión y de edición de Medicina Clínica. Med Clin (Barc). 2005;125(Suppl 1):3-7.         [ Links ]

3. Altman DG, Schultz KF, Moher D, Egger M, Davidoff F, Elbourne D et al. The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann intern Med. 2001;134:663-94.         [ Links ]

4. Pocock SJ, Collier TJ, Dandreo KJ, De Stavola BL, Goldman MB, Kalish LAT et al. Issues in the reporting of epidemiological studies: a survey of recent practice. BMJ. 2004; 329:883.         [ Links ]

5. Bossuyt PM, Reitsma JB, Bruns DE, Gatsonis CA, Glasziou PP, Irwing LM, et al. The STARD statement for reporting studies of diagnostic accuracy: explanation and elaboration. Clin Chem. 2003;49:7-18.         [ Links ]

6. Des Jarlais DC, Lyles C, Crepaz N, and the TREND Group. Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: the TREND statement. Am J Public Health. 2004;94:361-6.         [ Links ]

7. MoherD, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF, et al. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUORUM statement. Lancet. 199;354:1896-90.         [ Links ]

8. Von Elm E, Altman DG, Egger M, Pocock SJ, GØtzsche PC, Vandenbroucke JP et al. Declaración de la Iniciativa STROBE (Stenthening the Reporting of Observational studies in Epidemiology): directrices para la comunicación de estudios observacionales. Gac Sanit 2008; 22(2):144-50.         [ Links ]

9. Vandenbroucke JP, Von Elm E, Altman DG, GØtzsche PC, Mulrow CD, Pocock SJ et al. Strengthening the reporting of observational studies in epidemiology (STROBE): explanation and elaboration. Gac Sanit 2009; 23(2):158.         [ Links ]

10. García del Pozo J, De Abajo FJ. Estudios postautorización en España. Situación normativa. Boletín ICB Digital 2004; 24:1-13 [citado 7 de diciembre 2010]. http://www.icbdigital.org/icbdigital/pdf/articulo/articulo24.pdf        [ Links ]

11. Agencia Española del Medicamento. Circular 15/2002, de 10 de octubre. Procedimientos de comunicación en material de Farmacovigilancia de medicamentos de uso humano entre la Industria Farmacéutica y el Sistema Español de Farmacovigilancia de medicamentos de uso humano.         [ Links ]

12. García del Pozo J Bernard C, Molina Figueras X. Estudios postautorización en España: marco legal, problemática y posibles soluciones. Med Clin (Barc) 2009; 133(17):676-81.         [ Links ]

13. Lagan S, Schimitt J, Coenraads PJ, Svensson A, von Elm E y Williams H. The reporting of observational research studies in dermatology journals: a literature-based study. Arch Dermatol 2010; 146(5):534-41.         [ Links ]

14. Papathanasiou AA, Zintzaras E. Assessing the quality of reporting of observational studies in cancer. Ann Epidemiol 2010; 20(1):67-73.         [ Links ]

15. Groenwold RH, Van Deursen AM, Hoes AW, Hak E. Poor quality of reporting confounding bias in observational intervention studies: a systematic review. Ann Epidemiol 2008; 18(10):746-51.         [ Links ]

16. Moher D, Jones A, Lepage L. CONSORT GROUP (Consolidated Standards for Reporting of Trials). Use of the CONSORT statement and quality of reports of randomized trials: A comparative before-and-after evaluation. JAMA 2001; 285:1992-5.         [ Links ]

17. Wen J, Ren Y, Wang L, Li Y, Liu Y, Zhou M et al. The reporting quality of meta- analyses improves: a random sampling study. J Clin Epidemiol 2008; 61(8):770-5.         [ Links ]

18. Gómez Sáez N, Hernández-Aguado I, Lumbreras B. Estudio observacional: evaluación de la calidad metodológica de la investigación diagnóstica en España tras la publicación de la guía STARD. Med Clin (Barc) 2009; 133(8):302-10.         [ Links ]

19. Erb HN. Changing expectations: do journals drive methodological changes? Should they?. Prev Vet Med 2010; 97(3-4):165-74.         [ Links ]

20. Plint AC, Moher D, Morrison A, Schulz K, Altman DG, Hill C et al. Does the CONSORT checklist improve the quality of reports of randomised controlled trials? A systematic review. Med J Aust 2006; 185(5):263-7.         [ Links ]

Dirección para correspondencia:
Jordi Galera Llorca
Novartis Farmacéutica SA
Gran Via de les Corts Catalanes, 764
08013 Barcelona
jordi.galera@novartis.com