Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población mexicana de 8 a 18 años

Cross-cultural adaptation of the KIDSCREEN questionnaire to measure health-related quality of life in the 8 to18 year-old Mexican population

Carlos Alejandro Hidalgo-Rasmussen Luis Rajmil Rosa Montaño Espinoza Acerca de los autores

Resúmenes

Con el objeto de adaptar culturalmente el cuestionario KIDSCREEN-52 a adolescentes mexicanos de 8 a 18 años, y analizar su fiabilidad y validez, se realizó la traducción del cuestionario del inglés al español y una retro traducción. Se realizaron entrevistas cognitivas y un análisis factorial confirmatorio (AFC) para verificar la validez del contenido del cuestionario. Se compararon las puntuaciones de las dimensiones siguiendo los mismos criterios que en otras versiones (ej. Argentina) para analizar la validez de constructo, y se verificó la fiabilidad. La validez del contenido mantuvo las características del cuestionario original. El AFC confirmó la estructura de las 10 dimensiones originales. Dos escalas mostraron efecto techo. La consistencia interna del instrumento fue aceptable (rango 0,5-0,86) y la reproducibilidad obtuvo coeficientes bajos en 5 dimensiones (0,22-0,78). La versión mexicana del cuestionario KIDSCREEN-52 es equivalente al original en términos de contenido, estructura, y validez de constructo. En conclusión, el instrumento KIDSCREEN-52 es adecuado para aplicarse en población mexicana de estudiantes de 8 a 18 años. Son necesarios nuevos estudios para explorar su aplicación en contextos clínicos.

Niños; Adolescentes; Calidad de vida; Estudios de validación; Cuestionarios; México


The scope of this study was to develop the culturally-adapted version of the KIDSCREEN-52 questionnaire for Mexican adolescents aged 8 to 18, and to analyze its reliability and validity. A translation and back translation was carried out from English to Spanish and vice versa. Cognitive interviews were conducted and confirmatory factor analysis (CFA) was used to verify the content validity of the questionnaire. Based on previous studies (i.e. the Argentinian version) mean scores of dimensions were compared to assess construct validity. Reliability was also analyzed. The results showed that the content validity of the version retained the original concepts, duly adapted to the Mexican culture and language. The AFC confirmed the structure of the 10 original dimensions. Two scales achieved the ceiling effect. The instrument's internal consistency was acceptable (ranged from 0.5 to 0.86), and reproducibility obtained low coefficients in 5 dimensions (0.22 to 0.78). The Mexican KIDSCREEN-52 version is equivalent to the original in terms of content, structure, and construct validity. The conclusion was that theKIDSCREEN -52 tool is suitable for application in the Mexican population aged 8 to 18. Further studies are needed to explore its application in clinical settings.

Children; Adolescents; Quality of life; Validation studies; Questionnaires; Mexico


Introducción

En las últimas décadas ha habido un interés creciente en la calidad de vida11. Naughton MJ, Shumaker SA. The case for domains of function in quality of life assessment. Qual Life Res 2003; 12(Supl. 1):73-80.,22. Varni JW, Burwinkle TM, Lane MM. Health-related quality of life measurement in pediatric clinical practice: an appraisal and precept for future research and application. Health Qual Life Outcomes 2005; 3:34. en cuanto a percepción, porque ha permitido comprender mejor la perspectiva de los pacientes y personas cuando toman decisiones. En el entorno de la enfermedad, su medición ha permitido entre otras cosas escoger entre tratamientos22. Varni JW, Burwinkle TM, Lane MM. Health-related quality of life measurement in pediatric clinical practice: an appraisal and precept for future research and application. Health Qual Life Outcomes 2005; 3:34., mientras que con población sana ha permitido ver por ejemplo la forma en que esta se asocia con problemas o riesgos a la salud. La población entre 10 y 19 años representa un 17.7% de la población mundial33. United Nations Population Found (UNFPA). [Internet]. 2013 [acceso 2013 mayo 2]. Disponible en: http://www.unfpa.org/webdav/site/global/shared/factsheets/Onepageronyouth demographicsGF.pdf
http://www.unfpa.org/webdav/site/global/...
. Aunque en esta edad las personas generalmente gozan de buena salud y algunas pueden ser incluso resilientes ante la adversidad, muchas son afectadas en su salud por las condiciones en que viven33. United Nations Population Found (UNFPA). [Internet]. 2013 [acceso 2013 mayo 2]. Disponible en: http://www.unfpa.org/webdav/site/global/shared/factsheets/Onepageronyouth demographicsGF.pdf
http://www.unfpa.org/webdav/site/global/...
. La calidad de vida relacionada con la salud (CVRS), se ha definido como "la medida concentrada en el concepto de salud o los resultados en el campo de la salud"44. Patrick D. Patient-Reported Outcomes (PROs): An Organizing Tool for Concepts, Measures, and Applications. Quality of Life Newsletter 2003; 31:1-5. y también ha sido definida como "la salud física y mental percibida individual o grupalmente en el tiempo"55. Centers for Disease Control and Prevention. Measuring Healthy Days. Atlanta, Georgia: CDC, November 2000. [Internet]. 2000 [acceso 2007 ene 11]. Disponible en: http://www.cdc.gov/hrqol/pdfs/mhd. pdf
http://www.cdc.gov/hrqol/pdfs/mhd. pdf...
. Se ha señalado la utilidad que la medición de la CVRS tiene en la pediatría66. Hidalgo-Rasmussen C. Calidad de vida relacionada con la salud en los adolecentes. En: Alonso C, editor. Salud y enfermedad del Niño y del Adolescente. Jalisco: Editorial Manual Moderno; 2013. p. 1560-1563. y el conocimiento de factores vinculados a la calidad de vida es aplicable en contextos donde hay adolescentes como servicios de salud, clínicas y hospitales al ver más allá del diagnóstico y observar a la persona y sus relaciones77. Helseth S, Misvaer N. Adolescents' perceptions of quality of life: what it is and what matters. J Clin Nurs 2010; 19(9-10):1454-1461.. Además las medidas de CVRS han mostrado ser útiles para estudiar poblaciones de adolescentes sanos88. Rajmil L, Alonso J, Berra S, Ravens-Sieberer U, Gosch A, Simeoni MC, Auquier P; KIDSCREEN group. Use of a children questionnaire of health-related quality of life (KIDSCREEN) as a measure of needs for health care services. J Adolesc Health 2006; 38(5):511-518.

9. Ravens-Sieberer U, Erhart M, Gosch A, Wille N. European KIDSCREEN Group. Mental health of children and adolescents in 12 European countries-results from the European KIDSCREEN study. Clin Psychol Psychother 2008; 15(3):154-163.

10. Palacio-Vieira JA, Villalonga-Olives E, Alonso J, Valderas JM, Herdman M, Espallargues M, Berra S, Rajmil L. Brief report: The KIDSCREEN follow-up study on Health-related Quality of Life (HRQoL) in Spanish children and. Pilot test and representativeness. J Adolesc 2010; 33(1):227-231.
-1111. Silveira MF, Almeida JC, Freire RS, Ferreira RC, Martins AE, Marcopito LF. Quality of life among adolescents: a cross-sectional study using the SF-12 questionnaire. Cien Saude Colet 2013; 18(7):2007-2015.. Para que esto sea posible es fundamental que se cuente con instrumentos para poder valorarla. Una revisión de instrumentos de CVRS a nivel internacional en 2005 reportó que los instrumentos encontrados habían sido creados o adaptados en países europeos o anglosajones1212. Pane S, Solans M, Gaite L, Serra-Sutton V, Estrada M, Rajmil L. Instrumentos de calidad de vida relacionada con la salud en edad pediátrica Revisión sistemática de la literatura: actualización Barcelona: Agència d'Avaluació de Tecnologia i Recerca Mèdiques; 2006. y aún en 2012 los instrumentos de CVRS en Iberoamérica era escasa1313. Rajmil L, Roizen M, Urzúa A, Hidalgo-Rasmussen C, Fernández G, Dapueto JJ. Health-related quality of life measurement in children and adolescents in Ibero-American countries, 2000 to 2010. Value Health 2012; 15(2):312-322.,1414. Soares AH, Martins AJ, Lopes Mda C, Britto JA, Oliveira CQ, Moreira MC. Quality of life of children and adolescents: a bibliographical review. Cien Saude Colet 2011; 16(7):3197-3206.. Ante tal escasez, la adaptación transcultural aparece con grandes ventajas cuando ya se tienen instrumentos desarrollados, en comparación a la creación de nuevos1515. Berra S, Bustingorry V, Henze C, Diaz M, Rajmil L, Butinof M. Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población argentina de 8 a 18 años. Arch Argent Pediatr 2009; 107(4):307-314..

El Instrumento KIDSCREEN (Screening for and promotion of Health Related Quality of Life in Children and Adolescents), sirve para medir la CVRS, fue creado entre 13 países europeos con el propósito de desarrollar un instrumento multicultural que pudiera ser aplicado en todos los países participantes1616. Aymerich M, Berra S, Guillamon I, Herdman M, Alonso J, Ravens-Sieberer U, Rajmil L. Desarrollo de la versión en español del KIDSCREEN, un cuestionario de calidad de vida para la población infantil y adolescente. Gac Sanit 2005; 19(2):93-102.,1717. Ravens-Sieberer U, Gosch A, Rajmil L, Erhart M, Bruil J, Power M, Duer W, Auquier P, Cloetta B, Czemy L, Mazur J, Czimbalmos A, Tountas Y, Hagquist C, Kilroe J; KIDSCREEN Group. The KIDSCREEN-52 quality of life measure for children and adolescents: psychometric results from a cross-cultural survey in 13 European countries. Value Health 2008; 11(4):645-658.. La versión de 52 ítems del instrumento, mide 10 dimensiones de calidad de vida relacionada con la salud: bienestar físico (5 ítems), bienestar psicológico (6 ítems), estado de ánimo (7 ítems), autopercepción (5 ítems), autonomía (5 ítems), relación con los padres y vida familiar (6 ítems), recursos económicos (3 ítems), amigos y apoyo social (6 ítems), entorno escolar (6 ítems), aceptación social (Bullying) (3 ítems). La versión de 27 ítems, formada de 5 dimensiones y la versión de 10 ítems permiten obtener un índice global. Las dimensiones fueron construidas y piloteadas usando la información de más de 3000 niños y adolescentes europeos. Se ejecutaron además análisis psicométricos, se aplicó la teoría de respuesta al ítem y modelos de ecuación estructural para determinar las características ópticas del ítem y la escala del cuestionario. Se analizó si los ítems mostraban un funcionamiento diferencial (DIF), lo que posibilitó la comparación de las dimensiones identificadas de calidad de vida a través de 13 países Europeos. El KIDSCREEN-52 fue enviado por correo a una muestra representativa por país de aproximadamente 1800 niños y sus padres (total n = 22,296), que incluyó la muestra española1616. Aymerich M, Berra S, Guillamon I, Herdman M, Alonso J, Ravens-Sieberer U, Rajmil L. Desarrollo de la versión en español del KIDSCREEN, un cuestionario de calidad de vida para la población infantil y adolescente. Gac Sanit 2005; 19(2):93-102., y a partir de ello se produjeron los datos normativos. El análisis final de los instrumentos involucrando análisis nacionales y transculturales, confirmaron los resultados del estudio piloto. Las sub-escalas posibilitan la medida transcultural sobre el nivel de escala de intervalo asumiendo el modelo Rasch y resultando no DIF. El instrumento está disponible en varios lenguajes1717. Ravens-Sieberer U, Gosch A, Rajmil L, Erhart M, Bruil J, Power M, Duer W, Auquier P, Cloetta B, Czemy L, Mazur J, Czimbalmos A, Tountas Y, Hagquist C, Kilroe J; KIDSCREEN Group. The KIDSCREEN-52 quality of life measure for children and adolescents: psychometric results from a cross-cultural survey in 13 European countries. Value Health 2008; 11(4):645-658.,1818. The KIDSCREEN Group. Description of the KIDSCREEN instruments. [Internet]. 2004 [acceso 2013 jun 3]. Disponible en: http://www.kidscreen.org/español/el-proyecto-kidscreen/
http://www.kidscreen.org/español/el-proy...
y ha tenido procesos de adaptación transcultural en países Iberoamericanos: Argentina1515. Berra S, Bustingorry V, Henze C, Diaz M, Rajmil L, Butinof M. Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población argentina de 8 a 18 años. Arch Argent Pediatr 2009; 107(4):307-314., Brasil1919. Guedes D, Guedes J. Translation, cross-cultural adaptation and psychometric properties of the KIDSCREEN-52 for the Brazilian population. Rev paul pediatr 2011; 29(3):364-371., Chile2020. Sepúlveda PR, Molina GT, Molina CR, Martínez NV, González AE, L MG, Montaño E R, Hidalgo-Rasmussen C. Adaptación transcultural y validación de un instrumento de calidad de vida relacionada con la salud en adolescentes chilenos. Rev Med Chil 2013; 141(10):1283-1292., Colombia2121. Jaimes-Valencia M, Cabrero R, Flores-Alarcón L, Palacio J. Calidad de vida relacionada con la salud en niños (as) - adolescentes: adaptación cultural del instrumento KIDSCREEN-52 en Colombia. En: Libro de ponencias del X Encuentro Internacional de investigación en Enfermería; 2006; Madrid. p. 75-77., Portugal2222. Gaspar T, Matos M. Qualidade de vida em crianças e adolescentes versão portuguesa dos instrumentos KIDSCREEN 52. Lisboa: Aventura Social e Saúde; 2008.. En México se inició el proceso de adaptación en febrero de 2011 y se aprobó la versión final mexicana del instrumento por el grupo KIDSCREEN en mayo de 2011.

Para el Scientific Advisory Comitee of the Medical Outcomes Trust (SAC), la adaptación cultural y del lenguaje se refiere a cuando el instrumento se adapta a culturas o lenguajes distintos al original. La traducción es considerada distinta a la adaptación del lenguaje y tiene dos pasos principales: la evaluación de la equivalencia conceptual y lingüística, y la evaluación de las propiedades de medida. La equivalencia conceptual se refiere a la equivalencia en relevancia y significado de los mismos conceptos en diferentes culturas y/o lenguajes. La equivalencia lingüística se refiere a la equivalencia de significado y redacción en la formulación de ítems, opciones de respuesta, y todos los aspectos del instrumento y sus aplicaciones2323. Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205..

En México existe el interés de que los profesionales de la salud cuenten con instrumentos que permitan valorar la CVRS tanto niños como en adolescentes. Por esa razón nuestro objetivo fue obtener una versión Mexicana del cuestionario KIDSCREEN-52, adaptada para población mexicana de 8 a 18 años equivalente lingüísticamente a las demás versiones del KIDSCREEN, y analizar su fiabilidad y validez.

Métodos

Diseño

La adaptación lingüística del KIDSCREEN fue evaluada en el proceso de traducción y retro-traducción siguiendo los lineamientos del grupo KIDSCREEN2424. The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
http://kidscreen.port4949.net/cms/sites/...
y recomendaciones previas2323. Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205.,2525. Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708. (fase1) la adaptación cognitiva se realizó mediante entrevistas cognitivas con estudiantes ejecutadas acorde al manual para adaptación cultural del KIDSCREEN2424. The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
http://kidscreen.port4949.net/cms/sites/...
(fase 2). La fiabilidad y análisis estructural, fue evaluada estadísticamente mediante datos de cuestionarios (fase 3) aplicados como parte del Observatorio de los riesgos y calidad de vida de estudiantes.

Participantes. En la fase 1, cuatro traductores calificados, la persona asignada por el grupo KIDSCREEN y los investigadores participaron en el proceso de traducción. En la fase 2 para las entrevistas cognitivas los participantes fueron una muestra a conveniencia no probabilística conformada de hombres (n = 5, edad 9-17 años) y mujeres (n = 9, edad 9-18 años). Para el análisis factorial confirmatorio (AFC) y la fase 3, los cuestionarios se aplicaron a estudiantes desde tercer grado de primaria hasta primer semestre de universidad, de dos escuelas primarias (privada y pública), una secundaria privada y una universidad pública, en una ciudad con 100,000 habitantes entre agosto de 2011 y marzo de 2012 (n = 1041). Para el análisis de reproducibilidad o consistencia externa los participantes fueron 32 estudiantes de una escuela primaria, una secundaria y una preparatoria con edad entre 10 a 18 años.

Recolección de datos

El proceso de adaptación fue realizado en tres fases: 1.-equivalencia lingüística, 2.-equivalencia conceptual y 3.-validez del constructo y fiabilidad.

Fase 1 Para lograr la equivalencia lingüística se realizó la traducción del KIDSCREEN 52 entre febrero y marzo de 2011. El objetivo de la traducción fue asegurar la equivalencia semántica y conceptual de la versión original y la versión traducida. Debido a que ya existía una versión del instrumento adaptada al castellano de España1616. Aymerich M, Berra S, Guillamon I, Herdman M, Alonso J, Ravens-Sieberer U, Rajmil L. Desarrollo de la versión en español del KIDSCREEN, un cuestionario de calidad de vida para la población infantil y adolescente. Gac Sanit 2005; 19(2):93-102., en la primera fase, dos lingüistas y una Doctora en Psicología la tradujeron por separado revisando la congruencia con la versión original en inglés. Los investigadores revisaron las traducciones en reuniones virtuales con los traductores. Esto produjo la primera versión mexicana del cuestionario KIDSCREEN 52. Esta versión fue retro-traducida por un tercer traductor independiente certificado en traducción español-inglés. Los investigadores y la responsable del Grupo Kidscreen de Alemania, compararon la versión retro-traducida con la versión original. Los comentarios generaron ajustes que se enfocaron en obtener equivalencia conceptual y lenguaje coloquial con apoyo del tercer traductor.

Fase 2 En Marzo de 2011 se realizaron las entrevistas cognitivas. El objetivo fue verificar la equivalencia conceptual2525. Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708. de la versión mexicana del cuestionario KIDSCREEN 52 refinándolo para asegurar la aceptabilidad y comprensión2424. The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
http://kidscreen.port4949.net/cms/sites/...
de las instrucciones, preguntas y opciones de respuesta desde el punto de vista de los estudiantes. Para evaluar la validez de contenido2525. Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708. que se refiere a las similitudes en relevancia y significado de los mismos conceptos medidos, se llevaron a cabo entrevistas con estudiantes (n = 14) en tres rangos de edad (8-11, 12-15, 16-18) con el criterio de que hubiera hombres y mujeres en cada grupo.

Para las entrevistas, personal capacitado utilizaron un formato semi-estructurado en el que se les pidió a los estudiantes que contestaran el cuestionario. Al concluir se registró el tiempo invertido en la contestación. Después se utilizó el método "probing"2424. The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
http://kidscreen.port4949.net/cms/sites/...
se les preguntó sus dudas y para confirmar la comprensión del sentido de la pregunta se revisó ítem por ítem preguntándoles ¿por qué contesto esto? Cuando no se encontró congruencia entre la pregunta y la respuesta se le explicó la pregunta y se utilizó el método "paraphrasing"2424. The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
http://kidscreen.port4949.net/cms/sites/...
solicitando que dijera como lo preguntaría él o ella con sus palabras. Al finalizar la entrevista se le preguntó cómo se sintió. Todo el material fue audio grabado. Las respuestas fueron documentadas y enviadas para su revisión por parte de los investigadores y después enviadas al representante alemán de KIDSCREEN a partir de los comentarios se realizaron los últimos ajustes con lo que se obtuvo la versión final de la versión mexicana del KISCREEN 52.

Para verificar si los ítems funcionaban de manera similar a los del instrumento original2525. Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708., se aplicó un análisis factorial confirmatorio (AFC). Este análisis fue realizado al interior del proyecto de la Universidad de Guadalajara: Observatorio de los comportamientos de riesgo y calidad de vida de estudiantes. Para el estudio se tomó la totalidad de los estudiantes de dos escuelas primarias (n = 264) y una secundaria (n = 99) y aquellos estudiantes que cumplían el criterio de tener un máximo de 18 años incorporados a primer semestre de dos generaciones de una Universidad (n = 678) que representaba 65.1% del total de la población (n = 1041) (Tabla 1). Los niños y adolescentes completaron el cuestionario en un espacio especial entre clases, los universitarios en la semana de inducción a la Universidad. Todos los estudiantes completaron los cuestionarios en su versión electrónica.

Tabla 1
Frecuencia de género, nivel educativo de la madre y del padre por grupos de edad y en toda la muestra.

Fase 3 En esta fase se verificó la validez de constructo al comparar los estadísticos de cada escala entre el estudio actual y un estudio previo (Argentino)2626. Berra S, Tebé C, Esandi ME, Carignano C. Reliability and validity of the KIDSCREEN-52 questionnaire to measure health related quality of life in the 8 to 18 year-old Argentinean population. Arch Argent Pediatr 2013; 111(1):29-36.. Para la comparación se calculó la media, desviación estándar y efecto piso techo.

En esta fase también se verificó la fiabilidad que es el grado en el cual el instrumento está libre de error aleatorio, estimando la consistencia interna que es la homogeneidad de los ítems que componen la escala, calculando los valores de alfa de Cronbach (n = 1041), la consistencia externa o reproducibilidad, que es la estabilidad en el tiempo, se valoró mediante el coeficiente de correlación intraclase (CCI) con datos de 31 estudiantes de preparatoria (17 hombres y 15 mujeres M = 15.9 DE = 1.3) a quienes se les aplicó en dos ocasiones el instrumento con una diferencia de una semana entre aplicaciones. Los adolescentes completaron el cuestionario en versión electrónica en un espacio especial entre clases, dentro de un aula de clase con computadoras y con la presencia de un aplicador. Debido a la dificultad para aplicar a más grupos por segunda vez solo se hizo con los estudiantes señalados

La versión electrónica fue idéntica en apariencia al formato impreso y fue piloteada antes de la aplicación y existe evidencia de que versiones electrónicas del instrumento KIDSCREEN trabajan de manera similar a la versión en papel2727. Lloyd K. Kids' Life and Times: using an Internet survey to measure children's health-related quality of life. Qual Life Res 2011; 20(1):37-44..

Consideraciones éticas

El proyecto Observatorio de los comportamientos de riesgo y calidad de vida de estudiantes, del cual esta investigación forma parte, fue aprobado por el Comité de ética del Centro de Investigación en Comportamiento Alimentario (CICAN) de la Universidad de Guadalajara que analizó el proyecto y documentos anexos a la luz de los postulados de la Declaración de Helsinki, de las Pautas Éticas Internacionales para la Investigación Biomédica en Seres Humanos CIOMS 2002. Se pidió consentimiento informado de los y las estudiantes y de los padres de los y las menores de 18 años. La información fue confidencial. Se firmó la colaboración para uso del instrumento KIDSCREEN y su proceso de traducción y adaptación, el 15 febrero de 2011.

Análisis estadísticos

Para la fase 1, los datos cualitativos recuperados en las entrevistas cognitivas fueron analizados para identificar problemas en la comprensión y contestación de las instrucciones, preguntas, opciones de respuesta y conceptos de la versión mexicana del KIDSCREEN 52. Los datos recuperados por el cuestionario fueron analizados a partir de las instrucciones del grupo KIDSCREEN.

Para la fase 2, la estructura multidimensional del instrumento fue evaluada mediante Análisis Factorial Confirmatorio (AFC) sobre la matriz de correlaciones policorica. Para el análisis de la bondad de ajuste del modelo se utilizaron los indicadores más comunes como: (a) la raíz cuadrada media del error de aproximación root mean square error of aproximation (RMSEA), representa el nivel de discrepancia entre el modelo y los datos en la población, menor a .06 indica ajuste satisfactorio del modelo de acuerdo a Bentler y Bonett (1980) y Bollen (1986),(b) el índice de ajuste normalizado, de normed fit index (NFI); criterio mínimo mayor a 0,9 (c) los índices de ajuste comparativo comparative fit index (CFI) sobre .9 que puede interpretarse como un índice capaz de explicar el 90% de la relación (covariación) entre las variables medidas (d) la bondad de ajuste con ji cuadrado Chi square godness of-fit statistic.

Para la fase 3, el efecto piso se calculó como la proporción de participantes que contestaron en todos los ítems de un dominio, la categoría más baja y por el contrario el efecto techo, como la proporción de participantes que contestaron en todos los ítems de un dominio, la categoría más alta, se consideró aceptable un valor de hasta 15%2828. Nunnally J, Bernstein I. Teoría psicométrica. Brasília, DF: McGraw-Hill; 1995.. En la evaluación de la fiabilidad en la consistencia interna se utilizó el alfa de Cronbach, considerando como adecuado un coeficiente de .702323. Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205., y para la consistencia externa o reproducibilidad el coeficiente de correlación intraclase (CCI) entre dos aplicaciones, considerando adecuado .702323. Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205.. Se computaron las puntuaciones medias de las dimensiones del KIDSCREEN-52 estandarizadas a una media de 50 y 1 desvío estándar de 10, de acuerdo a los datos de la versión Europea2323. Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205.. Para la validez de constructo se calculó media, desviación estándar y se estimó el tamaño del efecto mediante el cálculo de la diferencia de medias estandarizadas (effect size) mediante el software G*Power 3.1.6.2929. Faul F, Erdfelder E, Buchner A, Lang AG. Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behav Res Methods 2009; 41(4):1149-1160..

Para el análisis estadístico se usó el programa LISREL 8.50 (Jöreskog and Sórbom) (Scientific Software International, Inc. Illinois, USA), y el software estadístico Statistical Package for the Social Sciences (SPSS) V20 (SPSS Inc., Chicago, IL, USA).

Resultados

Para la fase 1, en la etapa de traducción directa hubo diferencias entre los traductores en 10 de los 52 ítems. En la etapa de reconciliación, 3 de los ítems tuvieron acuerdo total y 7 solo entre un traductor y los investigadores. Después de la traducción inversa el responsable de la versión española del KIDSCREEEN y coautor de este documento (LR), realizó comentarios en 3 ítems e instrucciones y la responsable en el Grupo KIDSCREEN de Alemania hizo comentarios en 12 preguntas, las instrucciones y opciones de respuesta. Después de ello cinco ítems críticos requirieron una nueva traducción al inglés para confirmar su equivalencia. En el Cuadro 1 se comparan algunos ítems de la versión mexicana final con las versiones europea y española así como con la versión retrotraducida.

Cuadro 1
Comparación de las versiones europea, española, retrotraducción de la primera versión mexicana y versión mexicana final. Selección de instrucciones e ítems

Para la fase 2, los participantes en las entrevistas cognitivas (n = 14) fueron homogéneos respecto a etnia y lenguaje. Las edades fueron entre 8 a 17 años de edad. Durante las entrevistas cognitivas hubo comentarios relevantes en 8 ítems. Del grupo de 8 a 11 años se hicieron 8 comentarios, del grupo de 12 a 15 se hicieron 4 comentarios y del grupo de 16 a 18 años 7 comentarios. Los 8 ítems fueron discutidos en etapas desde los autores, CH y LR hasta la responsable en Alemania quien hizo 8 comentarios que se consideraron para la versión final (Cuadro 2). Las entrevistas cognitivas mostraron que los participantes comprendieron con facilidad los conceptos, preguntas e instrucciones. La mayoría de los respondientes completó el cuestionario entre 9 y 15 minutos.

Cuadro 2
Resultados de la adaptación cognitiva de la versión mexicana del KIDSCREEN-52. Selección de preguntas y como se modificaron como resultado de las entrevistas cognitivas

Para el AFC participaron en el estudio 621 hombres (58%) y 451 mujeres (42%) entre 8 y 18 años, homogéneos respecto a etnia y lenguaje En el análisis de la estructura multidimensional del cuestionario, el AFC basados sobre una estimación WLSM (weighted least square estimator) muestran un buen ajuste para la solución de 10 dimensiones del cuestionario, los índices obtenidos fueron χ22. Varni JW, Burwinkle TM, Lane MM. Health-related quality of life measurement in pediatric clinical practice: an appraisal and precept for future research and application. Health Qual Life Outcomes 2005; 3:34.(1229) = 8006.96, NFI = 0.97, RMSEA = 0.48 y CFI = .98; la carga factorial () entre el ítem y la dimensión resultaron óptimas, con errores estándar en todos los ítems de .01.

En la fase 3 la versión mexicana del KIDSCREEN 52 mostró en términos de validez de constructo alta equivalencia comparado con los supuestos asumidos en la versión argentina2626. Berra S, Tebé C, Esandi ME, Carignano C. Reliability and validity of the KIDSCREEN-52 questionnaire to measure health related quality of life in the 8 to 18 year-old Argentinean population. Arch Argent Pediatr 2013; 111(1):29-36.. Las puntuaciones medias del KIDSCREEN (Tabla 2) confirmaron las diferencias esperadas según sexo y edad. Las mujeres presentaron puntuaciones inferiores a las de los hombres en seis de las dimensiones con tamaño de efecto moderado en bienestar físico (TE = 0.6) y mínimo en bienestar psicológico, estado de ánimo, autopercepción, autonomía y recursos económicos. (TE = 0.2-0.3). Los niños y niñas tuvieron mejor CVRS que los adolescentes y las adolescentes de manera relevante en bienestar físico (TE = 0.8), medio en autopercepción (TE = 0.5) y tamaño de efecto mínimo (TE = 0.2-0.4) en bienestar psicológico, autonomía, amigos y apoyo social, entorno escolar, aceptación social (Bullying), y recursos económicos mientras que fue mejor en adolescentes que en niños y niñas en aceptación social (Bullying) con un tamaño de efecto mínimo (TE = 0.4). El dominio entorno escolar en adolescentes fue el que obtuvo la menor puntuación. Tanto los valores del efecto piso como techo fueron adecuados y únicamente las dimensiones de autonomía y aceptación social (Bullying) obtuvieron proporciones superiores a 15%.

Tabla 2
Puntuaciones promedio y desviación estándar de las dimensiones del KIDSCREEN por grupos de edad y género (N = 1041).

La fiabilidad obtenida para las escalas fue adecuada (Alfa de Cronbach αmin = .51 αmax = .86) aunque algo baja en tres dimensiones y su reproducibilidad mediante CCI (CCImin = .47 CCImax = .84), algo baja en ocho dimensiones. (Tabla 3)

Tabla 3
Propiedades métricas de la versión mexicana del KIDSCREEN-52 (N=1041).

Discusión

Fase 1. La validez del contenido para la versión mexicana del KIDSCREEN-52 en estudiantes con una edad entre 8 y 18 años, de educación básica a superior de escuelas públicas y privadas de México, fue alta.

Fase 2. Las entrevistas cognitivas confirmaron que el proceso de traducción-retrotraducción fue exitoso para desarrollar una versión mexicana del KIDSCREEN-52. Las entrevistas cognitivas también confirmaron que los conceptos traducidos, constructos, preguntas, instrucciones y alternativas de respuesta fueron entendidas de manera similar a la forma que los creadores del instrumento original intentaron, aún cuando hubo algunas diferencias semánticas entre el KIDSCREEN original y la versión mexicana. Las entrevistas cognitivas indicaron un alto grado de equivalencia entre la versión original y la versión traducida del KIDSCREEN-52. La versión mexicana del KIDSCREEN fue clara y fácil de entender y completar. No hubo ítems perdidos en las etapas de entrevistas cognitivas prueba piloto y aplicación final.

Fase 3. La validez de constructo de la versión mexicana parece ser alta. Hubo una alta equivalencia entre los resultados de la versión mexicana y la versión original.

Este estudio confirma investigaciones previas referidas a la validez y fiabilidad del KIDSCREEN-52. Los valores de alfa en el estudio actual fueron altos en la mayoría de los dominios, excepto tres dimensiones que obtuvieron niveles aceptables, también observado en algunas dimensiones de otras versiones1515. Berra S, Bustingorry V, Henze C, Diaz M, Rajmil L, Butinof M. Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población argentina de 8 a 18 años. Arch Argent Pediatr 2009; 107(4):307-314.,2020. Sepúlveda PR, Molina GT, Molina CR, Martínez NV, González AE, L MG, Montaño E R, Hidalgo-Rasmussen C. Adaptación transcultural y validación de un instrumento de calidad de vida relacionada con la salud en adolescentes chilenos. Rev Med Chil 2013; 141(10):1283-1292.. Los resultados del actual estudio confirman previos1515. Berra S, Bustingorry V, Henze C, Diaz M, Rajmil L, Butinof M. Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población argentina de 8 a 18 años. Arch Argent Pediatr 2009; 107(4):307-314.

16. Aymerich M, Berra S, Guillamon I, Herdman M, Alonso J, Ravens-Sieberer U, Rajmil L. Desarrollo de la versión en español del KIDSCREEN, un cuestionario de calidad de vida para la población infantil y adolescente. Gac Sanit 2005; 19(2):93-102.
-1717. Ravens-Sieberer U, Gosch A, Rajmil L, Erhart M, Bruil J, Power M, Duer W, Auquier P, Cloetta B, Czemy L, Mazur J, Czimbalmos A, Tountas Y, Hagquist C, Kilroe J; KIDSCREEN Group. The KIDSCREEN-52 quality of life measure for children and adolescents: psychometric results from a cross-cultural survey in 13 European countries. Value Health 2008; 11(4):645-658.,1919. Guedes D, Guedes J. Translation, cross-cultural adaptation and psychometric properties of the KIDSCREEN-52 for the Brazilian population. Rev paul pediatr 2011; 29(3):364-371.,2121. Jaimes-Valencia M, Cabrero R, Flores-Alarcón L, Palacio J. Calidad de vida relacionada con la salud en niños (as) - adolescentes: adaptación cultural del instrumento KIDSCREEN-52 en Colombia. En: Libro de ponencias del X Encuentro Internacional de investigación en Enfermería; 2006; Madrid. p. 75-77.,2525. Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708.,2929. Faul F, Erdfelder E, Buchner A, Lang AG. Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behav Res Methods 2009; 41(4):1149-1160..

Únicamente las dimensiones de autonomía y aceptación social (Bullying) superaron la proporción aceptable del efecto techo, hallazgo que ya fue reportado en la versión Argentina2626. Berra S, Tebé C, Esandi ME, Carignano C. Reliability and validity of the KIDSCREEN-52 questionnaire to measure health related quality of life in the 8 to 18 year-old Argentinean population. Arch Argent Pediatr 2013; 111(1):29-36..

Algunas dimensiones presentaron valores del test-retest ligeramente sub óptimos, especialmente la dimensión Ambiente escolar. Sin embargo este hecho ya ha sido descrito tanto en la versión original del instrumento como en otras investigaciones. En el estudio presente, además, este hecho puede haber sido agravado por el tamaño de muestra reducido con el que se analizó la reproducibilidad1717. Ravens-Sieberer U, Gosch A, Rajmil L, Erhart M, Bruil J, Power M, Duer W, Auquier P, Cloetta B, Czemy L, Mazur J, Czimbalmos A, Tountas Y, Hagquist C, Kilroe J; KIDSCREEN Group. The KIDSCREEN-52 quality of life measure for children and adolescents: psychometric results from a cross-cultural survey in 13 European countries. Value Health 2008; 11(4):645-658.,1818. The KIDSCREEN Group. Description of the KIDSCREEN instruments. [Internet]. 2004 [acceso 2013 jun 3]. Disponible en: http://www.kidscreen.org/español/el-proyecto-kidscreen/
http://www.kidscreen.org/español/el-proy...
.

La validez de constructo del KIDSCREEN-52 ha sido probada en estudios previos al comparar pruebas resultantes entre muestras de personas sanas y enfermas. La puntuaciones obtenidas por los más jóvenes fueron más elevadas en todas las dimensiones respecto de los adolescentes, excepto en la dimensión de aceptación social (Bullying), aspecto ya descrito en un estudio previo3030. Analitis F, Klein M, Ravens-Sieberer U, Detmar S, Erhart M, Herdman M, Berra S, Alonso J, Rajmil L; European Kidscreen Group. Being bullied: associated factors in children and adolescents 8 to 18 years old in 11 European countries. Pediatrics 2009; 123(2):569-577..

Por otra parte, las mujeres puntúan peor en la mayoría de dimensiones físicas y psicológicas. Este hecho también se había mostrado en los estudios previos llevados a cabo con el KIDSCREEN2626. Berra S, Tebé C, Esandi ME, Carignano C. Reliability and validity of the KIDSCREEN-52 questionnaire to measure health related quality of life in the 8 to 18 year-old Argentinean population. Arch Argent Pediatr 2013; 111(1):29-36.. Algunas de las puntuaciones medias han sido ligeramente inferiores al estandarizar la muestra de México con las de la versión Europea. Este hecho podría deberse en parte a las características de la muestra, con mayor porcentaje de estudiantes de más de 15 años. Estudios posteriores que incluyan análisis de función diferencial del ítem podrían resolver esta cuestión.

Se trabajó con la versión para niños y adolescentes KIDSCREEN de 52 ítems, lo que permitiría después también contar con las versiones de menos ítems.

La versión mexicana del KIDSCREEN-52 es un cuestionario adaptado transculturalmente, valido y fiable para medir CVRS en niños y adolescentes de 8 a 18 años y puede ser recomendado como medida genérica de CVRS en niños. Se recomienda en el futuro estudiar la relevancia en la práctica clínica.

Referencias

  • 1
    Naughton MJ, Shumaker SA. The case for domains of function in quality of life assessment. Qual Life Res 2003; 12(Supl. 1):73-80.
  • 2
    Varni JW, Burwinkle TM, Lane MM. Health-related quality of life measurement in pediatric clinical practice: an appraisal and precept for future research and application. Health Qual Life Outcomes 2005; 3:34.
  • 3
    United Nations Population Found (UNFPA). [Internet]. 2013 [acceso 2013 mayo 2]. Disponible en: http://www.unfpa.org/webdav/site/global/shared/factsheets/Onepageronyouth demographicsGF.pdf
    » http://www.unfpa.org/webdav/site/global/shared/factsheets/Onepageronyouth demographicsGF.pdf
  • 4
    Patrick D. Patient-Reported Outcomes (PROs): An Organizing Tool for Concepts, Measures, and Applications. Quality of Life Newsletter 2003; 31:1-5.
  • 5
    Centers for Disease Control and Prevention. Measuring Healthy Days. Atlanta, Georgia: CDC, November 2000. [Internet]. 2000 [acceso 2007 ene 11]. Disponible en: http://www.cdc.gov/hrqol/pdfs/mhd. pdf
    » http://www.cdc.gov/hrqol/pdfs/mhd. pdf
  • 6
    Hidalgo-Rasmussen C. Calidad de vida relacionada con la salud en los adolecentes. En: Alonso C, editor. Salud y enfermedad del Niño y del Adolescente. Jalisco: Editorial Manual Moderno; 2013. p. 1560-1563.
  • 7
    Helseth S, Misvaer N. Adolescents' perceptions of quality of life: what it is and what matters. J Clin Nurs 2010; 19(9-10):1454-1461.
  • 8
    Rajmil L, Alonso J, Berra S, Ravens-Sieberer U, Gosch A, Simeoni MC, Auquier P; KIDSCREEN group. Use of a children questionnaire of health-related quality of life (KIDSCREEN) as a measure of needs for health care services. J Adolesc Health 2006; 38(5):511-518.
  • 9
    Ravens-Sieberer U, Erhart M, Gosch A, Wille N. European KIDSCREEN Group. Mental health of children and adolescents in 12 European countries-results from the European KIDSCREEN study. Clin Psychol Psychother 2008; 15(3):154-163.
  • 10
    Palacio-Vieira JA, Villalonga-Olives E, Alonso J, Valderas JM, Herdman M, Espallargues M, Berra S, Rajmil L. Brief report: The KIDSCREEN follow-up study on Health-related Quality of Life (HRQoL) in Spanish children and. Pilot test and representativeness. J Adolesc 2010; 33(1):227-231.
  • 11
    Silveira MF, Almeida JC, Freire RS, Ferreira RC, Martins AE, Marcopito LF. Quality of life among adolescents: a cross-sectional study using the SF-12 questionnaire. Cien Saude Colet 2013; 18(7):2007-2015.
  • 12
    Pane S, Solans M, Gaite L, Serra-Sutton V, Estrada M, Rajmil L. Instrumentos de calidad de vida relacionada con la salud en edad pediátrica Revisión sistemática de la literatura: actualización Barcelona: Agència d'Avaluació de Tecnologia i Recerca Mèdiques; 2006.
  • 13
    Rajmil L, Roizen M, Urzúa A, Hidalgo-Rasmussen C, Fernández G, Dapueto JJ. Health-related quality of life measurement in children and adolescents in Ibero-American countries, 2000 to 2010. Value Health 2012; 15(2):312-322.
  • 14
    Soares AH, Martins AJ, Lopes Mda C, Britto JA, Oliveira CQ, Moreira MC. Quality of life of children and adolescents: a bibliographical review. Cien Saude Colet 2011; 16(7):3197-3206.
  • 15
    Berra S, Bustingorry V, Henze C, Diaz M, Rajmil L, Butinof M. Adaptación transcultural del cuestionario KIDSCREEN para medir calidad de vida relacionada con la salud en población argentina de 8 a 18 años. Arch Argent Pediatr 2009; 107(4):307-314.
  • 16
    Aymerich M, Berra S, Guillamon I, Herdman M, Alonso J, Ravens-Sieberer U, Rajmil L. Desarrollo de la versión en español del KIDSCREEN, un cuestionario de calidad de vida para la población infantil y adolescente. Gac Sanit 2005; 19(2):93-102.
  • 17
    Ravens-Sieberer U, Gosch A, Rajmil L, Erhart M, Bruil J, Power M, Duer W, Auquier P, Cloetta B, Czemy L, Mazur J, Czimbalmos A, Tountas Y, Hagquist C, Kilroe J; KIDSCREEN Group. The KIDSCREEN-52 quality of life measure for children and adolescents: psychometric results from a cross-cultural survey in 13 European countries. Value Health 2008; 11(4):645-658.
  • 18
    The KIDSCREEN Group. Description of the KIDSCREEN instruments. [Internet]. 2004 [acceso 2013 jun 3]. Disponible en: http://www.kidscreen.org/español/el-proyecto-kidscreen/
    » http://www.kidscreen.org/español/el-proyecto-kidscreen/
  • 19
    Guedes D, Guedes J. Translation, cross-cultural adaptation and psychometric properties of the KIDSCREEN-52 for the Brazilian population. Rev paul pediatr 2011; 29(3):364-371.
  • 20
    Sepúlveda PR, Molina GT, Molina CR, Martínez NV, González AE, L MG, Montaño E R, Hidalgo-Rasmussen C. Adaptación transcultural y validación de un instrumento de calidad de vida relacionada con la salud en adolescentes chilenos. Rev Med Chil 2013; 141(10):1283-1292.
  • 21
    Jaimes-Valencia M, Cabrero R, Flores-Alarcón L, Palacio J. Calidad de vida relacionada con la salud en niños (as) - adolescentes: adaptación cultural del instrumento KIDSCREEN-52 en Colombia. En: Libro de ponencias del X Encuentro Internacional de investigación en Enfermería; 2006; Madrid. p. 75-77.
  • 22
    Gaspar T, Matos M. Qualidade de vida em crianças e adolescentes versão portuguesa dos instrumentos KIDSCREEN 52. Lisboa: Aventura Social e Saúde; 2008.
  • 23
    Scientific Advisory Comitee of the Medical Outcomes Trust. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res 2002; 11(3):193-205.
  • 24
    The KIDSCREEN Group. KIDSCREEN Translation Manual. [Internet]. 2004 [acceso 2009 nov 17]. Disponible en: http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
    » http://kidscreen.port4949.net/cms/sites/kidscreen.port4949.net/files/KIDSCREEN_ Translation_Manual.pdf
  • 25
    Valderas JM, Ferrer M, Mendivil J, Garin O, Rajmil L, Herdman M, Alonso J. Scientific Committee on "Patient-Reported Outcomes" of the IRYSS Network. Development of EMPRO: A Tool for the Standardized Assessment of Patient-Reported Outcome Measures. Value Health 2008; 11(4):700-708.
  • 26
    Berra S, Tebé C, Esandi ME, Carignano C. Reliability and validity of the KIDSCREEN-52 questionnaire to measure health related quality of life in the 8 to 18 year-old Argentinean population. Arch Argent Pediatr 2013; 111(1):29-36.
  • 27
    Lloyd K. Kids' Life and Times: using an Internet survey to measure children's health-related quality of life. Qual Life Res 2011; 20(1):37-44.
  • 28
    Nunnally J, Bernstein I. Teoría psicométrica. Brasília, DF: McGraw-Hill; 1995.
  • 29
    Faul F, Erdfelder E, Buchner A, Lang AG. Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behav Res Methods 2009; 41(4):1149-1160.
  • 30
    Analitis F, Klein M, Ravens-Sieberer U, Detmar S, Erhart M, Herdman M, Berra S, Alonso J, Rajmil L; European Kidscreen Group. Being bullied: associated factors in children and adolescents 8 to 18 years old in 11 European countries. Pediatrics 2009; 123(2):569-577.

Fechas de Publicación

  • Publicación en esta colección
    Jul 2014

Histórico

  • Recibido
    17 Jun 2013
  • Acepto
    05 Oct 2013
ABRASCO - Associação Brasileira de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: revscol@fiocruz.br