Evidências de validade do instrumento Eventos de Vida Produtores de Estresse (EVPE)

Marta Rizzini Alcione Miranda dos Santos Antônio Augusto Moura da Silva Sobre os autores

RESUMO

OBJETIVO

Avaliar a validade de construto de uma lista com oito Eventos de Vida Estressantes em gestantes.

MÉTODOS

Foi conduzido um estudo transversal com 1.446 gestantes em São Luís, MA, e 1.364 em Ribeirão Preto, SP (coorte BRISA), de fevereiro de 2010 a junho de 2011. Na análise fatorial exploratória, utilizou-se a rotação oblíqua promax e para o cálculo da consistência interna, a confiabilidade composta. A validade de construto foi determinada por meio da análise fatorial confirmatória com o método de estimação dos mínimos quadrados ponderados ajustados pela média e variância.

RESULTADOS

O modelo com o melhor ajuste na análise exploratória foi o que reteve três fatores com uma variância acumulada de 61,1%. O modelo com um fator não obteve um bom ajuste em ambas as amostras na análise confirmatória. O modelo com três fatores denominado Eventos de Vida Produtores de Estresse apresentou um bom ajuste (RMSEA < 0,05; CFI/TLI > 0,90) para as duas amostras.

CONCLUSÕES

Os Eventos de Vida Produtores de Estresse constituem um construto de segunda ordem com três dimensões relacionadas à saúde, aos aspectos pessoais e financeiros e à violência. Este estudo encontrou evidências que confirmam a validade de construto de uma lista de eventos estressores, intitulado Inventário de Eventos de Vida Produtores de Estresse.

Gestantes; Estresse Psicológico; Acontecimentos que mudam a vida; Escalas; Estudos de Validação

INTRODUÇÃO

O estresse é muito comum na gestação por ser um período de intensas mudanças na vida da mulher sob o ponto de vista psicológico, social e físico11. Cardwell MS. Stress: pregnancy considerations. Obstet Gynecol Surv. 2013;68(2):119-29. https://doi.org/10.1097/OGX.0b013e31827f2481
https://doi.org/10.1097/OGX.0b013e31827f...
,22. Segato L, Andrade A, Vasconcellos DIC, Matias TS, Rolim MKSB. Ocorrência e controle do estresse em gestantes sedentárias e fisicamente ativas. Rev Educ Fis UEM. 2009;20(1):121-9. https://doi.org/10.4025/reveducfis.v20i1.6062
https://doi.org/10.4025/reveducfis.v20i1...
. Complicações na gravidez induzidas por estresse representam uma importante causa de morbidade e mortalidade materna e perinatal11. Cardwell MS. Stress: pregnancy considerations. Obstet Gynecol Surv. 2013;68(2):119-29. https://doi.org/10.1097/OGX.0b013e31827f2481
https://doi.org/10.1097/OGX.0b013e31827f...
.

O estresse na gestação pode ser estudado por meio da avaliação de Eventos de Vida (EV), que são experiências vitais de característica física ou psicológica. Podem representar mudanças significativas ou discretas nesse período de vida. Os EV, quando investigados a partir da perspectiva do estresse, são chamados de Eventos de Vida Estressantes (EVE) (stressful life events)33. Woyciekoski C, Natividade JC, Hutz CS. Eventos de vida constituem um construto? Evidências da impossibilidade de considerar eventos de vida um construto. Temas Psicol. 2014;22(1):13-24. https://doi.org/10.9788/TP2014.1-02
https://doi.org/10.9788/TP2014.1-02...
.

Apesar dos constantes debates sobre os métodos de mensuração dos EVE (checklist/escala ou entrevista), a listagem padronizada de estressores continua a ser a abordagem mais utilizada para a avaliação do estresse em estudos epidemiológicos, por sua facilidade de administração e baixo custo44. Monroe SM. Modern approaches to conceptualizing and measuring human life stress. Annu Rev Clin Psychol. 2008;4:33-52. https://doi.org/10.1146/annurev.clinpsy.4.022007.141207
https://doi.org/10.1146/annurev.clinpsy....
.

Existem diversos checklists desenvolvidos e validados em diversos países para medir os EVE. A maioria é constituída por longas listas de eventos, alguns ultrapassando 100 eventos estressores55. Chen MJ, Grobman WA, Gollan JK, Borders AE. The use of psychosocial stress scales in preterm birth research. Am J Obstet Gynecol. 2011;205(5):402-34. https://doi.org/10.1016/j.ajog.2011.05.003
https://doi.org/10.1016/j.ajog.2011.05.0...
. Entretanto, muitas vezes, essas listas são utilizadas em pesquisas com modificações para atender às características da amostra e diminuir o número de itens, o que aumenta em muito o tempo de aplicação66. Kramer MS, Lydon J, Séguin L, Goulet L, Kahn SR, McNamara H, Genest J, et al. Stress pathways to spontaneous preterm birth: the role of stressors, psychological distress, and stress hormones. Am J Epidemiol. 2009;169(11):1319-26. https://doi.org/10.1093/aje/kwp061
https://doi.org/10.1093/aje/kwp061...
,77. Ebbesen SMS, Zachariae R, Mehlsen MY, Thomsen D, Højgaard A, Ottosen L, et al. Stressful life events are associated with a poor in-vitro fertilization (IVF) outcome: a prospective study. Hum Reprod. 2009;24(9):2173-82. https://doi.org/10.1093/humrep/dep185
https://doi.org/10.1093/humrep/dep185...
. Com isso, muitos estudos escolhem EVE de diversos checklists sem fornecer informações sobre suas propriedades psicométricas33. Woyciekoski C, Natividade JC, Hutz CS. Eventos de vida constituem um construto? Evidências da impossibilidade de considerar eventos de vida um construto. Temas Psicol. 2014;22(1):13-24. https://doi.org/10.9788/TP2014.1-02
https://doi.org/10.9788/TP2014.1-02...
,88. Renzaho AMN, Houng B, Oldroyd J, Nicholson JM, D’Esposito F, Oldenburg B, et al. Stressful life events and the onset of chronic diseases among Australian adults: findings from a longitudinal survey. Eur J Public Health. 2014;24(1):57-62. https://doi.org/10.1093/eurpub/ckt007
https://doi.org/10.1093/eurpub/ckt007...
,99. Witt WP, Cheng ER, Wisk LE, Litzelman K, Chatterjee D, Mandel K, et al. Preterm birth in the United States: the impact of stressful life events prior to conception and maternal age. Am J Public Health. 2014;104 Suppl 1:S73-80. https://doi.org/10.2105/AJPH.2013.301688
https://doi.org/10.2105/AJPH.2013.301688...
. Grande parte dessas listas foi elaborada em países desenvolvidos entre as décadas de 1960 e 19901010. Roohafza H, Ramezani M, Sadeghi M, Shahnam M, Zolfagari B, Sarafzadegan N. Development and validation of the stressful life event questionnaire. Int J Public Health. 2011;56(4):441-8. https://doi.org/10.1007/s00038-011-0232-1
https://doi.org/10.1007/s00038-011-0232-...
, principalmente as mais utilizadas até hoje, quando os estressores tinham características e intensidades diferentes11–14.

Os EVE são utilizados para mensurar estresse com alguns desses checklists também no Brasil, porém com modificações ou simples traduções de escalas validadas em outros idiomas1515. Araújo de Morais N, Koller SH, Raffaelli M. Eventos estressores e indicadores de ajustamento entre adolescentes em situação de vulnerabilidade social no Brasil. Universitas Psychol. 2010 [cited 2017 Oct 20];9(3):787-806. Available from: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S1657-92672010000300015&lng=pt&nrm=iso&tlng=pt
http://www.scielo.org.co/scielo.php?scri...
,1616. Fortes-Burgos ACG, Neri AL, Cupertino APFB. Eventos de vida estressantes entre idosos brasileiros residentes na comunidade. Estud Psicol (Natal). 2009;14(1):69-75. https://doi.org/10.1590/S1413-294X2009000100009
https://doi.org/10.1590/S1413-294X200900...
. Há uma lacuna importante na avaliação da validade dessas escalas que medem EVE no Brasil.

Questiona-se se os EVE constituem ou não um construto pela impossibilidade de agrupá-los em dimensões e formar um construto33. Woyciekoski C, Natividade JC, Hutz CS. Eventos de vida constituem um construto? Evidências da impossibilidade de considerar eventos de vida um construto. Temas Psicol. 2014;22(1):13-24. https://doi.org/10.9788/TP2014.1-02
https://doi.org/10.9788/TP2014.1-02...
. Há problemas em relação à memória dos eventos e à confiabilidade em métodos de checklists que aferem os EVE. Considerando que medidas de EVE não são confiáveis ou são inválidas, essas deficiências poderiam atenuar sua associação com os resultados de saúde ou fazer essas relações difíceis de interpretar1717. Dohrenwend BP. Inventorying stressful life events as risk factors for psychopathology: toward resolution of the problem of intracategory variability. Psychol Bull. 2006;132(3):477-95. https://doi.org/10.1037/0033-2909.132.3.477
https://doi.org/10.1037/0033-2909.132.3....
.

Pesquisadores do Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro agruparam oito EVE por meio de perguntas fechadas, com respostas dicotômicas, cobrindo eventos ocorridos nos 12 meses anteriores1818. Lopes CS, Faerstein E. Confiabilidade do relato de eventos de vida estressantes em um questionário autopreenchido: Estudo Pró-Saúde. Rev Bras Psiquiatr. 2001;23(3):126-33. https://doi.org/10.1590/S1516-44462001000300004
https://doi.org/10.1590/S1516-4446200100...
. Os autores optaram pelo uso de perguntas simples e breves, um instrumento autoaplicável de fácil preenchimento. Estes oito EVE foram denominados Eventos de Vida Produtores de Estresse (EVPE).

No entanto, para que situações estressantes possam ser mensuradas com segurança é necessário garantir instrumentos válidos para aferir os EVPE. A abordagem por meio da análise exploratória e confirmatória é considerada uma ferramenta estatística apropriada para se obter a validade, identificando se os EVPE formam um construto. Portanto, esta pesquisa teve por objetivo avaliar a validade de construto dos oito itens de EVPE em gestantes brasileiras.

MÉTODOS

Este estudo psicométrico está vinculado à coorte denominada “Fatores Etiológicos do Nascimento Pré-Termo e Consequências dos Fatores Perinatais na Saúde da Criança: coortes de nascimento em duas cidades brasileiras”1919. Silva AAM, Simões VMF, Barbieri MA, Cardoso VC, Alves CMC, Thomaz EBAF, et al. A protocol to identify non-classical risk factors for preterm births: the Brazilian Ribeirão Preto and São Luís prenatal cohort (BRISA). Reprod Health. 2014;11(1):79. https://doi.org/10.1186/1742-4755-11-79
https://doi.org/10.1186/1742-4755-11-79...
. Esse projeto, denominado BRISA, foi desenvolvido pelo Programa de Pós-Graduação em Saúde Coletiva da Universidade Federal do Maranhão e pela Faculdade de Medicina de Ribeirão Preto.

Trata-se de amostras de conveniência devido à inexistência de registros de mulheres grávidas ou de mulheres que fazem o pré-natal em São Luís, MA, e Ribeirão Preto, SP, não sendo possível obter uma amostra representativa. As gestantes foram recrutadas nas principais maternidades públicas e privadas, sendo registradas para serem entrevistadas da 22ª à 25ª semana de gestação. As mulheres só eram incluídas no estudo se tivessem realizado o primeiro exame de ultrassonografia com menos de 20 semanas de gestação e se tivessem a intenção de ter o parto em uma das maternidades do município onde estava sendo realizado o estudo. As mulheres com gravidez múltipla não foram incluídas no estudo.

Foram recrutadas 1.447 gestantes de fevereiro de 2010 a junho de 2011, em São Luís. A amostra final para análise ficou com 1.446 participantes após a exclusão de uma gestante pelo não preenchimento do inventário utilizado nesta pesquisa. Em Ribeirão Preto, os dados foram coletados de fevereiro de 2010 a fevereiro de 2011. A amostra consistiu de 1.400 gestantes. Foram utilizados dados de 1.364 mulheres, pois 36 não completaram as informações sobre os EVPE.

Para a coleta de dados dos eventos estressores, utilizaram-se oito itens com relatos de EVPE, de acordo com o procedimento descrito por Lopes e Faerstein1818. Lopes CS, Faerstein E. Confiabilidade do relato de eventos de vida estressantes em um questionário autopreenchido: Estudo Pró-Saúde. Rev Bras Psiquiatr. 2001;23(3):126-33. https://doi.org/10.1590/S1516-44462001000300004
https://doi.org/10.1590/S1516-4446200100...
, incluído no Questionário do Pré-natal Autoaplicado do projeto BRISA. Os itens foram inquiridos usando uma lista com respostas dicotômicas (sim, não), com objetivo de medir o número de eventos estressores nos últimos 12 meses. Os itens abrangeram: problema de saúde que resultou em afastamento das atividades habituais por mais de um mês; internação hospitalar decorrente de doença ou acidente; falecimento de parente próximo; dificuldades financeiras severas; mudança forçada de moradia; separação ou divórcio; agressão física; e assalto ou roubo. Apesar da existência de escalas de gravidade para a avaliação de eventos estressores, estudos priorizam o uso de perguntas diretas e simples e avaliam o papel da ocorrência de mais de um evento pelo escore relativo ao número de eventos2020. Kingston D, Heaman M, Fell D, Dzakpasu S, Chalmers B. Factors associated with perceived stress and stressful life events in pregnant women: findings from the Canadian Maternity Experiences Survey. Matern Child Health J. 2012;16(1):158-68. https://doi.org/10.1007/s10995-010-0732-2
https://doi.org/10.1007/s10995-010-0732-...
.

Foram realizadas análises descritivas das duas amostras nas quais estimaram-se frequências absolutas e relativas. Verificou-se a frequência de respostas positivas à presença de eventos estressores com utilização do teste para proporções (p < 0,05) para averiguar diferenças estatisticamente significantes entre as duas amostras.

O estudo foi realizado em duas etapas. Foram avaliados os dados de São Luís e depois os de Ribeirão Preto, cujo objetivo era verificar a estabilidade da solução fatorial em dois diferentes grupos. Foram utilizadas as amostras totais para São Luís (n = 1.446) e Ribeirão Preto (n = 1.364) nas análises exploratória e confirmatória com as mesmas analisadas independentemente, seguindo os mesmos passos e procedimentos.

Na exploração dos dados, foi utilizada a Análise Fatorial Exploratória (AFE), com método de extração dos fatores, o estimador de mínimos quadrados ponderados robustos (WLSMV) para uso com variáveis categóricas. Para determinar o número de fatores a serem retidos, considerou-se os eigenvalues > 1 e utilizou-se o critério da variância acumulada, em que a extração dos fatores é continuada até alcançar o patamar de 60% da variância. O objetivo é identificar o número mínimo de fatores que maximizam a quantidade de variância total explicada2121. Damásio BF. Uso da análise fatorial exploratória em psicologia. Aval Psicol. 2012 [cited 2017 Oct 20];11(2):213-28. Available from: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007
http://pepsic.bvsalud.org/scielo.php?scr...
,2222. Figueiredo Filho DB, ilva Júnior JA. Visão além do alcance: uma introdução à análise fatorial. Opiniao Publica. 2010;16(1):160-85. https://doi.org/10.1590/S0104-62762010000100007
https://doi.org/10.1590/S0104-6276201000...
. Para facilitar a interpretação dos resultados, foi utilizada a rotação fatorial oblíqua promax, pois permite que os fatores sejam correlacionados entre si2323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
.

Na estrutura fatorial final da AFE, verificou-se a existência de cargas fatoriais similares em dois ou mais fatores em um mesmo item, com a diferença entre os valores absolutos das cargas menores do que 0,102323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
. Foram consideradas significativas as cargas fatoriais quando acima de 0,30, valor mínimo necessário para a variável ser um representante útil do fator2323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
.

Na Análise Fatorial Confirmatória (AFC), a validade de construto foi avaliada testando-se três modelos. O modelo unidimensional (modelo 1) era constituído das oito variáveis observadas (item 1 ao 8). Os modelos 2 e 3 foram testados com três fatores latentes conforme resultado da AFE (estrutura fatorial de primeira ordem) e um fator de segunda ordem para determinar se as três dimensões latentes formavam o construto EVPE. O modelo 3 foi gerado a partir dos Índices de Modificação (IM) que sugerem modificações em relação à hipótese inicial. O método de estimação utilizado foi o mesmo citado anteriormente (WLSMV), recomendado para análise de variáveis categóricas e também a matriz de correlação tetracórica no caso de dados binários2424. Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512.,2525. Wang J, Wang X. Structural equation modeling: aplications using Mplus. Noida: Thomson Digital; 2012..

Foram utilizados os seguintes índices de qualidade do ajuste (goodness of fit): a) p < 0,05 e limite superior do intervalo de confiança de 90% < 0,08 para o RMSEA (Root Mean Square Error of Approximation)2525. Wang J, Wang X. Structural equation modeling: aplications using Mplus. Noida: Thomson Digital; 2012.; b) valores maiores do que 0,90 para os índices incrementais (Comparative Fit Index [CFI] e Tucker-Lewis Index [TLI]); c) valor menor do que 1 para o índice WRMR (Weighted Root Mean Square Resisual)2424. Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512.,2525. Wang J, Wang X. Structural equation modeling: aplications using Mplus. Noida: Thomson Digital; 2012.. O qui-quadrado, graus de liberdade e p-valor foram avaliados, porém não foram adotados como parâmetros para o ajuste do modelo, devido à sua sensibilidade ao tamanho da amostra.

Em sequência, foi avaliada a consistência interna para os modelos 2 e 3 por meio da confiabilidade composta, na qual valores ≥ 0,70 são considerados satisfatórios2424. Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512.. As correlações entre os fatores foram avaliadas e conforme recomendação da literatura, os valores > 0,85 foram considerados sugestivos de ausência de validade fatorial discriminante2323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
.

Os dados foram inseridos no pacote estatístico Stata 11.0. Para as análises exploratória e confirmatória, foi utilizado o pacote estatístico Mplus, versão 7.0 (Muthén & Muthén, Los Angeles, Estados Unidos).

Este estudo foi aprovado pelos comitês de ética do Hospital Universitário da Universidade Federal do Maranhão (Protocolo 4771/2008-30) e do Hospital Universitário da Faculdade de Medicina de Ribeirão Preto (Protocolo 4116/2008). As gestantes assinaram termo de consentimento livre e esclarecido. Um acompanhante adulto também assinou o termo para as menores de 18 anos.

RESULTADOS

Na amostra de São Luís (n = 1.446), a média de idade foi de 25,7 anos (DP = 5,5) e 75,4% tinham cursado o ensino médio. Na classe C, estavam 67,7%, seguida pelas classes D/E com 16,4% e A/B com 15,9%. Em Ribeirão Preto (n = 1.364), a média de idade foi de 25,9 anos (DP = 6,9) e 64,7% possuíam o ensino médio como maior escolaridade. A classe C correspondia a 60,0%, 27,9% às classes A/B e 11,7% às classes D/E.

Os itens com maior e menor porcentagens de respostas positivas aos EVPE para São Luís foram o 4 (37,2%) e o 8 (8,0%), respectivamente. Igualmente, em Ribeirão Preto o 4 (37,6%) e o 8 (4,9%), respectivamente. Apenas os itens relacionados aos aspectos financeiros (itens 4 e 5) não obtiveram significância estatística nas amostras de São Luís e Ribeirão Preto em relação às porcentagens de respostas positivas à presença de eventos estressores (Tabela 1).

Tabela 1
Itens da lista de Eventos de Vida Produtores de Estresse (EVPE) e porcentagens de respostas positivas. São Luís, MA, e Ribeirão Preto, SP, 2010 a 2011.

Com o objetivo de testar se os EVPE se agruparam em dimensões foi realizada a Análise Fatorial Exploratória (AFE). Na avaliação da estrutura fatorial, o modelo com o melhor ajuste foi o que reteve três fatores com uma variância acumulada de 61,1%. A AFE com três dimensões apresentou o melhor ajuste em São Luís (RMSEA = 0,000; CFI = 1,000; TLI = 1,031) e Ribeirão Preto (RMSEA = 0,000; CFI = 1,000; TLI = 1,020): a) o fator 1 (itens 1 e 2) formando a dimensão denominada Saúde; b) o fator 2 (itens 3, 4, 5 e 6) representando a dimensão Aspectos Pessoais e Financeiros; c) o fator 3 (itens 7 e 8) gerando a dimensão Violência. Todas as cargas ficaram acima de 0,30 com exceção do item 3 (falecimento de parente próximo) na amostra de São Luís. Esse item inicialmente não foi excluído, pois na AFE o tamanho da amostra é considerado para identificar uma carga fatorial como significativa2323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
,2525. Wang J, Wang X. Structural equation modeling: aplications using Mplus. Noida: Thomson Digital; 2012.. A decisão sobre a permanência ou exclusão desse item foi decidida pela AFC, na qual mostrou que a preservação do item melhorou o ajuste do modelo.

Na Análise Fatorial Confirmatória (AFC), foram testados três modelos para avaliar se os oito itens de eventos estressores realmente mediam o construto EVE. O modelo unidimensional (Modelo 1) não obteve bom ajuste em São Luís e Ribeirão Preto (Tabela 2). O modelo gerado a partir do agrupamento dos itens revelados na AFE com três dimensões (Modelo 2) apresentou o melhor ajuste em São Luís (RMSEA = 0,023; CFI = 0,978; TLI = 0,963) (Tabela 2 e Figura 1) e Ribeirão Preto (RMSEA = 0,033; CFI = 0,956; TLI = 0,927) (Tabela 2 e Figura 2).

Tabela 2
Índices de ajuste para o modelo com um fator (modelo 1) e modelos com três fatores (modelos 2 e 3). São Luís, MA, e Ribeirão Preto, SP, 2010 a 2011.

Figura 1
Análise fatorial confirmatória do modelo tridimensional (modelo 2) para gestantes. São Luís, MA, 2010 a 2011.

Figura 2
Análise fatorial confirmatória do modelo tridimensional (modelo 2) para gestantes. Ribeirão Preto, SP, 2010 a 2011.

As estimativas padronizadas das cargas fatoriais das variáveis observadas (itens do instrumento) ficaram acima de 0,50, com exceção da carga referente ao item 3 para São Luís (0,212) e itens 3 (0,144) e 7 (0,480) para Ribeirão Preto, porém, todas foram significativas (p < 0,001). Quando as três dimensões formaram o construto EVPE, as cargas ficaram acima de 0,7, com exceção do fator saúde para as amostras de São Luís (0,550) e Ribeirão Preto (0,461) (Tabela 3).

Tabela 3
Cargas fatoriais padronizadas da análise fatorial confirmatória, estimativas de confiabilidade e correlação entre fatores para os modelos tridimensionais 2 e 3. São Luís, MA, e Ribeirão Preto, SP, 2010 a 2011.

A confiabilidade composta para a amostra de São Luís foi de 0,70, 0,58 e 0,57 para as dimensões saúde, aspectos pessoais e financeiros e violência, respectivamente. Em Ribeirão Preto a confiabilidade composta foi de 0,76, 0,58 e 0,52, respectivamente (Tabela 3). A validade discriminante foi satisfatória para ambas as amostras.

O ajuste do Modelo 3 foi bom para as duas cidades. Neste, incorporou-se a modificação sugerida com valor mais alto (IM = 16,092) com o item 6 fazendo parte simultaneamente das dimensões aspectos pessoais e financeiros e violência. Entretanto, as cargas fatoriais desse item não apresentaram significância estatística para São Luís (0,063) e Ribeirão Preto (0,750), e não foi considerado teoricamente plausível (Tabela 3).

DISCUSSÃO

Os EVPE aplicados em duas cidades brasileiras apresentaram evidências de constituírem um construto de segunda ordem. Isso possibilitou que fossem mensurados objetivamente em mulheres grávidas. Estes foram denominados Inventário de Eventos de Vida Produtores de Estresse (IEVPE). O IEVPE apresentou boa qualidade psicométrica, formando uma estrutura com dimensões denominadas saúde, aspectos pessoais/financeiros e violência, arranjo identificado na AFE e corroborado na AFC.

Uma limitação deste estudo é o uso de uma amostra de conveniência que restringe a validade externa dos resultados. No entanto, grande parte dos estudos de validação é realizada com amostras de conveniência e nos checklists mais utilizados de EVE validados internacionalmente; nenhum foi realizado em amostra representativa11–14. Os EVE examinados refletiram experiências nos 12 meses anteriores, uma limitação nos estudos com EVE. Contudo, devido à magnitude dos eventos observados (eventos de vida indesejáveis ou negativos), isso provavelmente não representou um problema para o IEVPE. A lembrança de grandes eventos estressores está menos sujeita à distorções como o são avaliações relacionadas ao humor e emoções2626. Horowitz M, Schaefer C, Hiroto D, Wilner N, Levin B. Life event questionnaires for measuring presumptive stress. Psychosom Med. 1977;39(6):413-31. https://doi.org/10.1097/00006842-197711000-00005
https://doi.org/10.1097/00006842-1977110...
.

Por outro lado, o tamanho amostral foi satisfatório para dar precisão às estimativas e o percentual de dados faltantes foi pequeno em São Luís (0,1%) e Ribeirão Preto (2,6%). Outro ponto positivo foi a evidência de validade fatorial discriminante. Os checklists mais utilizados para mensuração de EVE foram elaborados em países desenvolvidos em épocas prévias1010. Roohafza H, Ramezani M, Sadeghi M, Shahnam M, Zolfagari B, Sarafzadegan N. Development and validation of the stressful life event questionnaire. Int J Public Health. 2011;56(4):441-8. https://doi.org/10.1007/s00038-011-0232-1
https://doi.org/10.1007/s00038-011-0232-...
. Não continham, por exemplo, itens essenciais como agressão física e violência, estressores importantes em países em desenvolvimento com maiores níveis de violência. Com as mudanças de estilo de vida, muitos estressores importantes ficaram ausentes das listas e outros sem finalidade permaneceram, comprometendo os resultados. Por conseguinte, a vantagem do IEVPE é ser um instrumento simples, breve e válido para gestantes com estressores pertinentes e não específicos que abarcam os principais eventos causadores de estresse.

O modelo com o melhor ajuste na avaliação da estrutura fatorial realizada por meio da AFE foi o que reteve três fatores com os itens 1 e 2 na dimensão saúde (fator 1), do item 3 ao 6 na dimensão aspectos pessoais e financeiros (fator 2) e os itens 7 e 8 na dimensão violência (fator 3). A AFE revelou que o item 3 (falecimento de parente próximo) ficou com uma carga reduzida (0,218). Entretanto, esse item não foi excluído, pois também se considera o tamanho da amostra na análise exploratória para identificar uma carga fatorial como significativa, ou seja, uma carga entre 0,20 e 0,30 tem significância estatística em uma amostra grande (> 350)2424. Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512.. Da mesma forma, verificou-se que a permanência desse item melhorava o ajuste do modelo na AFC e a carga fatorial correspondente obteve significância estatística.

O item 6 (“Nos últimos 12 meses, você passou por algum rompimento de relação amorosa, incluindo divórcio ou separação?”) na AFE gerou cargas similares nos fatores relacionados aos aspectos pessoais e financeiros (0,433) e à violência (0,430). Isso sugere que a mesma variável poderia contribuir para a construção de dimensões distintas. Possivelmente, isso se deu pelo fato de que o término de relações amorosas (dimensão aspectos pessoais e financeiros) está correlacionado à agressão física (dimensão violência) entre os parceiros em parte da amostra de São Luís. No entanto, a diferença das cargas entre os fatores foi menor que 0,10 e foi utilizada uma perspectiva confirmatória. Os elementos teóricos justificam a permanência desse item2424. Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512., pois o “rompimento de relação amorosa” é considerado um dos principais fatores estressantes para gestantes22. Segato L, Andrade A, Vasconcellos DIC, Matias TS, Rolim MKSB. Ocorrência e controle do estresse em gestantes sedentárias e fisicamente ativas. Rev Educ Fis UEM. 2009;20(1):121-9. https://doi.org/10.4025/reveducfis.v20i1.6062
https://doi.org/10.4025/reveducfis.v20i1...
,1414. Dohrenwend BS, Askenasy AR, Krasnoff L, Dohrenwend BP. Exemplification of a method for scaling life events: The PERI Life Events Scale. J Health Soci Behav. 1978;19(2):205-29. https://doi.org/10.2307/2136536
https://doi.org/10.2307/2136536...
.

O modelo unidimensional (modelo 1) não apresentou ajuste satisfatório em ambas as cidades na AFC, reforçando os resultados da análise exploratória. Alguns checklists de EVE encontrados na literatura se apresentaram unidimensionais, porém validados por meio de coeficientes de correlação entre grupos ou entre instrumentos, sem investigação pela AFE1111. Holmes TH, Rahe RH. The social readjustment rating scale. J Psychosom Res. 1967;11(2):213-8. https://doi.org/10.1016/0022-3999(67)90010-4
https://doi.org/10.1016/0022-3999(67)900...
,1212. Sarason, IG, Johnson JH, Siegel JM. Assessing the impact of life changes: development of the Life Experiences Survey. J Consult Clin Psychol. 1978;46(5):932-46. https://doi.org/10.1037/0022-006X.46.5.932
https://doi.org/10.1037/0022-006X.46.5.9...
. Outros foram desenvolvidos com diversas dimensões1010. Roohafza H, Ramezani M, Sadeghi M, Shahnam M, Zolfagari B, Sarafzadegan N. Development and validation of the stressful life event questionnaire. Int J Public Health. 2011;56(4):441-8. https://doi.org/10.1007/s00038-011-0232-1
https://doi.org/10.1007/s00038-011-0232-...
,1313. Newton RW, Webster PA, Binu PS, Maskrey N, Phillips AB. Psychosocial stress in pregnancy and its relation to the onset of premature labour. BMJ. 1979;2(6187):411-3. https://doi.org/10.1136/bmj.2.6187.411
https://doi.org/10.1136/bmj.2.6187.411...
,1414. Dohrenwend BS, Askenasy AR, Krasnoff L, Dohrenwend BP. Exemplification of a method for scaling life events: The PERI Life Events Scale. J Health Soci Behav. 1978;19(2):205-29. https://doi.org/10.2307/2136536
https://doi.org/10.2307/2136536...
, contudo, o número variou segundo a amostra, tema em estudo e o número de estressores que constituem o instrumento.

O modelo tridimensional de segunda ordem (modelo 2) obteve os melhores índices de ajuste em ambas as cidades na AFC, o que evidenciou a validade de construto que reflete o construto teórico (EVPE), indicando valores relevantes. Esse modelo apresenta a dimensão denominada saúde com itens relacionados aos problemas de saúde e à internação, considerados importantes estressores, principalmente para mulheres grávidas1313. Newton RW, Webster PA, Binu PS, Maskrey N, Phillips AB. Psychosocial stress in pregnancy and its relation to the onset of premature labour. BMJ. 1979;2(6187):411-3. https://doi.org/10.1136/bmj.2.6187.411
https://doi.org/10.1136/bmj.2.6187.411...
. As escalas validadas e mais utilizadas em pesquisas que mensuram os EVE possuem perguntas sobre o aparecimento de doenças, sejam elas agudas ou crônicas10–14. A segunda dimensão está relacionada aos aspectos pessoais (término de relação amorosa e morte de parente próximo) e financeiros (dificuldades financeiras severas e mudança de residência) da gestante, sempre presentes nos checklists de EVE para qualquer população10–14. A dimensão violência – assaltos ou roubos e agressão física sofrida pela gestante – foi a que menos apareceu nas escalas validadas. Possivelmente, porque grande parte foi desenvolvida entre 1967 a 1981, período em que a violência não tinha a importância atual1010. Roohafza H, Ramezani M, Sadeghi M, Shahnam M, Zolfagari B, Sarafzadegan N. Development and validation of the stressful life event questionnaire. Int J Public Health. 2011;56(4):441-8. https://doi.org/10.1007/s00038-011-0232-1
https://doi.org/10.1007/s00038-011-0232-...
.

No modelo 2, apenas o item 3 obteve cargas fatoriais baixas em ambas as cidades (abaixo de 0,50), indicando o efeito direto pequeno que a variável latente (dimensão aspectos pessoais e financeiros) tem sobre o indicador observável (item 3). Na literatura, isso é explicado como problemas de compreensão do conteúdo e significado2323. Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
https://doi.org/10.1590/0102-311X0014361...
, porém não se aplica a um evento estressor tão marcante e pontual como a morte (“Nos últimos 12 meses, houve falecimento de algum parente próximo seu – pai, mãe, cônjuge, companheiro, filho ou irmão?”).

A confiabilidade obteve melhor resultado para a dimensão saúde em São Luís (0,70) e Ribeirão Preto (0,76), pois os itens 1 e 2 estão correlacionados (problemas de saúde e internação). Na dimensão aspectos pessoais e financeiros, observaram-se perguntas de diferentes tipos de eventos que geraram correlações menores (0,58 para ambas as amostras). Para a dimensão violência, a confiabilidade foi mais baixa em São Luís (0,57) e Ribeirão Preto (0,52), possivelmente por problemas relativos à baixa frequência de respostas positivas para a presença de eventos, gerando pouca variância para esses itens. O número reduzido de itens em estressores em escalas também diminui a confiabilidade2121. Damásio BF. Uso da análise fatorial exploratória em psicologia. Aval Psicol. 2012 [cited 2017 Oct 20];11(2):213-28. Available from: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007
http://pepsic.bvsalud.org/scielo.php?scr...
,2727. Streiner DL, Norman GR. Health measurement scales: a practical guide to their developmente and use. New York: Oxford University Press; 2006.. Estudos internacionais relataram problemas com a fidedignidade em lista de eventos estressores, porém utilizando o indicador de confiabilidade intra-observador1717. Dohrenwend BP. Inventorying stressful life events as risk factors for psychopathology: toward resolution of the problem of intracategory variability. Psychol Bull. 2006;132(3):477-95. https://doi.org/10.1037/0033-2909.132.3.477
https://doi.org/10.1037/0033-2909.132.3....
,2828. Klein DN, Rubovits DR. The reliability of subjects’ reports on stressful life events inventories: a longitudinal study. J Behav Med. 1987;10(5):501-12. https://doi.org/10.1007/BF00846147
https://doi.org/10.1007/BF00846147...
.

Um evento estressor muito presente em listas de EVE e não agrupado no IEVPE está relacionado à perda do emprego da gestante ou do parceiro, pois além da restrição quanto à questão financeira, gera também mudanças na rotina de vida do indivíduo1111. Holmes TH, Rahe RH. The social readjustment rating scale. J Psychosom Res. 1967;11(2):213-8. https://doi.org/10.1016/0022-3999(67)90010-4
https://doi.org/10.1016/0022-3999(67)900...
,1313. Newton RW, Webster PA, Binu PS, Maskrey N, Phillips AB. Psychosocial stress in pregnancy and its relation to the onset of premature labour. BMJ. 1979;2(6187):411-3. https://doi.org/10.1136/bmj.2.6187.411
https://doi.org/10.1136/bmj.2.6187.411...
. Outro evento relevante está relacionado aos problemas de saúde de familiares ou amigos1212. Sarason, IG, Johnson JH, Siegel JM. Assessing the impact of life changes: development of the Life Experiences Survey. J Consult Clin Psychol. 1978;46(5):932-46. https://doi.org/10.1037/0022-006X.46.5.932
https://doi.org/10.1037/0022-006X.46.5.9...
,1313. Newton RW, Webster PA, Binu PS, Maskrey N, Phillips AB. Psychosocial stress in pregnancy and its relation to the onset of premature labour. BMJ. 1979;2(6187):411-3. https://doi.org/10.1136/bmj.2.6187.411
https://doi.org/10.1136/bmj.2.6187.411...
. A introdução de itens relacionados à “perda de emprego” e “problemas de saúde de familiares ou amigos” para compor a dimensão relacionada ao financeiro e à dimensão saúde, respectivamente, seria um passo propício em estudos futuros.

Os Índices de Modificação (IM) geraram o modelo 3 nas duas amostras, sugerindo que o item 6 pudesse fazer parte das dimensões aspectos pessoais e financeiros e violência, simultaneamente. Essa modificação gerou redução do qui-quadrado do modelo e aumentou levemente o valor de algumas cargas fatoriais. Isso, porém, não é teoricamente plausível, pois o item 6 se refere a rompimento de relação amorosa (dimensão aspectos pessoais e financeiros), não compondo a dimensão violência. As cargas fatoriais desse item compondo duas dimensões não apresentaram significância estatística em ambas as amostras.

Concluindo, os EPVE formaram um construto de segunda ordem com dimensões relacionas à saúde, aos aspectos pessoais e financeiros e à violência para ambas as cidades. O modelo 2 mostrou um excelente ajuste e foi estruturalmente válido para mensurar EVPE em gestantes. Contudo, é necessário testar a inclusão de itens relacionados à “perda de emprego” e “problemas de saúde de familiares ou amigos”, importantes estressores relatados na literatura que poderiam aumentar a confiabilidade do instrumento.

Estressores têm papel relevante na precipitação de transtornos mentais e somáticos e são um assunto interessante para estudos clínicos e de base populacional. O IEVPE é uma ferramenta simples de triagem para fatores estressantes em ambientes clínicos e de cuidados primários e pode ser preenchido por pessoas de baixa escolarização.

Referências bibliográficas

  • 1
    Cardwell MS. Stress: pregnancy considerations. Obstet Gynecol Surv. 2013;68(2):119-29. https://doi.org/10.1097/OGX.0b013e31827f2481
    » https://doi.org/10.1097/OGX.0b013e31827f2481
  • 2
    Segato L, Andrade A, Vasconcellos DIC, Matias TS, Rolim MKSB. Ocorrência e controle do estresse em gestantes sedentárias e fisicamente ativas. Rev Educ Fis UEM. 2009;20(1):121-9. https://doi.org/10.4025/reveducfis.v20i1.6062
    » https://doi.org/10.4025/reveducfis.v20i1.6062
  • 3
    Woyciekoski C, Natividade JC, Hutz CS. Eventos de vida constituem um construto? Evidências da impossibilidade de considerar eventos de vida um construto. Temas Psicol. 2014;22(1):13-24. https://doi.org/10.9788/TP2014.1-02
    » https://doi.org/10.9788/TP2014.1-02
  • 4
    Monroe SM. Modern approaches to conceptualizing and measuring human life stress. Annu Rev Clin Psychol. 2008;4:33-52. https://doi.org/10.1146/annurev.clinpsy.4.022007.141207
    » https://doi.org/10.1146/annurev.clinpsy.4.022007.141207
  • 5
    Chen MJ, Grobman WA, Gollan JK, Borders AE. The use of psychosocial stress scales in preterm birth research. Am J Obstet Gynecol. 2011;205(5):402-34. https://doi.org/10.1016/j.ajog.2011.05.003
    » https://doi.org/10.1016/j.ajog.2011.05.003
  • 6
    Kramer MS, Lydon J, Séguin L, Goulet L, Kahn SR, McNamara H, Genest J, et al. Stress pathways to spontaneous preterm birth: the role of stressors, psychological distress, and stress hormones. Am J Epidemiol. 2009;169(11):1319-26. https://doi.org/10.1093/aje/kwp061
    » https://doi.org/10.1093/aje/kwp061
  • 7
    Ebbesen SMS, Zachariae R, Mehlsen MY, Thomsen D, Højgaard A, Ottosen L, et al. Stressful life events are associated with a poor in-vitro fertilization (IVF) outcome: a prospective study. Hum Reprod. 2009;24(9):2173-82. https://doi.org/10.1093/humrep/dep185
    » https://doi.org/10.1093/humrep/dep185
  • 8
    Renzaho AMN, Houng B, Oldroyd J, Nicholson JM, D’Esposito F, Oldenburg B, et al. Stressful life events and the onset of chronic diseases among Australian adults: findings from a longitudinal survey. Eur J Public Health. 2014;24(1):57-62. https://doi.org/10.1093/eurpub/ckt007
    » https://doi.org/10.1093/eurpub/ckt007
  • 9
    Witt WP, Cheng ER, Wisk LE, Litzelman K, Chatterjee D, Mandel K, et al. Preterm birth in the United States: the impact of stressful life events prior to conception and maternal age. Am J Public Health. 2014;104 Suppl 1:S73-80. https://doi.org/10.2105/AJPH.2013.301688
    » https://doi.org/10.2105/AJPH.2013.301688
  • 10
    Roohafza H, Ramezani M, Sadeghi M, Shahnam M, Zolfagari B, Sarafzadegan N. Development and validation of the stressful life event questionnaire. Int J Public Health. 2011;56(4):441-8. https://doi.org/10.1007/s00038-011-0232-1
    » https://doi.org/10.1007/s00038-011-0232-1
  • 11
    Holmes TH, Rahe RH. The social readjustment rating scale. J Psychosom Res. 1967;11(2):213-8. https://doi.org/10.1016/0022-3999(67)90010-4
    » https://doi.org/10.1016/0022-3999(67)90010-4
  • 12
    Sarason, IG, Johnson JH, Siegel JM. Assessing the impact of life changes: development of the Life Experiences Survey. J Consult Clin Psychol. 1978;46(5):932-46. https://doi.org/10.1037/0022-006X.46.5.932
    » https://doi.org/10.1037/0022-006X.46.5.932
  • 13
    Newton RW, Webster PA, Binu PS, Maskrey N, Phillips AB. Psychosocial stress in pregnancy and its relation to the onset of premature labour. BMJ. 1979;2(6187):411-3. https://doi.org/10.1136/bmj.2.6187.411
    » https://doi.org/10.1136/bmj.2.6187.411
  • 14
    Dohrenwend BS, Askenasy AR, Krasnoff L, Dohrenwend BP. Exemplification of a method for scaling life events: The PERI Life Events Scale. J Health Soci Behav. 1978;19(2):205-29. https://doi.org/10.2307/2136536
    » https://doi.org/10.2307/2136536
  • 15
    Araújo de Morais N, Koller SH, Raffaelli M. Eventos estressores e indicadores de ajustamento entre adolescentes em situação de vulnerabilidade social no Brasil. Universitas Psychol. 2010 [cited 2017 Oct 20];9(3):787-806. Available from: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S1657-92672010000300015&lng=pt&nrm=iso&tlng=pt
    » http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S1657-92672010000300015&lng=pt&nrm=iso&tlng=pt
  • 16
    Fortes-Burgos ACG, Neri AL, Cupertino APFB. Eventos de vida estressantes entre idosos brasileiros residentes na comunidade. Estud Psicol (Natal). 2009;14(1):69-75. https://doi.org/10.1590/S1413-294X2009000100009
    » https://doi.org/10.1590/S1413-294X2009000100009
  • 17
    Dohrenwend BP. Inventorying stressful life events as risk factors for psychopathology: toward resolution of the problem of intracategory variability. Psychol Bull. 2006;132(3):477-95. https://doi.org/10.1037/0033-2909.132.3.477
    » https://doi.org/10.1037/0033-2909.132.3.477
  • 18
    Lopes CS, Faerstein E. Confiabilidade do relato de eventos de vida estressantes em um questionário autopreenchido: Estudo Pró-Saúde. Rev Bras Psiquiatr. 2001;23(3):126-33. https://doi.org/10.1590/S1516-44462001000300004
    » https://doi.org/10.1590/S1516-44462001000300004
  • 19
    Silva AAM, Simões VMF, Barbieri MA, Cardoso VC, Alves CMC, Thomaz EBAF, et al. A protocol to identify non-classical risk factors for preterm births: the Brazilian Ribeirão Preto and São Luís prenatal cohort (BRISA). Reprod Health. 2014;11(1):79. https://doi.org/10.1186/1742-4755-11-79
    » https://doi.org/10.1186/1742-4755-11-79
  • 20
    Kingston D, Heaman M, Fell D, Dzakpasu S, Chalmers B. Factors associated with perceived stress and stressful life events in pregnant women: findings from the Canadian Maternity Experiences Survey. Matern Child Health J. 2012;16(1):158-68. https://doi.org/10.1007/s10995-010-0732-2
    » https://doi.org/10.1007/s10995-010-0732-2
  • 21
    Damásio BF. Uso da análise fatorial exploratória em psicologia. Aval Psicol. 2012 [cited 2017 Oct 20];11(2):213-28. Available from: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007
    » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007
  • 22
    Figueiredo Filho DB, ilva Júnior JA. Visão além do alcance: uma introdução à análise fatorial. Opiniao Publica. 2010;16(1):160-85. https://doi.org/10.1590/S0104-62762010000100007
    » https://doi.org/10.1590/S0104-62762010000100007
  • 23
    Reichenheim ME, Hökerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saude Publica. 2014;30(5):927-39. https://doi.org/10.1590/0102-311X00143613
    » https://doi.org/10.1590/0102-311X00143613
  • 24
    Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5.ed. Porto Alegre: Bookman; 2005. p.489-512.
  • 25
    Wang J, Wang X. Structural equation modeling: aplications using Mplus. Noida: Thomson Digital; 2012.
  • 26
    Horowitz M, Schaefer C, Hiroto D, Wilner N, Levin B. Life event questionnaires for measuring presumptive stress. Psychosom Med. 1977;39(6):413-31. https://doi.org/10.1097/00006842-197711000-00005
    » https://doi.org/10.1097/00006842-197711000-00005
  • 27
    Streiner DL, Norman GR. Health measurement scales: a practical guide to their developmente and use. New York: Oxford University Press; 2006.
  • 28
    Klein DN, Rubovits DR. The reliability of subjects’ reports on stressful life events inventories: a longitudinal study. J Behav Med. 1987;10(5):501-12. https://doi.org/10.1007/BF00846147
    » https://doi.org/10.1007/BF00846147

  • Financiamento: Fundação de Amparo à Pesquisa e ao desenvolvimento Científico e Tecnológico do Maranhão (FAPEMA – Processos 0035/2008, 00356/11 e 01362-11). Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp – Processo 2008-53593-0). Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq – Processos 471923/2011- 7 e 561058/2010-5).

Datas de Publicação

  • Publicação nesta coleção
    26 Fev 2018

Histórico

  • Recebido
    31 Jul 2016
  • Aceito
    2 Abr 2017
Faculdade de Saúde Pública da Universidade de São Paulo São Paulo - SP - Brazil
E-mail: revsp@org.usp.br