Validade e reprodutibilidade de questionário baseado na Internet (Web-CAAFE) para avaliação do consumo alimentar de escolares de 7 a 15 anos

Validity and reproducibility of an Internet-based questionnaire (Web-CAAFE) to evaluate the food consumption of students aged 7 to 15 years

Validez y reproducibilidad de un cuestionario en Internet (Web-CAAFE) para evaluar el consumo de alimentos de escolares de 7 a 15 años

Gilmar Mercês de Jesus Maria Alice Altenburg de Assis Emil Kupek Sobre os autores

Resumos

O estudo avaliou a validade e a reprodutibilidade da seção de consumo de alimentos do questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE), um software baseado na Internet para a medida qualitativa do consumo alimentar por meio da recordação do dia anterior. Participaram do estudo 390 escolares do 2º ao 5º ano do Ensino Fundamental (7 a 15 anos), de uma escola pública de período semi-integral. A validade foi testada pela comparação entre o relato no Web-CAAFE e a observação direta de alimentos consumidos no ambiente escolar no dia anterior. A reprodutibilidade foi avaliada em uma subamostra de 92 escolares, pela comparação de relatos repetidos no Web-CAAFE no mesmo dia. Probabilidades de acurácia do relato no Web-CAAFE em relação à observação (acertos, omissões e intrusões e respectivos intervalos de 95% de confiança) entre sete grupos alimentares foram estimadas via regressão logística multinomial. A média para a taxa de acertos foi de 81,4% (variação: 62% doces e 98% feijão); para a taxa de omissões, foi de 16,2% (variação entre 2,1% laticínios e 28,5% doces); para a taxa de intrusão, foi de 7,1% (variação entre 1,3% feijão e 13,8% cereais). Doces, cereais e alimentos processados, salgadinhos e frituras exibiram simultaneamente maiores taxas de omissão e de intrusão. Estudantes com 10 anos ou mais exibiram menores probabilidades de intrusão de itens alimentares. Não houve variações significativas na acurácia do relato entre as medidas repetidas. O Web-CAAFE foi um instrumento válido e confiável para a avaliação do consumo alimentar, quando aplicado a escolares do segundo ao quinto ano da escola pública.

Consumo de Alimentos; Estudantes; Internet; Inquéritos e Questionários; Reprodutibilidade dos Testes


The study evaluated the validity and reproducibility of the food consumption section of the questionnaire Food Intake and Physical Activity of School Children (Web-CAAFE), an Internet-based software for the qualitative measurement of food consumption by recalling the previous day. A total of 390 students in grades 2 to 5 (7 to 15 years) of a semi-integral public school participated in the study. The validity was tested by comparing the report in the Web-CAAFE and the direct observation of food consumed in the school in the previous day. The reproducibility was evaluated in a sub-sample of 92 schoolchildren, by comparing repeated reports in the Web-CAAFE on the same day. Probabilities of accuracy in the Web-CAAFE report in relation to the observation (matches, omissions and intrusions and respective 95% confidence intervals) among seven food groups were estimated through multinomial logistic regression. The average for the match rate was 81.4% (variation: 62% sweets and 98% beans); for the omission rate was 16.2% (variation between 2.1% dairy products and 28.5% sweets); for the intrusion rate was 7.1% (variation between 1.3% beans and 13.8% cereals). Sweets, cereals and processed foods, snack foods and fried foods simultaneously exhibited higher rates of omission and intrusion. Students 10 years of age or older had lower probabilities of intruding food items. There were no significant variations in the accuracy of the report between repeated measures. The Web-CAAFE was a valid and reliable instrument for the evaluation of food consumption, when applied to students in grades 2 to 5 of public schools.

Food Consumption; Students; Internet; Surveys and Questionnaires; Reproducibility of Results


El estudio evaluó la validez y la reproducibilidad de la sección de consumo de alimentos del cuestionario Consumo Alimentario y Actividad Física de los Escolares (Web-CAAFE), un software basado en Internet para la medición cualitativa de la ingesta de alimentos a través del recuerdo del día anterior. Un total de 390 estudiantes en los grados 2 a 5 (7 a 15 años) de una escuela pública semi-integral participaron en el estudio. La validez se evaluó mediante la comparación del informe en el Web-CAAFE y la observación directa de los alimentos consumidos en la escuela el día anterior. La reproducibilidad se evaluó en una submuestra de 92 escolares, mediante la comparación de repetidos informes en la Web-CAAFE en el mismo día. Las probabilidades de exactitud en el informe del Web-CAAFE en relación con la observación (éxitos, omisiones e intrusiones y respectivos intervalos de 95% de confianza) entre siete grupos de alimentos se estimaron mediante regresión logística multinomial. El promedio de la tasa de éxito fue de 81.4% (variación: 62% dulces y 98% frijoles); para la tasa de omisión fue del 16,2% (variación: 2,1% productos lácteos y 28,5% dulces); para la tasa de intrusión fue del 7,1% (variación: 1,3% frijoles y 13,8% cereales). Los dulces, los cereales y los alimentos procesados, los bocadillos y los alimentos fritos exhibían simultáneamente mayores tasas de omisión e intrusión. Los estudiantes de 10 años de edad o más tenían probabilidades más bajas de intrusión de alimentos. No hubo variaciones significativas en la exactitud del informe entre medidas repetidas. El Web-CAAFE fue un instrumento válido y confiable para la evaluación del consumo de alimentos, cuando se aplicó a los estudiantes de los grados 2 a 5 de las escuelas públicas.

Consumo de Alimentos; Estudiantes; Internet; Encuestas y Cuestionarios; Reproducibilidad de Resultados


Introdução

Nos últimos anos, foram desenvolvidos e validados diversos instrumentos computacionais de avaliação do consumo alimentar para crianças e adolescentes 11. Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203.,22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74..

A principal vantagem da incorporação das novas tecnologias na avaliação dietética é a redução dos custos na coleta e no processamento de informações 11. Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203.,22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.. Instrumentos interativos, baseados no computador ou na Internet, também exibem boa aceitabilidade entre crianças e adolescentes e proporcionam controle da qualidade da entrada de dados (por exemplo, evitando o registro de informações implausíveis e padronizando o processamento dos dados) 11. Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203..

Geralmente, instrumentos computacionais utilizam a técnica do recordatório do dia anterior ou 24 horas, dispõem de recursos audiovisuais para atrair a atenção do respondente e auxiliar seu processo cognitivo relacionado à memória para o relato dos alimentos 11. Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203.,22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.. Esses questionários são alternativas promissoras a serem empregadas em estudos populacionais, de monitoramento e no planejamento de políticas públicas.

Alinhado a essa tendência, foi desenvolvido, no Brasil, o questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE), uma ferramenta computacional baseada na recordação do dia anterior que avalia atividade física, comportamentos sedentários, modos de deslocamento para a escola, consumo alimentar, satisfação com a alimentação escolar e estado nutricional de escolares de 7 a 10 anos de idade 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31..

No primeiro estudo de validação da seção de consumo alimentar do Web-CAAFE 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., em média, houve 43% de acertos, 29% de intrusões e 28% de omissões em comparação com o consumo alimentar diretamente observado no ambiente escolar, indicando a realização de novas pesquisas para melhorar a validade e para testar a reprodutibilidade, qualidade psicométrica ainda não avaliada.

Potenciais diferenças culturais entre as regiões e cidades brasileiras, com relação aos diferentes tipos de alimentos consumidos, também tornam importante a realização de estudos complementares para avaliar o Web-CAAFE.

Com efeito, os ícones de alimentos incluídos nas telas do Web-CAAFE foram selecionados a partir de estudos na cidade de Florianópolis, Santa Catarina, Brasil 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., e podem não representar os hábitos de escolares de outras cidades brasileiras.

O objetivo do presente estudo foi avaliar a validade e a reprodutibilidade da seção sobre consumo alimentar do Web-CAAFE entre escolares de uma cidade de grande porte do Nordeste do Brasil.

Métodos

Desenho

O estudo de confiabilidade ou concordância 88. Medronho RA, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. 2ª Ed. São Paulo: Editora Atheneu; 2009., para avaliar a validade e a reprodutibilidade do Web-CAAFE entre escolares do Ensino Fundamental, foi conduzido de maio a agosto de 2014 na cidade de Feira de Santana (Bahia). O estudo incluiu a validação da seção de atividade física 99. Jesus GM, Assis MAA, Kupek E, Dias LA. Avaliação da atividade física de escolares com um questionário via internet. Rev Bras Med Esporte 2016; 22:261-6. e a avaliação da qualidade do preenchimento dos dados de peso e estatura, em comparação com medidas aferidas. Este artigo apresenta as análises de validade e reprodutibilidade da seção de consumo alimentar do Web-CAAFE.

Participantes

A amostragem foi de conveniência e abrangeu escolares do segundo ao quinto ano de uma escola pública de tempo semi-integral. A escola participante foi selecionada por atender ao protocolo de pesquisa que previa realizar o estudo numa instituição pública de Ensino Fundamental, com sala informatizada e acesso à Internet, com oferta de alimentação escolar e com interesse do diretor e de professores em colaborar na pesquisa.

Foram convidados a fazer parte do estudo todos os estudantes com frequência regular na ocasião da coleta de dados (n = 453). O tamanho da amostra foi determinado para a pesquisa com objetivo mais amplo, isto é, validade das seções de consumo alimentar, atividade física e autopreenchimento de peso e estatura. Na etapa de validade, o tamanho amostral foi determinado, a priori, com base em estudo prévio de validação de instrumento de consumo alimentar de escolares 1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26., cujos parâmetros foram: sensibilidade esperada de 75%, margem de erro de 20% para limite inferior dessa sensibilidade e prevalência de 50%. Assim, a amostra calculada foi de 124 indivíduos 1111. Flahault A, Cadilhac M, Thomas G. Sample size calculation should be performed for design accuracy in diagnostic test studies. J Clin Epidemiol 2005; 58:859-62.. O estudo de reprodutibilidade foi conduzido 30 dias após o estudo de validade. O tamanho da subamostra foi calculado com base na média e no desvio padrão de peso corporal dos participantes (dados obtidos na etapa de validade), considerando os seguintes parâmetros: (a) expectativa de diferença média entre as etapas igual a zero e desvio padrão igual a 11,46kg; e (b) tamanho amostral suficiente para detectar a diferença de 10% da média inicial (33,3kg) ou maior na etapa da reprodutibilidade. Os erros do tipo I (alfa) e II (beta) foram fixados em 0,05 e 0,20, respectivamente. Logo, o nível de significância (“valor de p”) e o poder do teste (1-beta) foram definidos como 5% e 80%, respectivamente. Assim, a subamostra calculada foi igual a 93. Neste estudo, foi importante distinguir entre dois tipos de erro com relação ao método de referência (observação direta do consumo alimentar): falso positivo (“intrusão”) e falso negativo (“omissão”), equivalentes às frações complementares de sensibilidade e especificidade, respectivamente.

Além desse cálculo amostral, a priori, calculou-se o poder do teste estatístico post-hoc para detectar a diferença de ± 25% entre as médias 1111. Flahault A, Cadilhac M, Thomas G. Sample size calculation should be performed for design accuracy in diagnostic test studies. J Clin Epidemiol 2005; 58:859-62., considerando os valores com diferença menor, suficientemente precisos para avaliar o atendimento das principais recomendações alimentares 1212. Kupek E, de Assis MA, Bellisle F, Lobo AS. Validity of WebCAAFE questionnaire for assessment of schoolchildren's dietary compliance with Brazilian Food Guidelines. Public Health Nutr 2016; 19:2347-56.. Esse cálculo foi embasado nos valores empíricos das médias, desvio padrão e reprodutibilidade dos relatos de consumo dos grupos alimentares analisados 1212. Kupek E, de Assis MA, Bellisle F, Lobo AS. Validity of WebCAAFE questionnaire for assessment of schoolchildren's dietary compliance with Brazilian Food Guidelines. Public Health Nutr 2016; 19:2347-56..

O estudo seguiu as normas para pesquisas com seres humanos (Resolução nº 466/2012 da Comissão Nacional de Ética em Pesquisa), tendo sido aprovado pelo Comitê de Ética em Pesquisa da Universidade Estadual de Feira de Santana (CAAE: 19499913.3.0000.0053). Os participantes obtiveram autorização dos pais ou responsáveis, via Termo de Consentimento Livre e Esclarecido, e também leram e assinaram um Termo de Assentimento.

Informações sobre sexo, idade e turno escolar foram obtidas com a secretaria da escola. Dados sobre uso de computador doméstico foram obtidos com o escolar, por meio de um questionário estruturado. Peso corporal e estatura dos escolares foram mensurados por professores de educação física treinados, seguindo metodologia recomendada. No presente estudo, dados de peso corporal foram utilizados somente para o cálculo amostral do estudo de reprodutibilidade.

Instrumentos

Questionário Web-CAAFE

O Web-CAAFE é um software construído para um sistema de monitoramento de consumo alimentar e de atividades físicas de escolares do segundo ao quinto ano do Ensino Fundamental. Sua concepção foi baseada no estágio de desenvolvimento cognitivo de crianças de 7 a 10 anos de idade, faixa etária que engloba a maioria dos escolares matriculados entre o segundo e quinto ano do Ensino Fundamental 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.. O aplicativo é um software de browser, que utiliza linguagem PHP5, HTML5, CSS3, Java Script e múltiplas plataformas (Windows/Linux/Mac OS), pode ser executado em navegadores como Internet Explorer, Firefox, Chrome e Safari e requer acesso à Internet e alto-falantes (ou fones de ouvido). O usuário acessa o sistema fazendo o login com uma senha específica para cada inquérito, escola, data e período do dia (manhã ou tarde), para evitar respostas duplicadas 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31..

O questionário é composto por um formulário de registro (nome da criança, sexo, idade, ano escolar, turno de estudo, peso, altura, nome da mãe), uma seção destinada ao consumo alimentar e outra dedicada às atividades físicas e comportamentos sedentários, incluindo formas de deslocamento para a escola 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.. O aplicativo tem 90 telas, e o tempo médio de preenchimento é de 13 minutos (http://www.caafe.ufsc.br/public/uploads_midias/1381079027.pdf).

O design da interface dessa ferramenta permite situar as crianças no tempo (dia de ontem), no espaço (refeições e atividades físicas ordenadas cronologicamente) e estimular a imaginação visual (ilustração dos alimentos em seis refeições diárias e das atividades em três períodos do dia), com o propósito de facilitar o processo de recuperação de informações. O aplicativo dispõe de um avatar animado que guia o preenchimento do questionário 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31..

O Web-CAAFE focaliza a questão na escolha de até 32 tipos de alimentos marcadores de alimentação saudável e não saudável e 32 tipos de atividades físicas e comportamentos sedentários realizados no dia anterior, uma vez que o instrumento não é um questionário com perguntas abertas, tal como um recordatório de 24 horas. Isso evita as dificuldades associadas ao conceito de quantidade de alimentos, bem como de duração, intensidade e frequência da atividade física, habilidades cognitivas ainda não desenvolvidas entre crianças de 7 a 10 anos 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.,1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26..

O Web-CAAFE contém um banco de dados com 300 ícones (ilustrações) de alimentos, preparações mistas (por exemplo, pratos com arroz, vegetais e carnes) e bebidas. O pesquisador pode selecionar até 32 opções dessa lista para compor a tela de alimentos de cada evento alimentar, permitindo o ajuste de acordo com especificidades culturais locais da dieta e ou alterações no interesse de pesquisa. A lista de 300 ícones foi elaborada com base em cinco fontes de pesquisa: (a) alimentos investigados na pesquisa de orçamento familiar 1313. Instituto Brasileiro de Geografia e Estatística. Pesquisa de orçamentos familiares 2008-2009: análise do consumo alimentar pessoal no Brasil. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2011., (b) cardápios da alimentação escolar, (c) grupos focais realizados com nutricionistas 1414. Davies VF, Kupek E, de Assis MA, Engel R, da Costa FF, Di Pietro PF, et al. Qualitative analysis of the contributions of nutritionists to the development of an online instrument for monitoring the food intake of schoolchildren. J Hum Nutr Diet 2015; 28 Suppl 1:65-72., (d) identificação da frequência de alimentos e bebidas registrados em diário alimentar de sete dias consecutivos por alunos de escolas públicas de Florianópolis, e (e) resultados dos testes de usabilidade 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.. A decisão de limitar a tela a 32 ícones foi fundamentada na opinião de especialistas em cognição infantil, os quais orientaram que o número de ilustrações deveria estar em torno de 30 para não causar sobrecarga à memória das crianças 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31..

A seção de consumo alimentar permite avaliar a frequência de consumo do dia anterior de forma qualitativa (questões sobre quantidades não foram incluídas), uma vez que é estruturada em seis eventos alimentares dispostos em ordem cronológica (café da manhã, lanche da manhã, almoço, lanche da tarde, jantar e lanche da noite). Após a escolha dos alimentos e bebidas, as crianças podem verificar todas as refeições para adicionar ou excluir itens específicos em uma tela de checagem 66. da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102..

Observação direta

O critério de referência para a validade foi a observação direta dos alimentos e bebidas consumidos no ambiente escolar, abrangendo as refeições preparadas na escola (alimentação escolar), as compradas em estabelecimentos comerciais nas proximidades da escola e os alimentos que os escolares traziam de casa. A equipe de observadores foi composta por professores de educação física, nutricionistas e universitários (nutrição, biomedicina, educação física) treinados pelo pesquisador responsável, seguindo protocolo padronizado 1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26..

A observação da alimentação no ambiente escolar é um critério de referência considerado de alta qualidade para a validação de ferramentas de avaliação do consumo alimentar, pois fornece uma medida direta do que é consumido 1515. Smith AF, Baxter SD, Hardin JW, Guinn CH, Royer JA, Litaker MS. Validation-study conclusions from dietary reports by fourth-grade children observed eating school meals are generalisable to dietary reports by comparable children not observed. Public Health Nutr 2007; 10:1057-66., sendo independente do questionário-teste e da memória para o autorrelato 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.,1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26..

A observação ocorreu no dia anterior à aplicação do Web-CAAFE, durante todo o horário do recreio e do lanche. Foi anotado o tipo de alimento/bebida, sem menção a quantidades. Durante o recreio, os estudantes ocupavam todo o espaço do pátio da escola e se deslocavam rapidamente de um lugar para o outro. Os observadores foram posicionados em setores distintos da escola e observaram todas as crianças identificadas com crachás codificados e pulseiras coloridas que passavam em seu setor. No horário do lanche, as observações foram realizadas na sala de aula, local onde os alunos realizavam a refeição escolar.

As anotações eram comparadas ao fim do período, e, então, o registro final de observação era preenchido. Discordâncias eram resolvidas por consenso, a partir da comparação dos múltiplos registros.

Procedimentos

O estudo ocorreu em quatro etapas (Figura 1): (1) identificação de alimentos e bebidas tipicamente consumidos entre os participantes; (2) treinamento da equipe de pesquisa em situação real de coleta de dados para conduzir a observação de maneira não obstrutiva e reduzir a reatividade dos participantes; (3) estudo da validade; e (4) estudo da reprodutibilidade teste-reteste.

Figura 1
Fluxograma dos estudos de validação e reprodutibilidade do questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE).

Na primeira etapa, alimentos e bebidas tipicamente consumidos pelos participantes foram identificados por meio de três estratégias: reunião com a direção, corpo docente e merendeira para conhecer o perfil de consumo no ambiente escolar; observação sistemática dos alimentos e bebidas consumidos na escola em uma semana letiva típica e aplicação de um diário alimentar de sete dias consecutivos numa amostra de 154 estudantes, de ambos os turnos, sorteados no terceiro (31,2%), no quarto (33,1%) e no quinto ano (35,7%). O percentual de consumo de alimentos e bebidas registrados por estudantes que preencheram, pelo menos, quatro dias de diários foi: bebidas açucaradas (82,5%); pães e biscoitos (81,6%); cereais e raízes (76,3%); leguminosas (63,5%); carne bovina e suína (50%); leite e derivados (48%); frutas (29,2%); massas (27,4%); carne branca (23%); doces (22,1%); bolos (21%); verduras e legumes (16,2%); guloseimas gordurosas (15,5%); salgados e preparações (10,7%); ovos (9,7%); embutidos (8,8%); alimentos regionais (5,8%); manteiga/margarina (4,8%). Esses dados forneceram informações adicionais para a seleção dos ícones alimentares contidos na versão do questionário validada no presente estudo.

Em comparação com a versão validada em Florianópolis 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., a versão do questionário utilizada no presente estudo não incluiu os ícones de sucrilhos e nuggets, pois não apresentaram frequência nos diários alimentares nem eram consumidos tipicamente na alimentação escolar. Assim, a seção de consumo alimentar do Web-CAAFE para a validação em Feira de Santana foi composta por 30 ícones de alimentos e bebidas.

Na etapa da validade, o consumo alimentar dos participantes foi registrado via observação direta, durante o horário do recreio e do lanche, que ocorriam separadamente e de forma sequencial. No dia seguinte, os escolares preencheram o Web-CAAFE na sala informatizada da escola, após receberem explicações sobre o preenchimento do questionário, via instrução verbal auxiliada por banners que exibiam os ícones da seção de consumo alimentar. A equipe de pesquisa forneceu ajuda quando solicitada, sem induzir respostas, e os estudantes receberam orientação para não interagirem durante a tarefa.

O estudo da reprodutibilidade ocorreu um mês após a etapa da validade de critério com subamostra de 100 escolares, sorteados entre os concluintes da primeira etapa. Os escolares preencheram o Web-CAAFE duas vezes, uma no início e outra no fim do turno escolar. O intervalo entre as medidas repetidas (teste: T1 e reteste: T2) foi de três horas, porque os participantes permaneciam na escola apenas um turno (tempo semi-integral). Em adição, o instrumento avaliado refere-se ao dia anterior, assim foi necessário que o teste e o reteste ocorressem no mesmo turno. O consumo alimentar do dia anterior também foi observado nessa subamostra, como medida de controle da acurácia das respostas.

Desse modo, os dados analisados compreenderam duas observações diretas da alimentação durante o período escolar e três preenchimentos para cada participante de ambas as etapas do estudo.

Processamento e análise dos dados

Os bancos de dados gerados pelo Web-CAAFE (etapas de validade e de reprodutibilidade) foram exportados, tratados e analisados no software Stata, versão 12.0 (StataCorp LP, College Station, Estados Unidos).

Os itens alimentares diretamente observados e relatados no Web-CAAFE foram classificados em sete grupos: (1) laticínios (leite, café com leite, iogurte e queijo), (2) cereais (pão/bolacha sem recheio, bolo simples, farinha/farofa, milho/batata/purê, macarrão/lasanha, mingau, arroz), (3) feijão, (4) carnes, peixes e ovos (carne, peixe/frutos do mar, ovo/omelete), (5) frutas, legumes e verduras (frutas/salada de frutas, legumes, verduras e sopa de verduras), (6) doces (achocolatado, suco de fruta, suco de caixinha, bolacha recheada, refrigerante, balas, chocolates, tortas) e (7) alimentos processados, salgadinhos e frituras (miojo, batata frita, embutidos, salgadinhos, salgados fritos/assados).

A análise incluiu estatística descritiva para apresentação das características da amostra e das porcentagens de itens alimentares observados e relatados. Com a finalidade de comparações com estudos similares 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., a acurácia do relato em relação ao método de referência (observação direta) foi expressa por taxas de acerto (matches) definidas como itens relatados no Web-CAAFE que também foram observados; taxas de omissão (omissions) definidas pelos itens observados, mas que não foram relatados no Web-CAAFE; e taxas de intrusão (intrusions) definidas pelos itens relatados no Web-CAAFE, mas que não foram observados, para cada participante, e apresentadas para cada grupo alimentar. Os valores não foram ponderados. Aplicaram-se as seguintes fórmulas 7:

Taxa de acerto = [acertos/(acertos + omissões + intrusões)] x 100

Taxa de omissão = [omissões/(acertos + omissões + intrusões)] x 100

Taxa de intrusão = [intrusões /(acertos + omissões + intrusões)] x 100

O preenchimento do Web-CAAFE abrangeu as seis refeições do dia anterior, mas as análises de validade foram conduzidas somente com os dados de consumo realizados no ambiente escolar (lanche da manhã ou da tarde). Por exemplo, para escolares do turno matutino, foram estimadas taxas de acerto, omissão e intrusão comparando o relato no Web-CAAFE de alimentos e bebidas consumidos no lanche da manhã com aqueles diretamente observados na hora do recreio e do lanche realizado na escola no turno da manhã.

A variável idade não apresentou distribuição normal (teste Kolmogorov-Smirnov), desse modo, foi apresentada por meio dos valores da mediana e da amplitude interquartílica.

As probabilidades de acerto, omissão, intrusão e respectivos intervalos de 95% de confiança (IC95%) entre os grupos alimentares relatados no Web-CAAFE e os observados foram estimados por meio da regressão logística multinomial, utilizando os acertos como referência. As variáveis independentes foram sexo, idade (estratificada em 7-9 anos e 10-15 anos), uso de computador doméstico (sim/não) e etapa do estudo (validade ou reprodutibilidade teste e reteste). A significância estatística foi avaliada pelo valor de p ≤ 0,05 e pela não interposição dos IC95%.

Resultados

Características da amostra

No total, 416 (91,8%) estudantes concordaram em participar e retornaram o consentimento assinado pelos pais. Houve 0,4% de recusas, 4% de estudantes não autorizados a participar, e 3,8% não deram retorno do consentimento assinado pelos pais.

Ao fim da etapa de validade, 26 estudantes não estavam presentes no dia da observação ou do preenchimento do Web-CAAFE, e seus dados foram descartados. Assim, foram analisados os dados de 390 estudantes nessa etapa; dos quais, 87 eram do segundo ano; 88, do terceiro; 105, do quarto; e 112, do quinto ano. A faixa etária foi de 6,5 a 15 anos, mediana de idade = 9,5 anos; 50,3% de meninas; 44,4% sem uso de computador doméstico.

Na etapa da reprodutibilidade, oito participantes se ausentaram no dia da observação ou do preenchimento do Web-CAAFE. Logo, foram obtidos dados válidos de 92 estudantes; dos quais, 22 eram do segundo ano; 24, do terceiro; 22, do quarto; e 24, do quinto ano. Nessa etapa, a faixa etária foi de 7 a 15 anos, mediana de idade = 9,3 anos; 50% de meninas; 36,7% sem uso de computador doméstico.

Validade do Web-CAAFE

As taxas médias de acertos, omissões e intrusões foram, respectivamente, 81,4%, 16,2% e 7,1% na etapa de validade. As taxas de acertos de itens alimentares relatados no Web-CAAFE, em comparação com a observação direta, variaram entre 62% (doces) e 98,7% (feijão). As taxas de omissões variaram entre 2,1% (laticínios) e 28,5% (doces). Não houve omissão para o relato do feijão e das carnes, peixes e ovos. As taxas de intrusões variaram entre 1,3% (feijão) e 13,8% (cereais) (Tabela 1).

Tabela 1
Percentual de consumo relatado e observado, taxas de acertos, omissões e intrusões de grupos de alimentos relados no questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE) em comparação com dados diretamente observados nas etapas de validade e reprodutibilidade teste (T1) e reteste (T2).

As probabilidades de acerto entre o relato no Web-CAAFE e a observação direta foram, em geral, altas, sendo superiores a 90% para o feijão e para os grupos dos laticínios e carnes, peixes e ovos. Menores taxas (≥ 60%) ocorreram para cereais, doces e alimentos processados, salgadinhos e frituras. Não foram observadas diferenças substanciais nas taxas de acerto conforme idade, sexo, uso de computador e etapa do estudo (Tabela 2).

Tabela 2
Probabilidades de acerto entre grupos alimentares observados e relatados no questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE).

As maiores probabilidades de omissão no relato no Web-CAAFE foram observadas para os grupos dos cereais, dos doces e dos alimentos processados, salgadinhos e frituras; enquanto as menores foram observadas nos grupos dos laticínios e das frutas, vegetais, legumes e verduras. Escolares mais jovens (7-9 anos) omitiram mais os doces (Tabela 3).

Tabela 3
Probabilidades de omissão entre grupos alimentares observados e relatados no questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE).

As probabilidades de intrusão no relato no Web-CAAFE foram, em geral, baixas (variando de 1% a 14%), sendo menores para os grupos dos laticínios, feijão, carnes, peixes e ovos, e frutas, vegetais, legumes e verduras. Cereais, doces e alimentos processados, salgadinhos e frituras exibiram maiores probabilidades de intrusão (variando de 9% a 14%). Escolares com 10 anos ou mais, em geral, apresentaram menores probabilidades de intrusão do que congêneres mais novos, exceto nos doces (Tabela 4).

Tabela 4
Probabilidade de intrusões entre grupos alimentares observados e relatados no questionário Consumo Alimentar e Atividade Física de Escolares (Web-CAAFE).

Não foram encontradas diferenças significantes (não interposição dos IC95%) nas probabilidades de acerto, omissão e intrusão em função das variáveis moderadoras selecionadas na maioria dos grupos de alimentos analisados. Houve apenas maior intrusão de cereais entre escolares que usavam computador doméstico.

Reprodutibilidade do Web-CAAFE

A partir dos dados válidos de 92 escolares, o poder do teste estatístico para detectar a diferença de ±25% entre as médias dos grupos alimentares na aplicação repetida do Web-CAAFE ultrapassou 90% para todos os grupos, exceto para laticínios (24,4%).

Geralmente, as probabilidades de acertos entre o relato no Web-CAAFE em comparação com a observação direta não apresentaram variação significativa na segunda resposta (fim do turno) em relação à primeira (início do turno). Somente no grupo das frutas, legumes e verduras houve maior probabilidade de acertos no segundo relato em comparação com o primeiro (Tabela 3).

Quanto às probabilidades de omissão, apenas os doces foram mais omitidos no primeiro relato comparado ao segundo. Não houve variação significativa nas probabilidades de omissões entre as duas respostas para os demais grupos de alimentos (Tabela 4). As probabilidades de intrusão também não foram substancialmente diferentes entre as medidas repetidas do Web-CAAFE (Tabela 4).

Discussão

Este é o segundo estudo de validação do Web-CAAFE, tendo sido realizado numa cidade do Nordeste com características socioeconômicas e culturais diferentes de Florianópolis, onde foi conduzida a primeira validação do instrumento. Assim, os resultados obtidos podem contribuir para o refinamento da ferramenta, tendo, em conta, os diferentes contextos das regiões do país.

O levantamento prévio dos alimentos e bebidas tipicamente consumidos pelos participantes do atual estudo, realizado para adequar a lista de ícones da seção de consumo alimentar do Web-CAAFE validado em Florianópolis 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102. às características de consumo locais, revelou ser necessário suprimir apenas dois ícones (nuggets e sucrilhos). Os demais alimentos foram comuns entre a versão original do instrumento 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102. e a nova versão validada no atual estudo. Essa é uma etapa importante quando da validação do Web-CAAFE em diferentes regiões brasileiras, pois possibilita a seleção de ícones mais adequados aos hábitos alimentares locais.

Comidas típicas (acarajé, cuscuz de milho, vatapá, caruru, beiju de tapioca) foram relatadas nos diários alimentares por 5,8% dos estudantes, mas não foram incluídas na nova versão do questionário, porque não são disponibilizadas no banco de dados do Web-CAAFE. Adaptações na instrução para o preenchimento do instrumento foram feitas, considerando essa limitação. Isto é, os participantes foram orientados a compatibilizar as preparações consumidas com os ícones de alimentos apresentados nas telas (selecionar o ícone de milho, para relatar o consumo de cuscuz, por exemplo).

O relato do consumo alimentar no Web-CAAFE apresentou alta taxa de acertos (81,4%) e baixa taxa de omissões (16,2%) e intrusões (7,1%) com relação à observação direta, quando considerados todos os alimentos combinados. Dentre os grupos alimentares analisados, doces, cereais e alimentos processados, salgadinhos e frituras exibiram simultaneamente as maiores taxas de omissão e de intrusão.

Estudantes com 10 anos ou mais exibiram simultaneamente menor probabilidade de omissão entre o relato no Web-CAAFE e a observação direta e menor probabilidade de intrusão de itens do que congêneres mais novos. Não foram notadas diferenças nas probabilidades de acerto, omissão e intrusão com relação a sexo e uso de computador doméstico, com exceção dos cereais, que exibiram maior probabilidade de intrusão entre escolares que usavam computador doméstico. Em adição, não foram observadas variações substanciais nas probabilidades de acertos, omissões e intrusões de itens alimentares quando comparadas as medidas repetidas do Web-CAAFE, indicando que o instrumento é confiável para a avaliação do consumo alimentar de escolares na faixa etária deste estudo.

Comparações entre os resultados deste estudo e de instrumentos similares que utilizaram a observação direta como critério de referência para a validação são limitadas pelas diferenças metodológicas, sobretudo nos métodos de estimação das taxas de acertos, omissões e intrusões entre os estudos, particularmente pela inclusão de quantidades de alimentos descritas em medidas caseiras 33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74. e por outros detalhes da ponderação dos escores 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.. Em adição, as subcategorias de alimentos selecionadas para relatar taxas de omissões e de intrusões não são diretamente comparáveis entre os estudos. Tendo isso em conta, o presente estudo encontrou taxas de acertos superiores e taxas de omissões e intrusões de itens alimentares geralmente inferiores às encontradas por outros instrumentos computacionais aplicados a crianças e adolescentes 33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74..

Por outro lado, o desempenho do Web-CAAFE foi similar ao do Web-based Dietary Assessment Software for Children (Web-DASC) entre escolares dinamarqueses de 8 a 11 anos de idade cujas taxas de acertos, omissões e intrusões para todos os alimentos e bebidas foram 82%, 14% e 3%, respectivamente 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95..

O Web-CAAFE também apresentou maior acurácia no atual estudo quando comparado aos resultados de sua primeira validação 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.. Embora os procedimentos de validação nos dois estudos tenham sido similares, houve distinções quanto à instrução para o preenchimento do questionário e quanto à estratégia de diminuição da reatividade dos participantes em função da observação direta. No presente estudo, os participantes receberam instruções sobre o preenchimento do Web-CAAFE uma vez na etapa da validade e outra na etapa da reprodutibilidade. Na última, a instrução foi dada para pequenos grupos (até seis estudantes), contribuindo para uma melhor atenção e concentração. Essas estratégias podem ter impactado positivamente na qualidade do relato, influenciando, sobretudo, os escores de reprodutibilidade.

O tempo entre a refeição e o relato (intervalo de retenção) também é um fator que influencia a precisão do relato do consumo de alimentos entre escolares 1616. Baxter SD, Guinn CH, Royer JA, Hardin JW, Mackelprang AJ, Smith AF. Accuracy of children's school-breakfast reports and school-lunch reports (in 24-hour dietary recalls) differs by retention interval. Eur J Clin Nutr 2009; 63:1394-403.. O relato tende a ser mais preciso quando o intervalo de retenção é menor, resultando em aumento das taxas de acertos e diminuição das taxas de omissões e de intrusões 1616. Baxter SD, Guinn CH, Royer JA, Hardin JW, Mackelprang AJ, Smith AF. Accuracy of children's school-breakfast reports and school-lunch reports (in 24-hour dietary recalls) differs by retention interval. Eur J Clin Nutr 2009; 63:1394-403.. Embora o Web-CAAFE refira-se ao consumo de alimentos do dia anterior, no presente estudo, os participantes preencheram o instrumento, pela primeira vez, pouco menos de 24 horas após a refeição observada (relatos do lanche da manhã e do lanche da tarde foram feitos no início na manhã e no início da tarde do dia seguinte, respectivamente). Portanto, esse intervalo de retenção pode ter influenciado positivamente a acurácia e a confiabilidade do Web-CAAFE no presente estudo.

A idade é um reconhecido fator que influencia a qualidade do preenchimento de questionários de consumo alimentar. Estudos indicaram que crianças a partir de oito anos exibem maior habilidade para relatar os alimentos consumidos 11. Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.,1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26.. No atual estudo, foi notado melhor desempenho no preenchimento do Web-CAAFE entre estudantes com dez anos ou mais. O desempenho de escolares com oito anos ou menos no preenchimento do Web-CAAFE (valores não apresentados nas tabelas) também foi melhor no presente estudo do que na primeira validação do instrumento 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., quando considerados os itens alimentares combinados. Em Feira de Santana, as taxas de acerto, omissão e intrusão nessa faixa etária foram de 76,1%, 16,9% e 11,3%, respectivamente, enquanto, em Florianópolis, foram de 36,6%, 31,4% e 32% 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102..

Poucos são os estudos que incluíram a avaliação de variáveis moderadoras durante a validação de instrumentos nutricionais computacionais. Os resultados disponíveis indicam que a acurácia desses instrumentos tende a ser maior entre estudantes que possuem computador doméstico 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., cujos pais detêm maior nível educacional 44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273. e maior renda 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102., e entre crianças com status do peso normal 44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273..

No presente estudo, não houve diferenças nas probabilidades de acerto, omissão e intrusão com relação ao sexo. Resultado similar foi encontrado na primeira validação do instrumento 77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.. Embora sejam requeridos conhecimentos de informática para concluir o Web-CAAFE, também não foram notadas diferenças quanto ao uso de computador doméstico para a maioria dos grupos de alimentos analisados, com exceção dos cereais.

O grupo dos doces apresentou as maiores taxas de omissões em estudos de validação de questionários que utilizaram a observação direta 55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.,1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26., e os resultados do atual estudo estão alinhados a essa tendência. Alimentos processados, salgadinhos e frituras também apresentaram substancial taxa de omissão no presente estudo. Ambos constituem grupos de alimentos considerados como socialmente indesejáveis com relação a recomendações nutricionais difundidas 1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26., portanto, são mais propensos a omissões.

Os grupos dos doces e alimentos processados, salgadinhos e frituras também apresentaram altas taxas de intrusões no atual estudo. Em recordatórios de curto prazo, como é o caso do Web-CAAFE, confusões na memória episódica e o relato de informações alimentares genéricas - em parte relacionadas ao número de itens alimentares tipicamente consumidos - potencializam as taxas de intrusões entre crianças em idade escolar 1717. Baxter SD, Hardin JW, Royer JA, Guinn CH, Smith AF. Insight into the origins of intrusions (reports of uneaten food items) in children's dietary recalls, based on data from a validation study of reporting accuracy over multiple recalls and school foodservice production records. J Am Diet Assoc 2008; 108:1305-14.. Estudo realizado com crianças americanas do quarto ano (média de idade: 10,17 anos) mostrou que os itens mais disponíveis nos dias que antecederam ao relato foram mais prováveis de gerar intrusões no recordatório de 24 horas 1717. Baxter SD, Hardin JW, Royer JA, Guinn CH, Smith AF. Insight into the origins of intrusions (reports of uneaten food items) in children's dietary recalls, based on data from a validation study of reporting accuracy over multiple recalls and school foodservice production records. J Am Diet Assoc 2008; 108:1305-14..

Além disso, algumas intrusões são baseadas em memórias específicas de itens com os quais o indivíduo manteve contato, mas não consumiu durante o período do relato, ou que encontrou antes do período de relato, enquanto outras intrusões provavelmente ocorrem com base no conhecimento geral da dieta 1818. Smith AF, Baxter SD, Hardin JW, Royer JA, Guinn CH. Some intrusions in dietary reports by fourth-grade children are based on specific memories: data from a validation study of the effect of interview modality. Nutr Res 2008; 28:600-8.. A inclusão de múltiplos dias de observação para complementar as informações sobre a disponibilidade de itens alimentares e sobre o consumo do indivíduo avaliado pode auxiliar no controle desses efeitos 1818. Smith AF, Baxter SD, Hardin JW, Royer JA, Guinn CH. Some intrusions in dietary reports by fourth-grade children are based on specific memories: data from a validation study of the effect of interview modality. Nutr Res 2008; 28:600-8.. No atual estudo, porém, não foram coletadas informações com relação aos alimentos consumidos entre os escolares nos dias que antecederam ao relato no Web-CAAFE para dar suporte a análises que explicassem a origem das intrusões encontradas.

Os aspectos positivos deste estudo englobaram a adoção da observação direta como critério de referência, a tentativa de minimizar as mudanças de comportamento resultante do padrão de referência (reatividade), a avaliação da influência de variáveis moderadoras da acurácia e da confiabilidade (sexo, idade, uso de computador doméstico) e a inclusão da avaliação da reprodutibilidade da medida, procedimento incomum entre estudos de validação de instrumentos nutricionais computacionais 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.. Além disso, o poder do teste para reprodutibilidade foi calculado tanto a priori quanto post-hoc (levando, em conta, a imprecisão do método de referência). Destacamos ainda a determinação a priori do tamanho da amostra para o estudo de validade usando um cálculo específico para esse cenário 1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26., embasado na relação entre sensibilidade e especificidade 1111. Flahault A, Cadilhac M, Thomas G. Sample size calculation should be performed for design accuracy in diagnostic test studies. J Clin Epidemiol 2005; 58:859-62., e no fato de o método de referência sempre ser melhor que o método alternativo.

Entre as limitações do presente estudo, cita-se a amostra de conveniência que não permite a generalização dos resultados para a população, embora seu tamanho tenha sido satisfatório para validar diferenças entre os métodos comparados e entre as medidas repetidas do Web-CAAFE.

A variabilidade típica de uma amostra mais homogênea (alunos da mesma unidade escolar) também pode ter influenciado os resultados obtidos. Além disso, a acurácia avaliada no estudo baseia-se na observação direta dos alimentos consumidos apenas na escola (durante o recreio e a hora do lanche) e não pode ser extrapolada para demais refeições ao longo do dia ou para contextos extracurriculares. Essa é uma limitação típica em validações de questionários para escolares que utilizaram a observação direta dos alimentos consumidos na escola como método de referência 22. Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.,33. Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.,44. Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.,55. Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.,77. Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.,1010. Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26.. A técnica estatística da imputação múltipla de dados, condicionada a informações de sexo, idade, índice de massa corporal e dados sociodemográficos, é uma alternativa promissora para a estimativa da validade de todas as refeições de recordatórios de 24 horas 1919. Kupek E, de Assis MA. The use of multiple imputation method for the validation of 24-h food recalls by part-time observation of dietary intake in school. Br J Nutr 2016; 116:904-12..

Mesmo em face aos incentivos dados por políticas públicas como o Programa Nacional de Tecnologia Educacional (Decreto nº 6.3002020. Brasil. Decreto nº 6.300, de 12 de dezembro de 2007. Diário Oficial da União 2007; 13 dez., de 12 de dezembro de 2007) e o Programa Um Computador por Aluno (Lei nº 12.2492121. Brasil. Lei nº 12.249, de 11 de junho de 2010. Diário Oficial da União 2010; 14 jun., de 11 de junho de 2010), o acesso a computadores e Internet ainda não é universal entre as escolas públicas do Brasil. Sendo assim, a inclusão de um período de experiência dos participantes com a ferramenta computacional também é indicada, já que são exigidos conhecimentos de informática para o adequado preenchimento do Web-CAAFE.

Novos estudos de validação podem considerar também a inclusão de múltiplos dias de observação, com o intuito de prover informações sobre a disponibilidade e o consumo de alimentos na semana anterior ao preenchimento do Web-CAAFE, para avaliar a origem das intrusões.

Embora o Web-CAAFE não inclua informações sobre quantidades, pois foi concebido considerando o desenvolvimento cognitivo de crianças de 7 a 10 anos, o instrumento possibilita a avaliação qualitativa do consumo alimentar com potencial para ser empregado como ferramenta de monitoramento em larga escala, sendo útil para gestores, profissionais e pesquisadores da saúde e da educação. A interface do instrumento foi desenvolvida para ser amigável ao usuário e para adequar-se às características cognitivas de crianças em idade escolar. No Brasil, o Web-CAAFE é a primeira ferramenta computacional com tais características, por isso, esforços devem ser empreendidos para sua avaliação, refinamento e consolidação.

Conclusões

Os resultados permitiram concluir que a omissão de itens alimentares, embora menos expressiva do que em outros estudos similares, foi o erro mais importante associado ao preenchimento do Web-CAAFE na amostra pesquisada. As intrusões foram menos frequentes, porém, mais significativas entre escolares com menos de 10 anos de idade. Os resultados deste estudo mostraram que o Web-CAAFE foi um instrumento válido e confiável para a avaliação do consumo alimentar, quando comparado à observação direta do consumo de alimentos no ambiente escolar e quando aplicado a escolares do segundo ao quinto ano da escola pública de uma cidade do Nordeste do Brasil.

Agradecimentos

À Fundação de Amparo à Pesquisa do Estado da Bahia (edital nº 028/2012, outorga: PES0049/2013, pedido nº 1238/2013) pelo financiamento da pesquisa em Feira de Santana. Ao Ministério da Saúde (Departamento de Ciência, Tecnologia e Insumos Estratégicos - DECIT), pelo financiamento do software Web-CAAFE. À direção e aos professores da escola participante da pesquisa. Aos pais e alunos, pela participação no estudo.

Referências

  • 1
    Illner A-K, Freisling H, Boeing H, Huybrechts I, Crispim SP, Slimani N. Review and evaluation of innovative technologies for measuring diet in nutritional epidemiology. Int J Epidemiol 2012; 41:1187-203.
  • 2
    Biltoft-Jensen A, Bysted A, Trolle E, Christensen T, Knuthsen P, Damsgaard CT, et al. Evaluation of web-based dietary assessment software for children: comparing reported fruit, juice and vegetable intakes with plasma carotenoid concentration and school lunch observations. Br J Nutr 2013; 110:186-95.
  • 3
    Diep CS, Hingle M, Chen TA, Dadabhoy HR, Beltran A, Baranowski J, et al. The automated self-administered 24-hour dietary recall for children, 2012 version, for youth aged 9 to 11 years: a validation study. J Acad Nutr Diet 2015; 115:1591-8.
  • 4
    Medin AC, Astrup H, Kåsin BM, Andersen LF. Evaluation of a web-based food record for children using direct unobtrusive lunch observations: a validation study. J Med Internet Res 2015; 17:e273.
  • 5
    Carvalho MA, Baranowski T, Foster E, Santos O, Cardoso B, Rito A, et al. Validation of the Portuguese self-administered computerised 24-hour dietary recall among second-, third and fourth-grade children. J Hum Nutr Diet 2015; 28:666-74.
  • 6
    da Costa FF, Schmoelz CP, Davies VF, Di Pietro PF, Kupek E, de Assis MA. Assessment of diet and physical activity of brazilian schoolchildren: usability testing of a web-based questionnaire. JMIR Res Protoc 2013; 2:e31.
  • 7
    Davies VF, Kupek E, de Assis MA, Natal S, Di Pietro PF, Baranowski T. Validation of a web-based questionnaire to assess the dietary intake of Brazilian children aged 7-10 years. J Hum Nutr Diet 2015; 28 Suppl 1:93-102.
  • 8
    Medronho RA, Bloch KV, Luiz RR, Werneck GL. Epidemiologia. 2ª Ed. São Paulo: Editora Atheneu; 2009.
  • 9
    Jesus GM, Assis MAA, Kupek E, Dias LA. Avaliação da atividade física de escolares com um questionário via internet. Rev Bras Med Esporte 2016; 22:261-6.
  • 10
    Assis MAA, Benedet J, Kerpel R, Vasconcelos FAG, Di Pietro PF, Kupek E. Validação da terceira versão do questionário alimentar do dia anterior (QUADA-3) para escolares de 6 a 11 anos. Cad Saúde Pública 2009; 25:1816-26.
  • 11
    Flahault A, Cadilhac M, Thomas G. Sample size calculation should be performed for design accuracy in diagnostic test studies. J Clin Epidemiol 2005; 58:859-62.
  • 12
    Kupek E, de Assis MA, Bellisle F, Lobo AS. Validity of WebCAAFE questionnaire for assessment of schoolchildren's dietary compliance with Brazilian Food Guidelines. Public Health Nutr 2016; 19:2347-56.
  • 13
    Instituto Brasileiro de Geografia e Estatística. Pesquisa de orçamentos familiares 2008-2009: análise do consumo alimentar pessoal no Brasil. Rio de Janeiro: Instituto Brasileiro de Geografia e Estatística; 2011.
  • 14
    Davies VF, Kupek E, de Assis MA, Engel R, da Costa FF, Di Pietro PF, et al. Qualitative analysis of the contributions of nutritionists to the development of an online instrument for monitoring the food intake of schoolchildren. J Hum Nutr Diet 2015; 28 Suppl 1:65-72.
  • 15
    Smith AF, Baxter SD, Hardin JW, Guinn CH, Royer JA, Litaker MS. Validation-study conclusions from dietary reports by fourth-grade children observed eating school meals are generalisable to dietary reports by comparable children not observed. Public Health Nutr 2007; 10:1057-66.
  • 16
    Baxter SD, Guinn CH, Royer JA, Hardin JW, Mackelprang AJ, Smith AF. Accuracy of children's school-breakfast reports and school-lunch reports (in 24-hour dietary recalls) differs by retention interval. Eur J Clin Nutr 2009; 63:1394-403.
  • 17
    Baxter SD, Hardin JW, Royer JA, Guinn CH, Smith AF. Insight into the origins of intrusions (reports of uneaten food items) in children's dietary recalls, based on data from a validation study of reporting accuracy over multiple recalls and school foodservice production records. J Am Diet Assoc 2008; 108:1305-14.
  • 18
    Smith AF, Baxter SD, Hardin JW, Royer JA, Guinn CH. Some intrusions in dietary reports by fourth-grade children are based on specific memories: data from a validation study of the effect of interview modality. Nutr Res 2008; 28:600-8.
  • 19
    Kupek E, de Assis MA. The use of multiple imputation method for the validation of 24-h food recalls by part-time observation of dietary intake in school. Br J Nutr 2016; 116:904-12.
  • 20
    Brasil. Decreto nº 6.300, de 12 de dezembro de 2007. Diário Oficial da União 2007; 13 dez.
  • 21
    Brasil. Lei nº 12.249, de 11 de junho de 2010. Diário Oficial da União 2010; 14 jun.

Datas de Publicação

  • Publicação nesta coleção
    05 Jun 2017

Histórico

  • Recebido
    28 Set 2016
  • Revisado
    26 Jan 2017
  • Aceito
    06 Fev 2017
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br