RESUMO

Na República da Guiné-Bissau, um dos países mais pobres do mundo, o Plano Nacional de Desenvolvimento Sanitário (PNDS) pretende ser o documento de orientação nacional em saúde. O PNDS II (2008-2017) sucedeu ao PNDS I (1998-2002, revisto para 2003-2007). Ambos foram alvo de avaliações. Em 2017, completou-se um novo processo de planejamento, o PNDS III. Considerando o PNDS, procedeu-se a uma meta-avaliação objetivando avaliar a qualidade das avaliações efetuadas e verificar a utilização dos resultados das avaliações em intervenções subsequentes. Aplicados padrões de meta-avaliação aos relatórios de avaliação, verificou-se que, relativamente aos quatro princípios de meta-avaliação – utilidade, exequibilidade ou factibilidade, propriedade e precisão ou acurácia –, ambas as avaliações apresentam a classificação de ‘satisfatório’ (score superior a 66,6%), revelando um caráter de excelência para vários padrões. Metodologicamente, o relatório referente ao PNDS I sobressai sobre o do PNDS II. Na fase de planejamento, as sugestões deixadas pela avaliação anterior foram levadas em conta tanto para o PNDS II como para o III. A fragilidade do Estado da Guiné-Bissau emerge como padrão de especificidade. O PNDS tem sido uma referência em cenários de instabilidade. Tais avaliações foram ao encontro do atual desafio de considerar o contexto, e, nele, a cultura dos povos, como parte integrante da avaliação.

PALAVRAS-CHAVE
Estudos de avaliação como assunto; Implementação de plano de saúde; Planejamento; Cultura

Introdução

República da Guiné-Bissau, um Estado frágil

Situada no oeste do continente africano, constituída por uma faixa continental e pelo Arquipélago dos Bijagós, a República da Guiné-Bissau (RGB) é uma antiga colônia portuguesa que se tornou independente em 1973, após 15 anos de luta armada.

Desde a proclamação da independência, o País tem vivido situações de instabilidade política e institucional, materializada em repetidos golpes de estado e conflitos armados. Esse cenário tem implicado mudanças frequentes na liderança das equipes responsáveis pelos diversos ministérios. Salientam-se duas situações de particular instabilidade na história do País: o conflito político-militar de Junho de 1998 a Maio de 1999, que teve particular impacto na destruição de infraestruturas e no tecido social¹1 Guiné Bissau. Ministério da Educação. Relatório do estado do Sistema Educativo para a reconstrução da escola da Guiné-Bissau sobre novas bases. 2015., e o golpe de Estado de 2012, com particular impacto até hoje sobre a estabilidade política e a economia nacional.

Segundo o ‘Index de Estados Frágeis de 2015’, publicado pelo The Fund for Peace²2 Messner JJ. Fragile States Index 2015. Washington: The Fund for Peace; 2015., a RGB é considerado o 17º país mais frágil de mundo, num universo de 178 países, sendo que limitações governativas e de fornecimento de bens e serviços públicos aos cidadãos enquadram os critérios de falta de ‘legitimidade’ e ‘eficácia’ definidos pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) para a caracterização de Estado Frágil (EF)³3 Newbrander W, Waldman R, Shepherd-Banigan M. Rebuilding and strengthening health systems and providing basic health services in fragile states. Disasters. 2011; 35:639-660.

Os Sistemas de Saúde (SS) de EF, pelos cenários de necessidades várias que apresentam, podem ser ‘inundados com ajuda’ de diversos formatos, incluindo Organizações Não Governamentais (ONG) internacionais, agências bilaterais e multilaterais, muitas vezes colaborando com organizações da sociedade civil locais, nem sempre capazes de compreender as implicações das suas intervenções no contexto específico do EF⁴4 McPake B, Witter S, Ssali S, et al. Ebola in the context of conflict affected states and health systems: case studies of Northern Uganda and Sierra Leone. Confl Health. 2015; 9:23-32. Ao lado de parcerias público-privadas que intervêm no setor da saúde, há também um elevado número de iniciativas globais de saúde, as quais são pensadas para ser um dos benefícios da globalização, constituindo programas geralmente orientados para doenças específicas⁵5 World Health Organization. The impact of global health initiatives on health systems [internet]. Geneva: WHO; c2018 [acesso em 2018 ago 23]. Disponível em: http://www.who.int/alliance-hpsr/researchsynthesis/project3/en/.
http://www.who.int/alliance-hpsr/researc... . Funcionários locais ficam incumbidos de gerir a ajuda, nem sempre concertada, prestada por esses múltiplos intervenientes.

Enquadrando o descrito, a RGB apresenta um contexto de fragilidade e carências no setor da saúde e do funcionamento do seu SS, sendo que, nas duas últimas décadas, a fração do Orçamento Geral do Estado (OGE) atribuída à Saúde foi inferior a 10%, o que representa menos de 15% das necessidades financeiras do funcionamento do setor, implicando a dependência do apoio externo⁶6 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário II 2008-2017. Guiné-Bissau: Ministério da Saúde Pública; 2008.. Segundo a Organização Mundial da Saúde (OMS)⁷7 Organização Mundial da Saúde. Estratégia de cooperação da OMS com os países, 2009-2013: Guiné-Bissau. República do Congo: OMS; 2008., cerca de 90% do financiamento desse setor têm sido garantidos por parceiros de cooperação.

O Planejamento Estratégico em Saúde na RGB

A RGB é um Estado independente desde 1973, estabeleceu sua Política Nacional de Saúde (PNS) em 1993 e tem feito ao longo dos anos o exercício do Planejamento Estratégico em Saúde (PES).

No intuito de definir um quadro de referência para as atividades e ações de desenvolvimento sanitário com base em uma política de desenvolvimento setorial, realizou-se, em colaboração com parceiros para o desenvolvimento, o primeiro grande exercício de PES na RGB, do qual resultou o Plano Nacional de Desenvolvimento Sanitário I (PNDS I), estabelecido com horizonte temporal o período 1998-2002⁸8 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário 1998-2002. Guiné-Bissau: Ministério da Saúde Pública ; 1998.. Porém, a situação político-militar de 1998 comprometeu a execução do referido plano, que foi revisto para o horizonte temporal 2003-2007 com o objetivo de permitir que as atividades inicialmente programadas pudessem ser implantadas⁶6 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário II 2008-2017. Guiné-Bissau: Ministério da Saúde Pública; 2008.^,99 Fronteira I, Ferrinho F, Dussault G, et al. Relatório de Avaliação Final da Execução do Plano Nacional de Desenvolvimento Sanitário 2003-2007 da República da Guiné-Bissau. Relatório de Avaliação Final, Associação para o Desenvolvimento e Cooperação Garcia de Orta; 2007..

No final de 2007, avaliou-se a execução do PNDS I e entregou-se o relatório em Dezembro desse ano, validado pelo Ministério da Saúde Pública (Minsap)⁹9 Fronteira I, Ferrinho F, Dussault G, et al. Relatório de Avaliação Final da Execução do Plano Nacional de Desenvolvimento Sanitário 2003-2007 da República da Guiné-Bissau. Relatório de Avaliação Final, Associação para o Desenvolvimento e Cooperação Garcia de Orta; 2007..

Em resposta do setor da saúde aos desafios lançados pelo Documento de Estratégia Nacional de Redução da Pobreza II (Denarp II)¹⁰10 Guiné-Bissau. Ministério da Economia, do Plano e da Integração Regional. Deuxième Document de Stratégie Nationale pour la Réduction de la Pauvreté-DENARP II 2011-2015. Guiné-Bissau: Ministério da Economia, do Plano e da Integração Regional; 2011. e em continuidade do caminho percorrido com a implementação do PNDS I, elaborou-se o PNDS II com o horizonte temporal 2008-2017⁶6 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário II 2008-2017. Guiné-Bissau: Ministério da Saúde Pública; 2008.. Desde a sua provação em 2008, o PNDS II manteve-se como o quadro de referência para as atividades e ações de desenvolvimento sanitário, embora sua execução tenha sido comprometida pela situação político-militar vivida¹¹11 Ferrinho P. Subsídios para a Revisão do Plano Nacional de Desenvolvimento Sanitário 2008-2017 até 2020 - apreciação da sua implementação em Agosto de 2015 e contribuição para um roteiro para a sua revisão. Guiné-Bissau; 2015.. Em agosto de 2015, e num momento em que se sentia atenuada a instabilidade política, foi realizada uma análise do PNDS II por meio de uma consultoria externa objetivando contribuir com subsídios a serem considerados pelo Minsap na avaliação da implantação do plano, de forma a permitir que as atividades inicialmente programadas pudessem ser adequadas ao presente, sugerindo-se o prolongamento do horizonte temporal até 2020¹¹11 Ferrinho P. Subsídios para a Revisão do Plano Nacional de Desenvolvimento Sanitário 2008-2017 até 2020 - apreciação da sua implementação em Agosto de 2015 e contribuição para um roteiro para a sua revisão. Guiné-Bissau; 2015..

Em Março de 2017, iniciou-se um novo processo de planejamento do qual resultou a redação do PNDS III, tendo-se optado por não prolongar o horizonte temporal de implantação do PNDS II. O terceiro PNDS é orientado pela PNS adotada em Março de 2017, a qual substitui a de 1993 e aguarda ainda a validação por parte do Conselho de Ministros, prevista para o início de 2018; pelo Plano Estratégico e Operacional do Governo Terra Ranka 2015-2025¹²12 European External Action Service. Terra Ranka: A Fresh Start for Guinea-Bissau. Guiné-Bissau: EEAS; 2015 [acesso em 2017 out 26]. Disponível em: https://eeas.europa.eu/headquarters/headquarters-homepage_en/2105/Terra.
https://eeas.europa.eu/headquarters/head... ; e pelas recomendações que emergiram da I Conferência Nacional de Saúde em Outubro de 2014.

A avaliação tem sido parte integrante do processo de PES na RGB. Existe já um amplo consenso quanto à ideia de que as políticas públicas devem ser acompanhadas por avaliações sistemáticas, como parte da rotina governamental, adaptando-se continuamente em função dos resultados e recomendações por elas fornecidas – essa ideia traduz-se na necessidade de se utilizar a avaliação, sendo, porém, necessário questionar continuamente a sua capacidade em produzir as informações e julgamentos necessários para ajudar a melhorar o desempenho dos SS¹³13 Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma nova saúde pública. Ciênc Saúde Colet. 2012; 17(4):832-834.

Objetivos

Tendo por objeto os PNDS⁶6 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário II 2008-2017. Guiné-Bissau: Ministério da Saúde Pública; 2008.^,88 Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário 1998-2002. Guiné-Bissau: Ministério da Saúde Pública ; 1998. como documentos de orientação estratégica nacional para o setor da saúde, e uma vez que existem dados de avaliação da sua implementação aprovados e disponíveis⁹9 Fronteira I, Ferrinho F, Dussault G, et al. Relatório de Avaliação Final da Execução do Plano Nacional de Desenvolvimento Sanitário 2003-2007 da República da Guiné-Bissau. Relatório de Avaliação Final, Associação para o Desenvolvimento e Cooperação Garcia de Orta; 2007.^,1111 Ferrinho P. Subsídios para a Revisão do Plano Nacional de Desenvolvimento Sanitário 2008-2017 até 2020 - apreciação da sua implementação em Agosto de 2015 e contribuição para um roteiro para a sua revisão. Guiné-Bissau; 2015., realizou-se uma meta-avaliação com duplo objetivo: avaliar a qualidade das avaliações efetuadas e perceber até que ponto os resultados das avaliações foram ou estão sendo utilizados em intervenções subsequentes. Pretende-se, assim, contribuir para o aumento da credibilidade do processo avaliativo no âmbito do PES na RGB, contextualizando seu papel e potencializando sua utilidade para a tomada de decisões no setor da saúde.

Material e métodos

Esta meta-avaliação foi realizada por meio da análise de conteúdo¹⁴14 Bardin L. Análise de Conteúdo. 5. ed. Lisboa: Edições 70; 2008. dos documentos de avaliação de implementação dos PNDS I e II, do PNDS II e de onze entrevistas¹⁵15 Flick U. Métodos qualitativos na investigação científica. Lisboa: Monitor; 2005. realizadas com avaliadores e atores-chave em PES na RGB.

Os onze entrevistados foram selecionados pelo investigador por deterem informações pretendidas para o estudo, constituindo, assim, uma amostra não probabilística intencional¹⁶16 Marconi M, Lakatos E. Fundamentos de metodologia científica. 2. ed. São Paulo: Atlas; 2007.. Dois deles são avaliadores, um está envolvido na avaliação do PNDS I e o outro em ambos os processos de avaliação, bem como na redação dos PNDS II e III. Os nove atores-chave, todos guineenses, participam ou participaram diretamente nos processos de planejamento em saúde, desde a elaboração do PNDS I até ao atual processo de redação do PNDS III. Ocupam ou ocuparam cargos de governo do setor em nível nacional, dois dos quais amplamente relacionados com programas específicos, i.e., Luta contra a Tuberculose e Lepra e Saúde Materno-Infantil, sendo que dois dos entrevistados ocupam atualmente cargos em organizações internacionais. As entrevistas foram gravadas com o devido consentimento dos entrevistados.

A meta-avaliação pode ser definida diretamente como uma avaliação da avaliação¹⁷17 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.^,1818 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738 e, operacionalmente, como um processo de descrição, julgamento e síntese de estudos ou quaisquer procedimentos de avaliação com o objetivo de assegurar a qualidade dos estudos avaliativos¹⁷17 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.. Proporcionando a análise sistemática de um estudo avaliativo¹⁹19 Hartz Z, Goldberg C, Figueiro AC, et al. Multi-strategy in the Evaluation of Health Promotion Community Interventions: An Indicator of Quality. In: Potvin L, McQueen DV, Hall M, et al. Health Promotion Evaluation Practices in the Americas. New York: Springer; 2008. p. 253-267., sua metodologia permite verificar se os objetivos inicialmente traçados na avaliação foram atingidos de forma adequada e eficaz, e se o desenvolvimento do programa, projeto ou produto revelou seu mérito²⁰20 Machado TR, Chaise RM, Elliot LG. A meta-avaliação como instrumento de qualidade nas Políticas Públicas: o Programa Segundo Tempo. Rev Meta Aval. 2016; 8:1-20. Induz, assim, a uma prática de reflexão sobre todos os procedimentos utilizados na avaliação, dando oportunidade à incorporação de novos conhecimentos por parte não só dos meta-avaliadores como também dos avaliadores¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738, proporcionando uma ajuda às instâncias de decisão no sentido da melhoria do desempenho de suas ações¹⁷17 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010..

Assim, a meta-avaliação permite o acesso à informação sobre as limitações e as potencialidades da avaliação realizada, aumentando sua credibilidade e permitindo às partes interessadas julgar e contextualizar os resultados obtidos²¹21 Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Colet. 2012; 17(3):695-705.

Os procedimentos apropriados para a realização de uma meta-avaliação podem variar de acordo com o tipo de avaliação realizada²²22 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964. A literatura sugere algumas possibilidades para a condução de uma meta-avaliação, sendo que o marco de referência conceitual mais conhecido é o produzido pela Joint Committee on Standards for Educational Evaluation (JCSEE) em 1981, atualizado em 1994, estando em vigor na nova versão de 2011¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738^,2222 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964^,2323 Yarbrough DB, Shulha LM, Hopson RK, et al. The Program Evaluation Standards: a guide for evaluators and evaluatin users [internet]. 3. ed. Thousand Oaks: Sage; 2011 [acesso em 2017 nov 15]. Disponível em: http://www.jcsee.org/program-evaluation-standards-statements.
http://www.jcsee.org/program-evaluation-... . Um total de 30 padrões de avaliação são organizados em torno de quatro princípios: ‘Utilidade’ – atende às necessidades de informação das partes interessadas; ‘Exequibilidade ou factibilidade’ – é realista e moderada nos recursos e custos de modo a justificar a sua realização; ‘Propriedade ou correção’ – é conduzida eticamente, com respeito pelos envolvidos; ‘Precisão’ – divulga e transmite informação sobre o valor ou mérito dos programas avaliados com a devida validade¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738^,2424 Hartz Z, Felisberto E. Meta-avaliação da Atenção Básica à Saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008..

Para facilitar a tarefa de julgar a qualidade das avaliações, a JCSEE construiu uma lista de verificação dos padrões, distribuídos por categorias, às quais é possível aplicar uma escala, permitindo julgar o nível de atendimento do objeto avaliado em relação a cada padrão¹⁷17 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.^,2222 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964. A literatura consultada salvaguarda que, conforme a natureza da avaliação ou meta-avaliação, a aplicação dos padrões será variada, porque dependendo do objeto em foco, alguns dos parâmetros podem não ser adequados ou aplicáveis²²22 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964.

Neste trabalho, optou-se por utilizar treze dos 30 padrões de meta-avaliação JCSEE na análise dos relatórios de avaliação supracitados para o Princípio da Utilidade – Credibilidade do avaliador, Clareza dos relatórios, Impacto da avaliação; Princípio da Factibilidade ou Viabilidade – Procedimentos práticos, Viabilidade contextual; Princípio da Propriedade – Avaliação completa e justa, Disseminação de resultados, Conflito de interesses; Princípio da Precisão ou Acurácia - Análise de contexto, Descrição de propósitos e procedimentos, Fontes de informação confiáveis, Conclusões justificáveis, Imparcialidade dos relatórios. A definição textual dos padrões utilizados encontra-se descrita no quadro 1, elaborado com base na literatura consultada¹⁷17 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.^,2323 Yarbrough DB, Shulha LM, Hopson RK, et al. The Program Evaluation Standards: a guide for evaluators and evaluatin users [internet]. 3. ed. Thousand Oaks: Sage; 2011 [acesso em 2017 nov 15]. Disponível em: http://www.jcsee.org/program-evaluation-standards-statements.
http://www.jcsee.org/program-evaluation-...

24 Hartz Z, Felisberto E. Meta-avaliação da Atenção Básica à Saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008.^-2525 Brousselle A, Champagne F, Contandriopoulos AP, et al. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz ; 2011..

Aplicou-se uma escala quantitativa de 0-10 a cada um dos padrões, pela qual os valores 9 e 10 correspondem a ‘excelente’; 7 e 8, a ‘muito bom’; 5 e 6, a ‘bom’; 3 e 4, a ‘fraco’; 0 a 2, a ‘crítico’. Procedeu-se depois à requalificação por principio de avaliação em ‘Insatisfatório’, ‘Aceitável’ e ‘Satisfatório’, de acordo com as avaliações percentuais <33.3%, 33,3%-66,6% e >66,6%, respetivamente¹³13 Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma nova saúde pública. Ciênc Saúde Colet. 2012; 17(4):832-834^,1717 Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.^,1919 Hartz Z, Goldberg C, Figueiro AC, et al. Multi-strategy in the Evaluation of Health Promotion Community Interventions: An Indicator of Quality. In: Potvin L, McQueen DV, Hall M, et al. Health Promotion Evaluation Practices in the Americas. New York: Springer; 2008. p. 253-267.. Para a atribuição da classificação por padrão e, portanto, obtenção do valor por princípio de meta-avaliação, foi efetuada a análise de conteúdo¹⁴14 Bardin L. Análise de Conteúdo. 5. ed. Lisboa: Edições 70; 2008. dos relatórios de avaliação disponíveis.

Procurou-se, também, perceber até que ponto os resultados das avaliações efetuadas foram ou estão sendo utilizados em intervenções subsequentes, tendo-se procedido à análise de conteúdo do documento de planejamento que se seguiu à avaliação efetuada – o PNDS II. A informação obtida foi complementada por meio da análise de conteúdo das entrevistas realizadas com avaliadores e outros atores-chave na matéria. Por ser um processo dinâmico que decorre do momento, com a elaboração do PNDS III, as entrevistas tiveram também por objetivo obter subsídios sobre o processo de planejamento, concretamente sobre a utilidade e impacto das avaliações anteriores. Porque um dos avaliadores esteve ou está envolvido no planejamento, uma das entrevistas teve também por fim salvaguardar a imparcialidade. A metodologia utilizada encontra-se sintetizada na figura 1.

Resultados e discussão

Comparando relatórios de avaliação

Da meta-avaliação efetuada por padrões, é possível verificar que, com respeito aos quatro princípios – utilidade, exequibilidade ou factibilidade, propriedade e precisão ou acurácia, ambas as avaliações apresentam a classificação ‘satisfatório’ por obterem score superior a 66,6% (figura 2).

Indo ao detalhe de cada um dos padrões avaliados (figura 3), conclui-se que ambos os relatórios apresentam um caráter de excelência para vários padrões, ou seja, para ‘credibilidade do avaliador’; ‘impacto da avaliação’; ‘viabilidade contextual’; ‘avaliação completa e justa’; ‘disseminação de resultados’; ‘conflito de interesses’; ‘análise de contexto’ e ‘conclusões justificáveis’. Para os padrões alusivos ao ‘princípio de propriedade’, verifica-se a excelência de ambos os relatórios.

Os quadros 2, 3, 4 e 5 descrevem a justificativa para a atribuição das classificações aos padrões definidos.

A excelência da ‘análise de contexto’ em ambos os relatórios de avaliação é reveladora da estreita relação dos avaliadores com o objeto em estudo. Porém, considerando aspectos processuais e metodológicos, o relatório referente ao PNDS I sobressai sobre o relatório PNDS II. Em ambas as avaliações, é feita uma análise muito bem contextualizada da realidade vivida na RGB, sendo que o relatório intercalar de subsídios para a revisão do PNDS II, embora defina os propósitos em que este é feito, não descreve de forma clara os procedimentos do processo avaliativo, não permitindo, por exemplo, sua replicação por outra equipe de avaliadores. Pressupondo que o avaliador recorreu a fontes de informação confiáveis, estas não são identificáveis no relatório nem descritas com detalhe. A imparcialidade dos relatórios é possível se os procedimentos para elaboração dos relatórios incluírem métodos que previnam possíveis distorções causadas por sentimentos, opiniões ou vieses pessoais¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738. Sobretudo no relatório intercalado de subsídios para a revisão do PNDS II, não são descritos os métodos que previnem distorções, aflorados na primeira avaliação, quando os procedimentos avaliativos são descritos com maior detalhe.

Verifica-se, entretanto, que o objetivo desse segundo processo de avaliação não foi o de efetuar a avaliação final da implantação de um plano ou programa, mas o de obter subsídios para a tomada de decisão sobre a reformulação ou nova elaboração de um PNDS para a RGB. Assim sendo, o impacto de tais falhas é suavizado pelo próprio objetivo da avaliação.

Considerando o padrão ‘procedimentos práticos’, conclui-se que, em relação à avaliação de implementação do PNDS I, esses procedimentos, embora estejam bem descritos e pareçam práticos de implementar, evidenciam algum risco de implementação se considerarmos o contexto da situação vivida pela RGB na data da avaliação. Segundo os avaliadores, para a avaliação da implantação do PNDS I,

O trabalho de preparação da avaliação foi feito sem um conhecimento integral, da realidade vivida então na RGB, que diferia daquela em que fora redigido o PNDS. Afinal, entre a redação do PNDS I e a avaliação da sua implantação ocorrera uma guerra civil com amplas consequências para o setor da saúde. Segundo um dos avaliadores entrevistados, no momento da avaliação, sucedeu que:

Para o mesmo padrão ‘procedimentos práticos’, o segundo relatório apresenta a sua descrição de forma mais limitada no corpo do texto, sendo que o avaliador na entrevista realizada esclarece a forma como implantou a avaliação, adaptando os procedimentos à realidade contextual vivida no momento:

Considerando o padrão ‘clareza dos relatórios’ – segundo o qual os relatórios devem descrever claramente o programa avaliado, incluindo seu contexto e propósitos, procedimentos e conclusões da avaliação, de forma a prover informações essenciais que sejam facilmente entendidas¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738 –, o relatório referente à avaliação e implantação do PNDS I é mais claro que o relatório intercalado de subsídios para a revisão do PNDS II. Salvaguardada essa assimetria pelo objetivo do processo avaliativo, importa ressaltar que ambos os relatórios são de excelência no que concerne à justificativa das conclusões encontradas, de forma a que possam ser analisadas e utilizadas posteriormente, conferindo ao padrão ‘conclusões justificáveis’ avaliação de excelência para ambas as avaliações.

Finalmente, com relação ao padrão ‘avaliação completa e justa’, verifica-se que estão elencados em ambos os relatórios não apenas os pontos positivos e limitações como também sugestões baseadas a análise profunda do contexto, numa abordagem realista dos pontos fracos e na valorização dos pontos de sucesso de cada um dos PNDS.

Ilustrando o descrito, no relatório de avaliação do PNDS I, pode-se, por exemplo, ler:

No mesmo sentido, no relatório intercalado de subsídios para a revisão do PNDS II, lê-se, por exemplo:

Indo ao encontro do segundo objetivo desta meta-avaliação, verifica-se que tais avaliações foram amplamente levadas em conta no processo de planejamento que se lhes seguiu. Quanto à utilização de seus dados, na fase de planejamento, as sugestões deixadas pela avaliação anterior foram também levadas em conta tanto na elaboração do PNDS II como do PNDS III. Os relatórios de avaliação foram, em ambos os momentos, documentos-chave para o processo de planeamento. “O resultado das avaliações de implantação dos PNDS foram e são amplamente considerados nos processos de planejamento em saúde”, refere um dos atores-chave entrevistados. Outro ator-chave refere, ao abordar o processo de elaboração do PNDS II, que “a avaliação anterior foi levada em conta, os comitês foram criados com base nas recomendações constantes no documento de avaliação”. Abordando o processo de PES que resultou na elaboração do PNDS III, um dos entrevistados esclarece: “com base no relatório de avaliação da implementação do PNDS II é que foi tomada a decisão de redigir um novo plano, de começar de novo”.

Refletindo sobre os resultados

A relação dos avaliadores com os planos avaliados e com o processo de PES na RGB merece da nossa parte franco interesse e cuidado, procurando por um lado verificar a imparcialidade e, por outro, garantir a credibilidade desta meta-avaliação, com base no fato de que cada estudo avaliativo é passível de ser tendencioso. As decisões que um avaliador toma sobre o que examina – métodos, instrumentos, grupos a ouvir etc. – influenciam o resultado da avaliação²¹21 Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Colet. 2012; 17(3):695-705. Os mesmos autores referem que a própria história pessoal do avaliador, suas preferências, sua experiência afetam a forma de conduzir o estudo. Nesta meta-avaliação, tal realidade tornou-se um fato evidente, embora, na medida do possível, a imparcialidade tenha sido salvaguardada, garantindo a credibilidade por meio da metodologia seguida, a qual foi conforme à literatura consultada. O fato de terem sido considerados nesta meta-avaliação não apenas o conteúdo dos relatórios como também as informações obtidas de avaliadores envolvidos diretamente e de outros com alguma externalidade, de usuários das avaliações e de atores-chave com diversas funções em PES permitiu uma meta-avaliação participativa, enriquecendo os resultados obtidos²¹21 Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Colet. 2012; 17(3):695-705.

Uma avaliação precisa ser útil para aqueles que a encomendam e que nela têm interesse²²22 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964. Ao longo de ambos os processos avaliativos, os avaliadores referem ter tido tal preocupação sempre subjacente. Por exemplo, perante a realidade da disparidade de contexto em que fora elaborado o PNDS I e em que decorreu a avaliação da sua implantação, um dos avaliadores referiu que “O grande desafio foi transformar situações avaliadas não desejáveis em contributos para o crescimento daquele país”.

Ao se fazer nesta meta-avaliação a verificação da utilização posterior dos dados de avaliação de ambos os processos em análise, foi-se ao encontro de um dos grandes desafios da meta-avaliação, que era o de verificar em que medida os resultados foram utilizados, sendo a avaliação tão mais útil quanto mais usada posteriormente²²22 Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964.

Verifica-se que, na RGB, a avaliação da implantação da estratégia nacional em saúde descrita no PNDS é um dos passos do PES, melhor dizendo, o primeiro do processo de planejamento.

Tendo consciência de que a avaliação não consegue ficar isenta das agendas de desenvolvimento²⁶26 Craveiro I, Hartz Z. A equidade na investigação avaliativa com foco na cooperação em Saúde para o desenvolvimento. An Inst Hig Med Trop. 2017; 16(supl):S31-S38.^,2727 Carden F, Alkin MC. Evaluation Roots: An International Perspective. J Multidiscip Eval. 2012; 8:102-118, o processo avaliativo da implantação do PNDS como etapa de planejamento foi, segundo os avaliadores entrevistados, “amplamente discutido com os parceiros”. Segundo quem o viveu na primeira pessoa, apesar das exigências contextuais marcadas pela instabilidade política que se vivia nos períodos em que decorreram as avaliações em análise, “foram trabalhos muito interessantes porque foram feitos numa perspectiva formativa”. Como salienta um avaliador, referindo-se à avaliação de implementação do PNDS I:

As avaliações são parte integrante de um processo que, embora não espelhe progressos significativos em indicadores específicos, dado que o grau de implementação das estratégias definidas é reduzido, exemplifica um exercício de PES num EF, permitindo abrir caminho a uma convergência de visão.

Especificidade como elemento diferenciador – a importância do contexto guineense

Um dos entrevistados sintetiza uma ideia-chave desta meta-avaliação quanto à especificidade das avaliações analisadas como parte integrante do processo de PES na RGB:

A fragilidade do Estado na RGB, com tudo o que esta implica em termos de contextualização do País, emerge como padrão de especificidade¹⁸18 Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738^,2525 Brousselle A, Champagne F, Contandriopoulos AP, et al. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz ; 2011., ou seja, o fato de a RGB apresentar características de EF e de a análise de contexto ter sido amplamente considerada nas avaliações efetuadas permite caracterizá-las como detentoras de mérito e de valor, uma vez que são avaliações adequadas e respondem às necessidades de informação dos interessados. A ampla consideração do contexto guineense na realização das avaliações em análise leva ainda à reflexão sobre a adaptação das metodologias de avaliação ao contexto onde é feita.

Avaliações bem planejadas e executadas são particularmente importantes em países com instituições frágeis e populações vulneráveis²⁸28 Fanie Cloete, Babette Rabie, Christo de Coning. Evaluation Management in South Africa and Africa. [Sem local]: SUN MeDIA Stellenbosch; 2014.. Sendo a avaliação um esforço desafiador e empolgante, deverá criar conhecimento confiável e útil por meio de práticas críveis e perspicazes²⁸28 Fanie Cloete, Babette Rabie, Christo de Coning. Evaluation Management in South Africa and Africa. [Sem local]: SUN MeDIA Stellenbosch; 2014.. Verifica-se, porém, que é impraticável uma receita única para avaliação - muitos dos princípios de avaliação, pressupostos e práticas que se desenvolveram em países altamente desenvolvidos são considerados inadequados para contextos menos desenvolvidos²⁹29 Cloete F. Developing an Africa-rooted programme evaluation approach, African J Public Affairs [internet]. 2016; 9(4):55-70 [acesso em 2017 dez 6]. Disponível em: http://repository.up.ac.za/handle/2263/59022.
http://repository.up.ac.za/handle/2263/5... . Em nível global, existe uma preocupação crescente com o fato de que uma abordagem de avaliação padronizada de acordo com o modelo de avaliação ocidental nem sempre é apropriada em contextos culturais e de desenvolvimento distintos²⁹29 Cloete F. Developing an Africa-rooted programme evaluation approach, African J Public Affairs [internet]. 2016; 9(4):55-70 [acesso em 2017 dez 6]. Disponível em: http://repository.up.ac.za/handle/2263/59022.
http://repository.up.ac.za/handle/2263/5... .

Considerando concretamente os países em desenvolvimento, verifica-se a preponderância de atores externos, como a comunidade de doadores, na formalização da prática de avaliação. Essas abordagens orientadas pelos doadores são causadoras de insatisfação e têm levado à reflexão sobre a necessidade de adequar e adaptar estratégias de avaliação a diferentes contextos socioculturais, políticos, econômicos e ecológicos²⁷27 Carden F, Alkin MC. Evaluation Roots: An International Perspective. J Multidiscip Eval. 2012; 8:102-118. Segundo os mesmos autores, tal reflexão é motivada pelo pressuposto de que a metodologia é sensível ao contexto.

No que se refere ao Continente Africano, constata-se que até a década de 1980, a avaliação foi em grande parte impulsionada por atores internacionais, sendo que, ainda nos nossos dias, as avaliações na África são, sobretudo, encomendadas por partes interessadas não africanas, que compreendem principalmente doadores internacionais ou agências de desenvolvimento que administram ou financiam programas de desenvolvimento no continente²⁹29 Cloete F. Developing an Africa-rooted programme evaluation approach, African J Public Affairs [internet]. 2016; 9(4):55-70 [acesso em 2017 dez 6]. Disponível em: http://repository.up.ac.za/handle/2263/59022.
http://repository.up.ac.za/handle/2263/5... .

Embora o desejo de conferir relevância cultural à avaliação esteja atualmente no centro do discurso sobre avaliação, tentativas globais de implantar práticas culturalmente sensíveis ainda não conseguiram integrar as vozes africanas³⁰30 Chilisa B, Major TE, Gaotlhobogwe M, et al. Decolonizing and Indigenizing Evaluation Practice in Africa: Toward African Relational Evaluation Approaches. Can J Program Eval;. 2016; 30(3):313-328. Perante a constatação de que o atual paradigma de avaliação ocidental não é sempre aplicável ao contexto africano, emergem, na comunidade de avaliadores, argumentos a favor de um paradigma de avaliação orientado para a África que seja mais adequado às condições, culturas e instituições africanas²⁹29 Cloete F. Developing an Africa-rooted programme evaluation approach, African J Public Affairs [internet]. 2016; 9(4):55-70 [acesso em 2017 dez 6]. Disponível em: http://repository.up.ac.za/handle/2263/59022.
http://repository.up.ac.za/handle/2263/5... .

Essa reflexão desafia aqueles que acreditam em processos de avaliação orientados unicamente por indicadores quantitativos que negligenciam o que é menos tangível. Por outro lado, reforça a necessidade de enquadramentos institucionais que facilitem abordagens participativas e reconheçam os sistemas de valor que apoiam a avaliação e apelam aos Estados para que recorram à avaliação para melhorar a natureza de suas abordagens de governança²⁸28 Fanie Cloete, Babette Rabie, Christo de Coning. Evaluation Management in South Africa and Africa. [Sem local]: SUN MeDIA Stellenbosch; 2014.. A comunidade de avaliadores defende acordos entre o governo, a sociedade civil e as empresas para permitir a reflexão sobre o mérito e o valor das avaliações e promover o seu uso²⁸28 Fanie Cloete, Babette Rabie, Christo de Coning. Evaluation Management in South Africa and Africa. [Sem local]: SUN MeDIA Stellenbosch; 2014..

Em suma, urge considerar o contexto, e nele a cultura dos povos, como uma parte inegavelmente integrada nos diversos contextos de avaliação e, portanto, parte integrante da avaliação. A cultura está presente na avaliação, não apenas nos contextos em que os programas são implantados como também nos projetos desses programas e na abordagem ou métodos que os avaliadores optam por utilizar³⁰30 Chilisa B, Major TE, Gaotlhobogwe M, et al. Decolonizing and Indigenizing Evaluation Practice in Africa: Toward African Relational Evaluation Approaches. Can J Program Eval;. 2016; 30(3):313-328.

Conclusões

Mediante a existência de dados de avaliação da implantação dos documentos de orientação estratégica nacional para o setor da saúde na RGB, os PNDS, realizou-se uma meta-avaliação. Deste trabalho, é possível tirar ilações sobre a qualidade metodológica e processual de cada uma das avaliações analisadas, contribuindo, assim, para que as avaliações futuras possam cumprir cada vez mais a excelência de procedimentos. As maiores contribuições, porém, prendem-se à conclusão evidente da relação entre avaliação e planejamento e à relação com a especificidade dessas avaliações, realizadas em um Estado africano classificado como frágil.

Este trabalho deixa o desafio de aprofundar a temática do PES na RGB, lendo a sua história no contexto dos EF. Por outro lado, o fato de os dados de avaliação serem utilizados em planejamento abre a curiosidade para olhar para processos específicos que emergem das avaliações e planificações, como é o caso, por exemplo, da formação de recursos humanos da saúde.

Os PNDS criaram no Minsap uma ‘cultura de planificação’ amplamente motivada pelos financiadores do setor. Esses documentos acabaram por ser a referência em cenários de instabilidade, demonstrando estar a montante de quem governa, resistindo às adversidades e focando os desafios da sustentabilidade do setor da saúde da RGB.

Há que se sublinhar que, provavelmente pelo amplo conhecimento que os avaliadores detinham sobre a realidade da RGB, as avaliações foram ao encontro do desafio atual de introduzir na análise a questão dos contextos e espaços culturais em que a pesquisa avaliativa ocorre, considerando-os parte integrante da definição metodológica da avaliação.

Como advertência para processos futuros em que isso não seja intuitivo, fica a reflexão sobre a necessidade de olhar para as avaliações como empreendimentos complexos influenciados profundamente tanto pelo contexto como pelas pessoas envolvidas; conjugar os propósitos de uma avaliação com as reais necessidades e prioridades das partes interessadas é essencial para garantir a utilização dos resultados da avaliação no sentido de fundamentar a tomada de decisão.

Agradecimentos

A Fernando Cupertino pela preciosa colaboração na revisão ortográfica do artigo.

Referências

Datas de Publicação

Histórico