SciELO - Scientific Electronic Library Online

 
vol.28 issue11Hemoglobin level in older adults and the association with nutritional status and use of health services: the Bambuí ProjectPrenatal care in public and private health services: a population-based survey in Rio Grande, Rio Grande do Sul State, Brazil author indexsubject indexarticles search
Home Page  

Services on Demand

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Cadernos de Saúde Pública

Print version ISSN 0102-311X

Cad. Saúde Pública vol.28 n.11 Rio de Janeiro Nov. 2012

http://dx.doi.org/10.1590/S0102-311X2012001100009 

ARTIGO ARTICLE

 

Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue

 

Uses and influence of health evaluation in two studies on the Brazilian National Dengue Fever Control Program

 

 

Ana Cláudia FigueiróI; Zulmira HartzII; Isabella SamicoI; Eduarda Angela Pessoa CesseIII

IInstituto de Medicina Integral Prof. Fernando Figueira, Recife, Brasil
IIInstituto de Higiene e Medicina Tropical, Universidade Nova de Lisboa, Lisboa, Portugal
IIICentro de Pesquisas Aggeu Magalhaes, Fundação Oswaldo Cruz, Recife, Brasil

Correspondência

 

 


RESUMO

Prover informações, promover melhoria dos programas e determinar o mérito e o valor do avaliando são os propósitos da avaliação. Porem, o desafio para os avaliadores não é apenas promover, mas documentar a utilidade dos estudos. Face ao desafio, o artigo objetivou sistematizar os usos e influência do processo e resultados de duas avaliações sobre o Programa Nacional de Controle da Dengue, para tomada de decisão de gestores e profissionais envolvidos. Com base em um modelo teórico de análise, realizou-se um estudo exploratório com a análise documental para identificação dos eventos e inscrições das avaliações e sua circulação quanto aos possíveis usos e influência, entre 2007-2010. Observou-se que o modo de produção de conhecimento contextual e a definição das avaliações com foco na utilidade mostraram-se favoráveis à utilização das avaliações. Os resultados indicando maior uso instrumental, influência imediata, do processo e coletiva, podem indicar a pertinência dos estudos para os interessados e sua utilidade na gestão do programa, em diferentes níveis do sistema de saúde.

Avaliação em Saúde; Dengue; Planos e Programas de Saúde


ABSTRACT

Evaluation aims to provide information, promote improvement in programs, and determine the merit and value of the object of evaluation. However, the challenge for evaluators is not only to promote, but also to document the usefulness of studies. Given this challenge, the article aimed to systematize the uses and influence of the process and findings in two evaluations on Brazilian National Dengue Fever Control Program, for decision-making by the respective public health administrators and professionals. Based on a theoretical analytical model, an exploratory study was performed with documental analysis for identification of events and registrations in the evaluations and their circulation in terms of possible uses and influence, from 2007 to 2010. Favorable factors for the use of evaluations were the mode of production of contextual knowledge and definition of evaluations with a focus on utility. The results, indicating greater instrumental use and immediate process and collective use may indicate the studies' pertinence to stakeholders and their usefulness to program management at different levels in the health system.

Health Evaluation; Dengue; Health Programs and Plans


 

 

Introdução

Reconhece-se de longa data que uma das razões centrais para condução de avaliações é contribuir para orientar políticas e melhorar o desempenho dos programas1. Prover informações aos tomadores de decisão, promover a melhoria dos programas e determinar o mérito e o valor do objeto avaliado são considerados os principais propósitos dos estudos de avaliação para avaliadores profissionais2.

Interesses, valores e motivações envolvidos nos usos das pesquisas avaliativas nas políticas têm sido intensamente debatidos. A suposição inicial de que evidências científicas conseguidas por meio de pesquisas rigorosamente conduzidas seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando aquelas à implementação de ações de qualidade, cedeu lugar ao entendimento da complexidade dos aspectos implicados nas decisões políticas, cujos estudos avaliativos correspondem apenas a um dos elementos na tomada de decisões1,3,4,5.

Os modos como os estudos avaliativos podem ser utilizados e influenciar gestores e demais envolvidos nas intervenções, têm sido descritos por vários autores e podem ser sintetizados quanto: aos usos da avaliação – instrumental (para orientar a política e a prática), conceitual (para gerar novas ideias ou conceitos que sejam úteis para prover de sentido o cenário político), e político (ou simbólico – para justificar preferências e ações preexistentes)6; aos tipos de influência – fonte (processo ou resultado), intenção (prevista ou inesperada) e tempo (imediato, por ciclos ou de longo prazo)7; e níveis de influência da avaliação – individual (aquisição ou aprimoramento de atitudes, habilidades e condutas pelos envolvidos na avaliação), interpessoal (persuasão de pares, reconhecimento ou aprimoramento de lideranças, mudança de opinião dos envolvidos e de normas na organização), e coletivo (incorporação da cultura e dos achados das avaliaões na agenda política da organização)8,9.

Entre os aspectos envolvidos na utilização das avaliações, identificam-se os modos de produção do conhecimento: disciplinar, prevalente no meio acadêmico, no qual o conhecimento científico é produzido dentro das fronteiras disciplinares e tendo o sistema da revisão de pares como garantia para a qualidade da investigação e pré-requisito para sua disseminação; e contextual, enfatizando os resultados práticos do conhecimento para a solução de problemas críticos, o que corresponde a aumentar a sua contextualização10,11. Refere-se, ainda, à avaliação com foco na utilidade, com o envolvimento dos interessados (stakeholders), gerando mudanças de pensamento, comportamento e programáticas ou organizacionais nas práticas e cultura, como resultado da aprendizagem durante o processo avaliativo12,13. Acredita-se que adotar o pressuposto de foco na utilidade requer a necessária coerência entre os propósitos e procedimentos da avaliação14,15,16.

Para que as avaliações respondam às demandas dos tomadores de decisão e contribuam para a aprendizagem organizacional, necessita-se uma aproximação entre os formuladores e gestores de políticas e programas, que vêm atuando no mundo real, e os pesquisadores sociais, entre estes os avaliadores, voltados para reflexão teórica e a validação dos seus estudos entre pares1,3,17,18,19. Conciliar esses diferentes mundos é um dos desafios atuais dos avaliadores.

A aproximação de mundos aparentemente distantes realiza-se por meio de uma atuação em rede, compreendida como sendo constituída por atuantes de natureza, interesses e relações distintas. Em rede processa-se a circulação dos eventos e inscrições das avaliações, geradores de consequências para o desenvolvimento do programa. Esse movimento fundamenta o princípio da teoria da tradução20, que poderá facilitar uma melhor compreensão dos elementos, elos e pontes entre esses dois mundos, em sua dinâmica mútua e contínua21,22.

Com o objetivo de contribuir para compreensão sobre se e como os estudos têm sido utilizados e o que poderia favorecer a maior utilização pelos tomadores de decisão e demais envolvidos nas intervenções avaliadas, o artigo busca documentar os usos e influência de duas avaliações sobre o Programa Nacional de Controle da Dengue (PNCD), com base na identificação dos eventos e inscrições das avaliações e suas consequências no desenvolvimento do programa. Os estudos avaliativos considerados neste artigo foram norteados pelo interesse em favorecer a sua utilização, apoiando-se na premissa de que o valor de uma avaliação está na relação direta da sua utilidade para a melhoria da prática cotidiana dos programas, com ganhos para os resultados pretendidos23,24.

 

Metodologia

Trata-se de uma investigação de natureza exploratória do tipo estudo de caso, tomando como caso o processo de avaliação do PNCD, desenvolvido no período de 2007-2010, constando de dois estudos avaliativos. Ambos estão sumarizados a seguir: (i) Estudo 1: análise da lógica de intervenção do PNCD25. Buscou verificar a plausibilidade das relações causais entre os objetivos pretendidos para o programa e a adequação e suficiência das ações propostas para alcançar tais resultados26. A coerência lógica do PNCD quanto aos objetivos do programa e as estratégias orientadas para atingir os resultados pretendidos foi analisada comparando-o com a Estratégia de Gestão Integrada-Dengue (EGI-Dengue), da Organização Pan-Americana da Saúde (OPAS), tomado como modelo padrão27. Como resultado observou-se que, apesar da convergência de pressupostos, objetivos e conteúdo entre o PNCD e a EGI-Dengue, verificou-se fragilidade na implementação do PNCD no âmbito municipal, em sua integralidade e gestão. Recomendou-se a atualização do modelo teórico-lógico nos diferentes níveis de gestão frente ao pequeno alcance dos objetivos gerais e específicos do programa; (ii) Estudo 2: óbito por dengue como evento sentinela para avaliação da qualidade da assistência: estudo de caso em dois municípios da Região Nordeste, Brasil, 200828. A redução do óbito por dengue a menos de 1% constitui um dos objetivos finais do PNCD, cujos resultados mostram-se difíceis de alcançar. Compreender os aspectos envolvidos no Componente 3 do PNCD (Assistência ao paciente, referentes à estrutura, processo, acesso e qualidade técnico-científica da assistência prestada), diretamente relacionado ao alcance de um dos resultados esperados para o programa, motivou a realização do estudo avaliativo. A análise de implantação empreendida objetivou avaliar a influência do grau de implantação do componente sobre o efeito esperado, o óbito por dengue. Os resultados do trabalho foram sendo apresentados aos gestores e demais envolvidos com o programa nos três níveis de gestão na medida em que iam sendo analisados, o que permitiu uma covalidação dos achados. Apontou-se que os óbitos por dengue analisados deveram-se, sobretudo, à insuficiente observação dos protocolos de manejo clínico da doença nos serviços de saúde avaliados, com inadequação no diagnóstico da doença e na identificação dos sinais de agravamento, na condução do tratamento e na referência dos casos. O necessário monitoramento dos casos graves e a investigação sistemática dos óbitos por dengue foram recomendados pelo estudo (procedimentos não realizados pelos serviços avaliados), a fim de identificar e atuar prontamente sobre problemas na qualidade da assistência, evitando desfechos indesejáveis.

Para discutir como tornar uma avaliação útil e apreciar se tem sido utilizada, o presente artigo adotou e adaptou o modelo proposto por Hartz et al.22 (Figura 1), que configura o debate em quatro eixos com base nas contribuições dos autores analisados: modos de produção do conhecimento; modelos de uso da avaliação; avaliação com foco na utilidade; e tipos e níveis de influência da avaliação. Ao modelo proposto acrescentou-se o diagrama de circulação de fatos científicos20, com o propósito de mapear e associar os eventos e incrições das avaliações, aos eixos acima referidos, tomados como categorias de análise.

Eventos são acontecimentos capazes de provocar mudanças em um sistema de programa20,29. São referidos como qualquer experimento ou ação com consequência para a historicidade da intervenção, significando não apenas a passagem do tempo, mas o fato de algo ter sido transformado. Eles não evoluem linearmente, mas produzem novas translações quando outros interesses, necessidades, limites, conhecimentos se apresentam20. Para o propósito do artigo, foram denominados eventos da avaliação situações que suscitaram decisões no âmbito do PNCD, em qualquer dos níveis de gestão do programa.

A circulação dos eventos da avaliação produzem inscrições, compreendidas como toda forma em que os produtos do conhecimento são materializados, seja num documento, num registro, num signo, num traço, permitindo sua mobilidade e portanto novas translações e articulações, porém mantendo as suas características20,30. São esses registros que circulam entre os atores envolvidos, em movimento que requer a mobilização dos fatos pertinentes e relevantes para cada grupo; o interesse dos atores e de outros possíveis usuários; a formação de alianças endereçadas à busca de consensos e aliados para as proposições de interesse dos grupos; e a expressão dos consensos em decisões e normatizações coletivas, de natureza institucional20. Nesse sentido, os registros do processo avaliativo, materializados em qualquer formato que permita sua circulação (relatórios, artigos científicos, normatizações, decisões de gestores, material didático), foram definidos como inscrições dos estudos de avaliação.

Como pesquisa qualitativa, para coleta de dados considerou-se documentos e registros relacionados tanto ao processo de trabalho, referente às etapas de elaboração e realização dos estudos avaliativos, quanto aos resultados dos estudos. Os seguintes documentos foram analisados: relatórios dos estudos avaliativos, atas de reunião e encontros entre equipe de avaliação e de coordenação do programa nos três níveis de gestão, relatórios de seminário de apresentação e discussão dos resultados das avaliações, atividades e produção técnica e científica no âmbito do PNCD. Como questão norteadora para identificação dos eventos e inscrições da avaliação na análise documental considerou-se toda referência à utilização dos estudos avaliativos no desenvolvimento do programa. Tomou-se como unidade de análise a coordenação do PNCD nos três âmbitos de gestão do Sistema Único de Saúde (SUS), Ministério da Saúde, Secretarias Estadual e Municipal de Saúde.

O presente trabalho é parte integrante do projeto de pesquisa denominado Avaliação da Qualidade da Assistência Prestada aos Pacientes de Dengue nos Serviços de Saúde, que foi submetido ao Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP), com o número 646 e aprovado em 6 de dezembro de 2007.

 

Resultados

Em uma primeira análise, identificou-se os eventos e as inscrições produzidas no processo de avaliação, de acordo com o período de ocorrência, descritos na Tabela 1. Os eventos e inscrições concentraram-se nos dois primeiros anos do período. Observou-se que algumas inscrições, embora referidas a um evento específico, se expressam em um momento posterior ao evento; outras vezes, uma inscrição registrada num momento não está referida ao evento identificado na mesma época e sim ao processo mais geral da avaliação do programa. O evento Definição da realização do Estudo 1, com a participação dos envolvidos no programa, acontecido em 2007, por exemplo, possui uma inscrição a ele relacionada mas registrada em outro momento do processo avaliativo, em 2008 (participação dos avaliadores no 5º Curso Internacional de Dengue, apresentando resultados parciais).

Identificou-se o 1º Seminário Internacional de Avaliação do PNCD (SIA-PNCD) como evento e não como inscrição tal qual os outros SIA-PNCD, por tratar-se da primeira reunião com a presença de atores dos vários grupos de envolvidos com o programa e com o tema da avaliação, bem como as recomendações geradas na ocasião, entre elas a realização do Estudo 2.

O evento Definição da realização do Estudo 2, com participação dos envolvidos no programa, acumulou várias inscrições ao longo do período, além de produzir outros eventos. Não apenas por ter gerado maior número de registros, mas principalmente pela importância das consequências para o programa, confere ao evento uma maior expressão entre os demais. O Estudo 2 produziu consequências para gestão e atividades do programa nos três níveis do sistema, bem como para os serviços de saúde, como pode ser verificado pelas inscrições produzidas. Além de aspectos mais científicos, como a validação do instrumento de investigação dos óbitos por dengue, influenciou decisões gerenciais como o investimento na atualização dos profissionais de saúde e a normativa quanto à investigação dos óbitos por dengue, medida até então não praticada pelos serviços de saúde. Os óbitos por dengue passam a ser considerados como evento sentinela capaz de identificar os eventuais problemas relacionados ao manejo clínico dos casos de dengue, visando a evitar novas ocorrências.

Na segunda etapa da análise dos dados, os eventos e inscrições foram relacionados a três dos quatro eixos denominados como pilares dos usos e influência da avaliação, apresentados na Tabela 2. O eixo denominado modo de produção do conhecimento não aparece descrito no quadro pois, por decisão da equipe de avaliação em conjunto com os mandatários dos estudos, definiu-se pela abordagem contextual no desenvolvimento do processo avaliativo, assumindo que as questões, foco e procedimentos da avaliação seriam pertinentes às demandas dos envolvidos com o PNCD.

O mesmo poderia ser dito sobre o eixo foco na utilidade, porém neste caso foi importante identificar se os eventos e inscrições apresentaram concordância quanto à intenção em favorecer a utilização das avaliações nas decisões sobre o programa. Observa-se a partir dos eventos e inscrições listados que os procedimentos dos estudos, considerando a perspectiva dos usuários e suas necessidades desde o momento inicial até a finalização do processo de avaliação, foram coerentes com o propósito inicial. Postula-se que essa coerência considere a correspondência entre os propósitos e procedimentos metodológicos adotados14,15,16.

Ressalta-se a maior ocorrência de eventos e inscrições nas categorias de uso instrumental da avaliação e da influência no tempo imediato e fonte processual, indicando correspondência entre a abordagem com foco na utilidade e o favorecimento da utilização dos estudos durante o decorrer do processo de trabalho. Chama atenção, ainda, os eventos de natureza coletiva, indicando o interesse institucional em adotar institucionalmente produtos e recomendações gerados pelas avaliações.

 

Discussão

Espera-se do processo avaliativo que ele contribua para um contínuo crescimento e melhoria das políticas e práticas, a partir tanto dos procedimentos quanto dos resultados das avaliações. Esse empreendimento requer integração da avaliação às atividades institucionais, fazendo parte dos elementos organizacionais, da cultura, das lideranças, dos sistemas e estruturas, e dos canais de comunicação. Necessita-se, assim, o alinhamento de valores, atitudes e percepções entre os atores envolvidos, avaliadores e tomadores de decisão para que apoiem e encorajem a aprendizagem organizacional31,32. A lição a ser aprendida, sugerida por Thoenig33 (p. 57), é relativamente otimista: "não são especialistas ou sistemas sofisticados que contam... as barreiras para a avaliação não são tanto profissionais, técnicas ou intelectuais, mas sim, pragmáticas". O que nos leva a supor que são os mecanismos organizacionais e a atitude dos avaliadores, mais do que os aspectos técnicos envolvidos na realização dos estudos, os responsáveis pelos limites e possibilidades para promoção dos usos da avaliação.

Ao revisitar o modelo teórico proposto por Hartz et al.22, adaptado para análise realizada neste trabalho, identificou-se que a adoção da abordagem contextual como modo de produção do conhecimento e do foco na utilidade, definida para o processo de avaliação do PNCD, buscou atender a esse desafio: traduzir as necessidades programáticas em procedimentos válidos e orientados para a aprendizagem dos envolvidos com o programa e a avaliação. A participação ativa dos interessados, buscando a pertinência das questões e dos procedimentos metodológicos, mostrou-se favorável à utilidade da avaliação, conforme apontado na literatura12,13,14,15,16,34,35.

Envolver os interessados na intervenção e no tema da avaliação em todo o processo de trabalho favoreceu a circulação dos eventos e inscrições na rede de atuantes movimentada pelos estudos. Essa atuação em rede permitiu mobilizar instrumentos (conhecimentos técnicos, procedimentos metodológicos), alinhar interesses e valores, motivar outras redes (serviços de saúde, organismos internacionais e instituições de pesquisa), legitimar o processo avaliativo (seminários e encontros), em busca da realização de um projeto comum36.

A utilização dos achados produzidos no decorrer do processo de trabalho ou dos resultados dos estudos pelos diferentes níveis de gestão do PNCD não foi uma atitude passiva. Tal como apontado na literatura, buscou-se o entrelaçamento do processo da avaliação com os procedimentos organizacionais, o que demandou uma ampliação do papel dos avaliadores envolvidos, procurando operar como facilitadores da aprendizagem2,14,37. Porém, tal como colocado por Preskill & Caracelli2, caberia indagar se as organizações têm interesse em expandir o papel dos avaliadores e se os avaliadores estariam preparados para esse desafio.

Encarar esse desafio foi o propósito do processo de avaliação apresentado, experimentando-se um comprometimento mútuo com um ativo processo de participação e de aprendizagem. Numa proposta de avaliação participativa espera-se que os processos e produtos da atividade avaliativa permeiem a prática das organizações, favorecendo uma mudança institucional, social e política que envolve uma ação conjunta de compreensão, análises e atribuição de novos significados às rotinas38.

Vale ressaltar, entretanto, que, ainda que a adesão a algum modelo possa minimizar os obstáculos à utilização da avaliação, os avaliadores veem-se limitados por contingências ambientais de processos rivais ou condições inibidoras4,8. No processo apresentado isso pode ser vivenciado como limites encontrados pelo estudo, em relação às questões ligadas às interações dos atores, com distintas expertises, formações técnicas e culturas políticas, confrontando experiência e informação científica, e o processo de comunicação em contextos políticos e organizacionais, o que reforça a competência necessária para criar interesses e estabelecer elos18.

 

Considerações finais

A observação da vitalidade do processo avaliativo empreendido e a compreensão dos aspectos envolvidos na utilização dos estudos, foram facilitadas com o recurso à adoção de um modelo teórico que permitiu identificar e descrever os fatos da avaliação (eventos e inscrições) e sua participação nas decisões programáticas e organizacionais ao longo do período analisado. O envolvimento ativo de gestores, coordenadores de programas, profissionais, organizações e serviços de saúde, juntamente com avaliadores atuando como facilitadores dos processos de aprendizagem, mostrou-se adequado aos propósitos iniciais do estudo: favorecer a utilização da avaliação. Contribuiu, ainda, para responder a uma dúvida que persegue avaliadores e usuários da avaliação: vale a pena o investimento na avaliação de programas de saúde, considerando os recursos sempre insuficientes e a prioridade para a implementação das ações programáticas?

A resposta a essa dúvida, ao fim do processo vivenciado, é positiva. Na perspectiva aqui apresentada, tratando-se de problemas de saúde urgentes e complexos, justificaria investir em avaliações na medida em que se privilegie a participação dos interessados, a negociação das questões pertinentes, dos processos de trabalho, e a discussão e validação contínua dos achados das avaliações com os envolvidos. Isso demandará a presença de um avaliador que evolui do seu papel de um "intruso imparcial" para "coinvestigador" no programa, atuando como facilitador, solucionador de problemas, educador, técnico e amigo crítico39. Numa visão construtivista da avaliação, servindo a fins educacionais nos quais o êxito é julgado pela aprendizagem auferida, defende-se a ideia de que a discussão seja substituída pelo diálogo, significando conversação, comunicação valiosa e construtiva, que coloca os avaliadores e responsáveis pelos programas como coaprendizes e corresponsáveis por seus usos40.

 

Colaboradores

A. C. Figueiró trabalhou na concepção, delineamento, análise, interpretação dos dados e redação do artigo. Z. Hartz colaborou na concepção, delineamento, redação final e revisão crítica. I. Samico colaborou na concepção, redação final e revisão crítica. E. A. P. Cesse colaborou na redação final e revisão crítica.

 

Referências

1. Weiss CH. Where politics and evaluation research meet. Am J Eval 1993; 14:93-106.         [ Links ]

2. Preskill H, Caracelli V. Current and developing conceptions of use: evaluation use tig survey results. Am J Eval 1997; 18:209-25.         [ Links ]

3. Braga C, Albuquerque MFPM, Morais HM. A produção do conhecimento científico e as políticas de saúde pública: reflexões a partir da ocorrência da filariose na cidade do Recife, Pernambuco, Brasil. Cad Saúde Pública 2004; 20:351-61.         [ Links ]

4. Weiss CH. The interface between evaluation and public policy. Evaluation 1999; 5:468-86.         [ Links ]

5. Champagne F. The use of cientific evidence and knowledge by managers. Groupe de Recherche Interdisciplinaire en Santé, N99-01. http://www.gris.umontreal.ca/rapportpdf/N99-01.pdf (acessado em 12/Jan/2010).         [ Links ]

6. Weiss CH, Murphy-Graham E, Birkeland S. An alternative route to policy influence: how evaluations affect D.A.R.E. Am J Eval 2005; 26:12-30.         [ Links ]

7. Kirkhart KE. Reconceptualizing evaluation use: an integrated theory of influence. New Directions for Evaluation 2000; 88:5-23.         [ Links ]

8. Mark MM, Henry GT. The mechanisms and outcomes of evaluation influence. Evaluation 2004; 10:35-57.         [ Links ]

9. Henry GT, Mark MM. Beyond USE: understanding evaluation's influence on attitudes and actions. Am J Eval 2003; 24:293-314.         [ Links ]

10. Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualizing knowledge. In: Lemieux-Charles L, Champagne F, editors. Using knowledge and evidence in health care: multidisciplinary perspectives. Toronto: University of Toronto Press; 2004. p. 1-40.         [ Links ]

11. Boaz A, Hayden C. Pro-active evaluators: enabling research to be useful, usable and used. Evaluation 2002; 8:440-53.         [ Links ]

12. Patton MQ. The challenges of making evaluation useful. Ensaio: Avaliação e Políticas Públicas em Educação 2005; 13:67-78.         [ Links ]

13. Patton MQ. Evaluate development, develop evaluation: a pathway to Africa's future seven misconceptions and lessons learned. http://www.pnud.ne/rense/AfrEA%202007/AfrEA2007_Pl%E9ni%E8res/Presentation_MQP.pdf (acessado em 07/Nov/2009).         [ Links ]

14. Patton MQ. Utilization-focused evaluation: the new century text. 3rd Ed. Thousand Oaks: Sage Publications; 1997.         [ Links ]

15. Mark MM, Henry GT, Julnes G. Evaluation: an integrated framework for understanding, guiding, and improving policies and programs. San Francisco: Jossey-Bass; 2000.         [ Links ]

16. Alkin MC. Evaluation roots: tracing theorists' views and influences. Thousand Oaks: Sage Publications; 2004.         [ Links ]

17. Pouvourville G. Public health research: between science and action? Cad Saúde Pública 1999; 15:889-94.         [ Links ]

18. Trostle J, Bronfman M, Langer A. How do researchers influence decision makers? Case studies of Mexican policies. Health Policy Plann 1999; 14:103-14.         [ Links ]

19. Garcia RC. Subsídios para organizar avaliações da ação governamental. Brasília: Instituto de Pesquisa Econômica Aplicada; 2001. (Texto para Discussão, 776).         [ Links ]

20. Latour B. A esperança de pandora. São Paulo: EDUSC; 2001.         [ Links ]

21. Hartz ZMA, Contandriopoulos AP. Do quê ao pra quê da meta-avaliação em saúde. In: Hartz ZMA, Vieira-da-Silva LM, Felisberto E, organizadores. Meta-avaliação da atenção básica em Saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 27-45.         [ Links ]

22. Hartz ZMA, Denis JL, Moreira E, Matida A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: McQueen DV, Potvin L, editors. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008. p. 101-20.         [ Links ]

23. Weiss CH. Have we learned anything new about the use of evaluation? Am J Eval 1998; 19:21-33.         [ Links ]

24. Feinstein O. Use of evaluations and evaluations of their use. Evaluation 2002; 8:433-9.         [ Links ]

25. Figueiró AC, Sóter AP, Braga C, Hartz ZMA, Samico I. Análise da lógica de intervenção do Programa Nacional de Controle da Dengue. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:93-106.         [ Links ]

26. Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. La modélisation des interventions. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, editors. Concepts et méthodes d'évaluation des interventions. Montreal: Les Presses de l'Université de Montréal; 2009. p. 57-72.         [ Links ]

27. Organização Pan-Americana da Saúde. Dengue. Documento Técnico, 44. http://www.paho.org/spanish/gov/cd/cd44-14-s.pdf (acessado em 14/Dez/2009).         [ Links ]

28. Figueiró AC, Hartz ZMA, Brito CAA, Samico I, Siqueira Filha NT, Cazarin G, et al. Óbito por dengue como evento sentinela para avaliação da qualidade da assistência: estudo de caso em dois municípios da Região Nordeste, Brasil, 2008. Cad Saúde Pública 2011; 27:2373-85.         [ Links ]

29. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.         [ Links ]

30. Kropf SP, Ferreira LO. A prática da ciência: uma etnografia no laboratório. Hist Ciênc Saúde-Manguinhos; 1998; 4:597-8.         [ Links ]

31. Preskill H, Torres RT. Building capacity for organizational learning through evaluative inquiry. Evaluation 1999; 5:42-60.         [ Links ]

32. Torres RT, Preskill H. Evaluation and organizational learning: past, present, and future. Am J Eval 2001; 22:387-95.         [ Links ]

33. Thoenig JC. Avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público 2000; 51:55-72.         [ Links ]

34. Cousins JB, Leithwood KA. Current empirical research on evaluation utilization. Review of Educational Research 1986; 56:331-64.         [ Links ]

35. Johnson K, Greenseid LO, Toal SA, King JA, Lawrenz F, Volkov B. Research on evaluation use: a review of the empirical literature from 1986 to 2005. Am J Eval 2009; 30:377-410.         [ Links ]

36. Callon M, Latour B. Les paradoxes de la modernité. Comment concevoir les innovations? Clés pour l'analyse sociotechnicque. Prospective et Santé 1986; 36:13-29.         [ Links ]

37. Shulha LM, Cousins JB. Evaluation use: theory, research, and practice since 1986. Eval Pract 1997, 8:195-208.         [ Links ]

38. Russell S, Williams R. Social shaping of technology: frameworks, findings and implications for policy. In: Sørensen K, Williams R, editors. Shaping technology, guiding policy. Cheltenham: Edward Elgar; 2002. p. 37-131.         [ Links ]

39. Caracelli VJ. Evaluation use at the threshold of the twenty-first century. New Directions for Evaluation 2000; 88:99-112.         [ Links ]

40. Rossman GB, Rallis SF. Critical inquiry and use as action. New Directions for Evaluation 2000; 88: 55-70.         [ Links ]

 

 

Correspondência
A. C. Figueiró
Instituto de Medicina Integral Prof. Fernando Figueira.
Rua dos Coelhos 300, Recife, PE 50070-550, Brasil.

anaclaudiafigueiro@gmail.com

Recebido em 10/Jan/2012
Versão final reapresentada em 03/Jul/2012
Aprovado em 07/Ago/2012