Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue

Uses and influence of health evaluation in two studies on the Brazilian National Dengue Fever Control Program

Ana Cláudia Figueiró^I; Zulmira Hartz^II; Isabella Samico^I; Eduarda Angela Pessoa Cesse^III

^IInstituto de Medicina Integral Prof. Fernando Figueira, Recife, Brasil
^IIInstituto de Higiene e Medicina Tropical, Universidade Nova de Lisboa, Lisboa, Portugal
^IIICentro de Pesquisas Aggeu Magalhaes, Fundação Oswaldo Cruz, Recife, Brasil

Correspondência

RESUMO

Prover informações, promover melhoria dos programas e determinar o mérito e o valor do avaliando são os propósitos da avaliação. Porem, o desafio para os avaliadores não é apenas promover, mas documentar a utilidade dos estudos. Face ao desafio, o artigo objetivou sistematizar os usos e influência do processo e resultados de duas avaliações sobre o Programa Nacional de Controle da Dengue, para tomada de decisão de gestores e profissionais envolvidos. Com base em um modelo teórico de análise, realizou-se um estudo exploratório com a análise documental para identificação dos eventos e inscrições das avaliações e sua circulação quanto aos possíveis usos e influência, entre 2007-2010. Observou-se que o modo de produção de conhecimento contextual e a definição das avaliações com foco na utilidade mostraram-se favoráveis à utilização das avaliações. Os resultados indicando maior uso instrumental, influência imediata, do processo e coletiva, podem indicar a pertinência dos estudos para os interessados e sua utilidade na gestão do programa, em diferentes níveis do sistema de saúde.

Avaliação em Saúde; Dengue; Planos e Programas de Saúde

ABSTRACT

Evaluation aims to provide information, promote improvement in programs, and determine the merit and value of the object of evaluation. However, the challenge for evaluators is not only to promote, but also to document the usefulness of studies. Given this challenge, the article aimed to systematize the uses and influence of the process and findings in two evaluations on Brazilian National Dengue Fever Control Program, for decision-making by the respective public health administrators and professionals. Based on a theoretical analytical model, an exploratory study was performed with documental analysis for identification of events and registrations in the evaluations and their circulation in terms of possible uses and influence, from 2007 to 2010. Favorable factors for the use of evaluations were the mode of production of contextual knowledge and definition of evaluations with a focus on utility. The results, indicating greater instrumental use and immediate process and collective use may indicate the studies' pertinence to stakeholders and their usefulness to program management at different levels in the health system.

Health Evaluation; Dengue; Health Programs and Plans

Reconhece-se de longa data que uma das razões centrais para condução de avaliações é contribuir para orientar políticas e melhorar o desempenho dos programas¹. Prover informações aos tomadores de decisão, promover a melhoria dos programas e determinar o mérito e o valor do objeto avaliado são considerados os principais propósitos dos estudos de avaliação para avaliadores profissionais².

Interesses, valores e motivações envolvidos nos usos das pesquisas avaliativas nas políticas têm sido intensamente debatidos. A suposição inicial de que evidências científicas conseguidas por meio de pesquisas rigorosamente conduzidas seriam naturalmente utilizadas pelos tomadores de decisão, num modelo linear ligando aquelas à implementação de ações de qualidade, cedeu lugar ao entendimento da complexidade dos aspectos implicados nas decisões políticas, cujos estudos avaliativos correspondem apenas a um dos elementos na tomada de decisões^1,3,4,5.

Os modos como os estudos avaliativos podem ser utilizados e influenciar gestores e demais envolvidos nas intervenções, têm sido descritos por vários autores e podem ser sintetizados quanto: aos usos da avaliação – instrumental (para orientar a política e a prática), conceitual (para gerar novas ideias ou conceitos que sejam úteis para prover de sentido o cenário político), e político (ou simbólico – para justificar preferências e ações preexistentes)⁶; aos tipos de influência – fonte (processo ou resultado), intenção (prevista ou inesperada) e tempo (imediato, por ciclos ou de longo prazo)⁷; e níveis de influência da avaliação – individual (aquisição ou aprimoramento de atitudes, habilidades e condutas pelos envolvidos na avaliação), interpessoal (persuasão de pares, reconhecimento ou aprimoramento de lideranças, mudança de opinião dos envolvidos e de normas na organização), e coletivo (incorporação da cultura e dos achados das avaliaões na agenda política da organização)^8,9.

Entre os aspectos envolvidos na utilização das avaliações, identificam-se os modos de produção do conhecimento: disciplinar, prevalente no meio acadêmico, no qual o conhecimento científico é produzido dentro das fronteiras disciplinares e tendo o sistema da revisão de pares como garantia para a qualidade da investigação e pré-requisito para sua disseminação; e contextual, enfatizando os resultados práticos do conhecimento para a solução de problemas críticos, o que corresponde a aumentar a sua contextualização^10,11. Refere-se, ainda, à avaliação com foco na utilidade, com o envolvimento dos interessados (stakeholders), gerando mudanças de pensamento, comportamento e programáticas ou organizacionais nas práticas e cultura, como resultado da aprendizagem durante o processo avaliativo^12,13. Acredita-se que adotar o pressuposto de foco na utilidade requer a necessária coerência entre os propósitos e procedimentos da avaliação^14,15,16.

Para que as avaliações respondam às demandas dos tomadores de decisão e contribuam para a aprendizagem organizacional, necessita-se uma aproximação entre os formuladores e gestores de políticas e programas, que vêm atuando no mundo real, e os pesquisadores sociais, entre estes os avaliadores, voltados para reflexão teórica e a validação dos seus estudos entre pares^1,3,17,18,19. Conciliar esses diferentes mundos é um dos desafios atuais dos avaliadores.

A aproximação de mundos aparentemente distantes realiza-se por meio de uma atuação em rede, compreendida como sendo constituída por atuantes de natureza, interesses e relações distintas. Em rede processa-se a circulação dos eventos e inscrições das avaliações, geradores de consequências para o desenvolvimento do programa. Esse movimento fundamenta o princípio da teoria da tradução²⁰, que poderá facilitar uma melhor compreensão dos elementos, elos e pontes entre esses dois mundos, em sua dinâmica mútua e contínua^21,22.

Com o objetivo de contribuir para compreensão sobre se e como os estudos têm sido utilizados e o que poderia favorecer a maior utilização pelos tomadores de decisão e demais envolvidos nas intervenções avaliadas, o artigo busca documentar os usos e influência de duas avaliações sobre o Programa Nacional de Controle da Dengue (PNCD), com base na identificação dos eventos e inscrições das avaliações e suas consequências no desenvolvimento do programa. Os estudos avaliativos considerados neste artigo foram norteados pelo interesse em favorecer a sua utilização, apoiando-se na premissa de que o valor de uma avaliação está na relação direta da sua utilidade para a melhoria da prática cotidiana dos programas, com ganhos para os resultados pretendidos^23,24.

Metodologia

Para discutir como tornar uma avaliação útil e apreciar se tem sido utilizada, o presente artigo adotou e adaptou o modelo proposto por Hartz et al.²² (Figura 1), que configura o debate em quatro eixos com base nas contribuições dos autores analisados: modos de produção do conhecimento; modelos de uso da avaliação; avaliação com foco na utilidade; e tipos e níveis de influência da avaliação. Ao modelo proposto acrescentou-se o diagrama de circulação de fatos científicos²⁰, com o propósito de mapear e associar os eventos e incrições das avaliações, aos eixos acima referidos, tomados como categorias de análise.

Eventos são acontecimentos capazes de provocar mudanças em um sistema de programa^20,29. São referidos como qualquer experimento ou ação com consequência para a historicidade da intervenção, significando não apenas a passagem do tempo, mas o fato de algo ter sido transformado. Eles não evoluem linearmente, mas produzem novas translações quando outros interesses, necessidades, limites, conhecimentos se apresentam²⁰. Para o propósito do artigo, foram denominados eventos da avaliação situações que suscitaram decisões no âmbito do PNCD, em qualquer dos níveis de gestão do programa.

A circulação dos eventos da avaliação produzem inscrições, compreendidas como toda forma em que os produtos do conhecimento são materializados, seja num documento, num registro, num signo, num traço, permitindo sua mobilidade e portanto novas translações e articulações, porém mantendo as suas características^20,30. São esses registros que circulam entre os atores envolvidos, em movimento que requer a mobilização dos fatos pertinentes e relevantes para cada grupo; o interesse dos atores e de outros possíveis usuários; a formação de alianças endereçadas à busca de consensos e aliados para as proposições de interesse dos grupos; e a expressão dos consensos em decisões e normatizações coletivas, de natureza institucional²⁰. Nesse sentido, os registros do processo avaliativo, materializados em qualquer formato que permita sua circulação (relatórios, artigos científicos, normatizações, decisões de gestores, material didático), foram definidos como inscrições dos estudos de avaliação.

Como pesquisa qualitativa, para coleta de dados considerou-se documentos e registros relacionados tanto ao processo de trabalho, referente às etapas de elaboração e realização dos estudos avaliativos, quanto aos resultados dos estudos. Os seguintes documentos foram analisados: relatórios dos estudos avaliativos, atas de reunião e encontros entre equipe de avaliação e de coordenação do programa nos três níveis de gestão, relatórios de seminário de apresentação e discussão dos resultados das avaliações, atividades e produção técnica e científica no âmbito do PNCD. Como questão norteadora para identificação dos eventos e inscrições da avaliação na análise documental considerou-se toda referência à utilização dos estudos avaliativos no desenvolvimento do programa. Tomou-se como unidade de análise a coordenação do PNCD nos três âmbitos de gestão do Sistema Único de Saúde (SUS), Ministério da Saúde, Secretarias Estadual e Municipal de Saúde.

O presente trabalho é parte integrante do projeto de pesquisa denominado Avaliação da Qualidade da Assistência Prestada aos Pacientes de Dengue nos Serviços de Saúde, que foi submetido ao Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP), com o número 646 e aprovado em 6 de dezembro de 2007.

Resultados

Em uma primeira análise, identificou-se os eventos e as inscrições produzidas no processo de avaliação, de acordo com o período de ocorrência, descritos na Tabela 1. Os eventos e inscrições concentraram-se nos dois primeiros anos do período. Observou-se que algumas inscrições, embora referidas a um evento específico, se expressam em um momento posterior ao evento; outras vezes, uma inscrição registrada num momento não está referida ao evento identificado na mesma época e sim ao processo mais geral da avaliação do programa. O evento Definição da realização do Estudo 1, com a participação dos envolvidos no programa, acontecido em 2007, por exemplo, possui uma inscrição a ele relacionada mas registrada em outro momento do processo avaliativo, em 2008 (participação dos avaliadores no 5º Curso Internacional de Dengue, apresentando resultados parciais).

Identificou-se o 1º Seminário Internacional de Avaliação do PNCD (SIA-PNCD) como evento e não como inscrição tal qual os outros SIA-PNCD, por tratar-se da primeira reunião com a presença de atores dos vários grupos de envolvidos com o programa e com o tema da avaliação, bem como as recomendações geradas na ocasião, entre elas a realização do Estudo 2.

Na segunda etapa da análise dos dados, os eventos e inscrições foram relacionados a três dos quatro eixos denominados como pilares dos usos e influência da avaliação, apresentados na Tabela 2. O eixo denominado modo de produção do conhecimento não aparece descrito no quadro pois, por decisão da equipe de avaliação em conjunto com os mandatários dos estudos, definiu-se pela abordagem contextual no desenvolvimento do processo avaliativo, assumindo que as questões, foco e procedimentos da avaliação seriam pertinentes às demandas dos envolvidos com o PNCD.

O mesmo poderia ser dito sobre o eixo foco na utilidade, porém neste caso foi importante identificar se os eventos e inscrições apresentaram concordância quanto à intenção em favorecer a utilização das avaliações nas decisões sobre o programa. Observa-se a partir dos eventos e inscrições listados que os procedimentos dos estudos, considerando a perspectiva dos usuários e suas necessidades desde o momento inicial até a finalização do processo de avaliação, foram coerentes com o propósito inicial. Postula-se que essa coerência considere a correspondência entre os propósitos e procedimentos metodológicos adotados^14,15,16.

Ressalta-se a maior ocorrência de eventos e inscrições nas categorias de uso instrumental da avaliação e da influência no tempo imediato e fonte processual, indicando correspondência entre a abordagem com foco na utilidade e o favorecimento da utilização dos estudos durante o decorrer do processo de trabalho. Chama atenção, ainda, os eventos de natureza coletiva, indicando o interesse institucional em adotar institucionalmente produtos e recomendações gerados pelas avaliações.

Discussão

Espera-se do processo avaliativo que ele contribua para um contínuo crescimento e melhoria das políticas e práticas, a partir tanto dos procedimentos quanto dos resultados das avaliações. Esse empreendimento requer integração da avaliação às atividades institucionais, fazendo parte dos elementos organizacionais, da cultura, das lideranças, dos sistemas e estruturas, e dos canais de comunicação. Necessita-se, assim, o alinhamento de valores, atitudes e percepções entre os atores envolvidos, avaliadores e tomadores de decisão para que apoiem e encorajem a aprendizagem organizacional^31,32. A lição a ser aprendida, sugerida por Thoenig³³ (p. 57), é relativamente otimista: "não são especialistas ou sistemas sofisticados que contam... as barreiras para a avaliação não são tanto profissionais, técnicas ou intelectuais, mas sim, pragmáticas". O que nos leva a supor que são os mecanismos organizacionais e a atitude dos avaliadores, mais do que os aspectos técnicos envolvidos na realização dos estudos, os responsáveis pelos limites e possibilidades para promoção dos usos da avaliação.

Ao revisitar o modelo teórico proposto por Hartz et al.²², adaptado para análise realizada neste trabalho, identificou-se que a adoção da abordagem contextual como modo de produção do conhecimento e do foco na utilidade, definida para o processo de avaliação do PNCD, buscou atender a esse desafio: traduzir as necessidades programáticas em procedimentos válidos e orientados para a aprendizagem dos envolvidos com o programa e a avaliação. A participação ativa dos interessados, buscando a pertinência das questões e dos procedimentos metodológicos, mostrou-se favorável à utilidade da avaliação, conforme apontado na literatura^{12,13,14,15,16,34,35}.

Envolver os interessados na intervenção e no tema da avaliação em todo o processo de trabalho favoreceu a circulação dos eventos e inscrições na rede de atuantes movimentada pelos estudos. Essa atuação em rede permitiu mobilizar instrumentos (conhecimentos técnicos, procedimentos metodológicos), alinhar interesses e valores, motivar outras redes (serviços de saúde, organismos internacionais e instituições de pesquisa), legitimar o processo avaliativo (seminários e encontros), em busca da realização de um projeto comum³⁶.

A utilização dos achados produzidos no decorrer do processo de trabalho ou dos resultados dos estudos pelos diferentes níveis de gestão do PNCD não foi uma atitude passiva. Tal como apontado na literatura, buscou-se o entrelaçamento do processo da avaliação com os procedimentos organizacionais, o que demandou uma ampliação do papel dos avaliadores envolvidos, procurando operar como facilitadores da aprendizagem^2,14,37. Porém, tal como colocado por Preskill & Caracelli², caberia indagar se as organizações têm interesse em expandir o papel dos avaliadores e se os avaliadores estariam preparados para esse desafio.

Vale ressaltar, entretanto, que, ainda que a adesão a algum modelo possa minimizar os obstáculos à utilização da avaliação, os avaliadores veem-se limitados por contingências ambientais de processos rivais ou condições inibidoras^4,8. No processo apresentado isso pode ser vivenciado como limites encontrados pelo estudo, em relação às questões ligadas às interações dos atores, com distintas expertises, formações técnicas e culturas políticas, confrontando experiência e informação científica, e o processo de comunicação em contextos políticos e organizacionais, o que reforça a competência necessária para criar interesses e estabelecer elos¹⁸.

Considerações finais

A observação da vitalidade do processo avaliativo empreendido e a compreensão dos aspectos envolvidos na utilização dos estudos, foram facilitadas com o recurso à adoção de um modelo teórico que permitiu identificar e descrever os fatos da avaliação (eventos e inscrições) e sua participação nas decisões programáticas e organizacionais ao longo do período analisado. O envolvimento ativo de gestores, coordenadores de programas, profissionais, organizações e serviços de saúde, juntamente com avaliadores atuando como facilitadores dos processos de aprendizagem, mostrou-se adequado aos propósitos iniciais do estudo: favorecer a utilização da avaliação. Contribuiu, ainda, para responder a uma dúvida que persegue avaliadores e usuários da avaliação: vale a pena o investimento na avaliação de programas de saúde, considerando os recursos sempre insuficientes e a prioridade para a implementação das ações programáticas?

A resposta a essa dúvida, ao fim do processo vivenciado, é positiva. Na perspectiva aqui apresentada, tratando-se de problemas de saúde urgentes e complexos, justificaria investir em avaliações na medida em que se privilegie a participação dos interessados, a negociação das questões pertinentes, dos processos de trabalho, e a discussão e validação contínua dos achados das avaliações com os envolvidos. Isso demandará a presença de um avaliador que evolui do seu papel de um "intruso imparcial" para "coinvestigador" no programa, atuando como facilitador, solucionador de problemas, educador, técnico e amigo crítico³⁹. Numa visão construtivista da avaliação, servindo a fins educacionais nos quais o êxito é julgado pela aprendizagem auferida, defende-se a ideia de que a discussão seja substituída pelo diálogo, significando conversação, comunicação valiosa e construtiva, que coloca os avaliadores e responsáveis pelos programas como coaprendizes e corresponsáveis por seus usos⁴⁰.

Colaboradores

A. C. Figueiró trabalhou na concepção, delineamento, análise, interpretação dos dados e redação do artigo. Z. Hartz colaborou na concepção, delineamento, redação final e revisão crítica. I. Samico colaborou na concepção, redação final e revisão crítica. E. A. P. Cesse colaborou na redação final e revisão crítica.

1. Weiss CH. Where politics and evaluation research meet. Am J Eval 1993; 14:93-106.         [ Links ]

2. Preskill H, Caracelli V. Current and developing conceptions of use: evaluation use tig survey results. Am J Eval 1997; 18:209-25.         [ Links ]

3. Braga C, Albuquerque MFPM, Morais HM. A produção do conhecimento científico e as políticas de saúde pública: reflexões a partir da ocorrência da filariose na cidade do Recife, Pernambuco, Brasil. Cad Saúde Pública 2004; 20:351-61.         [ Links ]

4. Weiss CH. The interface between evaluation and public policy. Evaluation 1999; 5:468-86.         [ Links ]

5. Champagne F. The use of cientific evidence and knowledge by managers. Groupe de Recherche Interdisciplinaire en Santé, N99-01. http://www.gris.umontreal.ca/rapportpdf/N99-01.pdf (acessado em 12/Jan/2010).         [ Links ]

6. Weiss CH, Murphy-Graham E, Birkeland S. An alternative route to policy influence: how evaluations affect D.A.R.E. Am J Eval 2005; 26:12-30.         [ Links ]

7. Kirkhart KE. Reconceptualizing evaluation use: an integrated theory of influence. New Directions for Evaluation 2000; 88:5-23.         [ Links ]

8. Mark MM, Henry GT. The mechanisms and outcomes of evaluation influence. Evaluation 2004; 10:35-57.         [ Links ]

9. Henry GT, Mark MM. Beyond USE: understanding evaluation's influence on attitudes and actions. Am J Eval 2003; 24:293-314.         [ Links ]

10. Denis JL, Lehoux P, Champagne F. A knowledge utilization perspective on fine-tuning dissemination and contextualizing knowledge. In: Lemieux-Charles L, Champagne F, editors. Using knowledge and evidence in health care: multidisciplinary perspectives. Toronto: University of Toronto Press; 2004. p. 1-40.         [ Links ]

11. Boaz A, Hayden C. Pro-active evaluators: enabling research to be useful, usable and used. Evaluation 2002; 8:440-53.         [ Links ]

12. Patton MQ. The challenges of making evaluation useful. Ensaio: Avaliação e Políticas Públicas em Educação 2005; 13:67-78.         [ Links ]

13. Patton MQ. Evaluate development, develop evaluation: a pathway to Africa's future seven misconceptions and lessons learned. http://www.pnud.ne/rense/AfrEA%202007/AfrEA2007_Pl%E9ni%E8res/Presentation_MQP.pdf (acessado em 07/Nov/2009).         [ Links ]

14. Patton MQ. Utilization-focused evaluation: the new century text. 3^rd Ed. Thousand Oaks: Sage Publications; 1997.         [ Links ]

15. Mark MM, Henry GT, Julnes G. Evaluation: an integrated framework for understanding, guiding, and improving policies and programs. San Francisco: Jossey-Bass; 2000.         [ Links ]

16. Alkin MC. Evaluation roots: tracing theorists' views and influences. Thousand Oaks: Sage Publications; 2004.         [ Links ]

17. Pouvourville G. Public health research: between science and action? Cad Saúde Pública 1999; 15:889-94.         [ Links ]

18. Trostle J, Bronfman M, Langer A. How do researchers influence decision makers? Case studies of Mexican policies. Health Policy Plann 1999; 14:103-14.         [ Links ]

19. Garcia RC. Subsídios para organizar avaliações da ação governamental. Brasília: Instituto de Pesquisa Econômica Aplicada; 2001. (Texto para Discussão, 776).         [ Links ]

20. Latour B. A esperança de pandora. São Paulo: EDUSC; 2001.         [ Links ]

21. Hartz ZMA, Contandriopoulos AP. Do quê ao pra quê da meta-avaliação em saúde. In: Hartz ZMA, Vieira-da-Silva LM, Felisberto E, organizadores. Meta-avaliação da atenção básica em Saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 27-45.         [ Links ]

22. Hartz ZMA, Denis JL, Moreira E, Matida A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: McQueen DV, Potvin L, editors. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008. p. 101-20.         [ Links ]

23. Weiss CH. Have we learned anything new about the use of evaluation? Am J Eval 1998; 19:21-33.         [ Links ]

24. Feinstein O. Use of evaluations and evaluations of their use. Evaluation 2002; 8:433-9.         [ Links ]

25. Figueiró AC, Sóter AP, Braga C, Hartz ZMA, Samico I. Análise da lógica de intervenção do Programa Nacional de Controle da Dengue. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:93-106.         [ Links ]

26. Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. La modélisation des interventions. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, editors. Concepts et méthodes d'évaluation des interventions. Montreal: Les Presses de l'Université de Montréal; 2009. p. 57-72.         [ Links ]

27. Organização Pan-Americana da Saúde. Dengue. Documento Técnico, 44. http://www.paho.org/spanish/gov/cd/cd44-14-s.pdf (acessado em 14/Dez/2009).         [ Links ]

28. Figueiró AC, Hartz ZMA, Brito CAA, Samico I, Siqueira Filha NT, Cazarin G, et al. Óbito por dengue como evento sentinela para avaliação da qualidade da assistência: estudo de caso em dois municípios da Região Nordeste, Brasil, 2008. Cad Saúde Pública 2011; 27:2373-85.         [ Links ]

29. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.         [ Links ]

30. Kropf SP, Ferreira LO. A prática da ciência: uma etnografia no laboratório. Hist Ciênc Saúde-Manguinhos; 1998; 4:597-8.         [ Links ]

31. Preskill H, Torres RT. Building capacity for organizational learning through evaluative inquiry. Evaluation 1999; 5:42-60.         [ Links ]

32. Torres RT, Preskill H. Evaluation and organizational learning: past, present, and future. Am J Eval 2001; 22:387-95.         [ Links ]

33. Thoenig JC. Avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público 2000; 51:55-72.         [ Links ]

34. Cousins JB, Leithwood KA. Current empirical research on evaluation utilization. Review of Educational Research 1986; 56:331-64.         [ Links ]

35. Johnson K, Greenseid LO, Toal SA, King JA, Lawrenz F, Volkov B. Research on evaluation use: a review of the empirical literature from 1986 to 2005. Am J Eval 2009; 30:377-410.         [ Links ]

36. Callon M, Latour B. Les paradoxes de la modernité. Comment concevoir les innovations? Clés pour l'analyse sociotechnicque. Prospective et Santé 1986; 36:13-29.         [ Links ]

37. Shulha LM, Cousins JB. Evaluation use: theory, research, and practice since 1986. Eval Pract 1997, 8:195-208.         [ Links ]

38. Russell S, Williams R. Social shaping of technology: frameworks, findings and implications for policy. In: Sørensen K, Williams R, editors. Shaping technology, guiding policy. Cheltenham: Edward Elgar; 2002. p. 37-131.         [ Links ]

39. Caracelli VJ. Evaluation use at the threshold of the twenty-first century. New Directions for Evaluation 2000; 88:99-112.         [ Links ]

40. Rossman GB, Rallis SF. Critical inquiry and use as action. New Directions for Evaluation 2000; 88: 55-70.         [ Links ]

Correspondência
A. C. Figueiró
Instituto de Medicina Integral Prof. Fernando Figueira.
Rua dos Coelhos 300, Recife, PE 50070-550, Brasil.
anaclaudiafigueiro@gmail.com

Recebido em 10/Jan/2012
Versão final reapresentada em 03/Jul/2012
Aprovado em 07/Ago/2012