SciELO - Scientific Electronic Library Online

 
vol.17 issue4The authors replyEvaluation of Management for Health Planning in municipalities in the State of Santa Catarina author indexsubject indexarticles search
Home Page  

Services on Demand

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Ciência & Saúde Coletiva

Print version ISSN 1413-8123

Ciênc. saúde coletiva vol.17 n.4 Rio de Janeiro Apr. 2012

http://dx.doi.org/10.1590/S1413-81232012000400007 

ARTIGO ARTICLE

 

Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS

 

Methodology for construction of a panel of indicators for monitoring and evaluation of unified health system (SUS) management

 

 

Edson Mamoru TamakiI; Oswaldo Yoshimi TanakaII; Eronildo FelisbertoIII; Cinthia Kalyne de Almeida AlvesIV; Marcos Drumond JuniorV; Luciana Caroline de Albuquerque BezerraIII; Maria Cristina Marino CalvoVI; Alcides Silva de MirandaVII

IDepartamento de Saúde Coletiva, Centro de Ciências Biológicas e da Saúde, Universidade Federal de Mato Grosso do Sul. Cidade Universitária s/n. 79070-900 Campo Grande MS. edson.tamaki@ufms.br
IIFaculdade de Saúde Pública, Universidade de São Paulo
IIIInstituto de Medicina Integral Prof. Fernando Figueira
IVUniversidade Federal de Pernambuco
VCoordenação de Epidemiologia e Informação, Secretaria Municipal de Saúde de São Paulo
VIDepartamento de Saúde Pública, Centro de Ciências da Saúde, Universidade Federal de Santa Catarina
VIIEscola de Enfermagem, Universidade Federal do Rio Grande do Sul

 

 


RESUMO

Este estudo teve como objetivo desenvolver uma metodologia de construção de um Painel de Monitoramento e Avaliação da Gestão do Sistema Único de Saúde (SUS). O processo participativo utilizado e a sistematização realizada permitiram identificar uma estratégia efetiva para a construção de instrumentos de gestão em parceria entre pesquisadores, instituições acadêmicas e gestores do SUS. A sistematização final do Painel selecionou indicadores da gestão do SUS em termos de Demandas, Insumos, Processos, Produtos e Resultados de forma a disponibilizar um instrumento simples, ágil e útil para a avaliação em qualquer instância de gestão e mais transparente e de mais fácil comunicação com todos os interessados na tomada de decisão. Tomar a gestão do SUS como objeto destes processos e práticas em seus aspectos normativos possibilitou o diálogo entre teorias sistêmicas e aquelas que consideram a centralidade do ator social no processo de tomada de decisão.

Palavras-chave: Sistema Único de Saúde, Indicadores de gestão, Monitoramento, Avaliação em saúde


ABSTRACT

This study sought to develop methodology for the construction of a Panel for the Monitoring and Evaluation of Management of the Unified Health System (SUS). The participative process used in addition to the systematization conducted made it possible to identify an effective strategy for building management tools in partnership with researchers, academic institutions and managers of the SUS. The final systematization of the Panel selected indicators for the management of the SUS in terms of Demand, Inputs, Processes, Outputs and Outcomes in order to provide a simple, versatile and useful tool for evaluation at any level of management and more transparent and easier communication with all stakeholders in decision-making. Taking the management of the SUS as the scope of these processes and practices in all normative aspects enabled dialog between systemic theories and those which consider the centrality of the social actor in the decision-making process.

Key words: Unified Health System (Brazil), Management indicators, Monitoring, Health Evaluation


 

 

Introdução

A partir da década de 90 do século passado há uma intensificação da preocupação, por parte de diversos autores, quanto à pertinência e ao embasamento teórico de políticas e programas desenvolvidos pela gestão pública1-6. Da mesma forma, a gestão pública em vários países procura se fortalecer a partir da observação das evidências, do desempenho e, em alguns casos, do impacto resultante de suas ações7. Mais recentemente, têm sido frequentes as reflexões e a introdução de práticas que resgatam o pensamento e a teoria desenvolvida no início do século XX por Talkott Parsons, que resulta na possibilidade de se compreender instituições, políticas e programas enquanto "intervenções", traduzidas, ainda, como "sistemas organizados de ação", passíveis de acompanhamento e análise7-10.

Essa contribuição nos ajuda, na atualidade, a compreender a relevância em se considerar a influência de padrões socioculturais e normativos que orientam a conduta dos indivíduos no campo institucional das intervenções. Dessa forma, a compreensão do significado sobre "sistemas organizados de ação" nos permite enxergar que estes orientam as condutas individuais e ou coletivas, sejam estas ligadas à cultura, ao sistema social, às normas ou aos valores estabelecidos no espaço social11. Por outro lado, torna-se relevante atentar para a necessidade de se ampliar essa reflexão acrescentando outras dimensões, talvez não vislumbradas por Parsons, como a dinâmica do poder, os conflitos, o contexto produzido pelo conjunto de atores envolvidos em uma organização e a permanente necessidade de novos arranjos institucionais. Tudo isso na perspectiva da abertura necessária à compreensão dos fenômenos sociais e da natureza dos dispositivos produzidos pelas instituições para dar corpo às intervenções12-16.

A reflexão acima nos permite embasar a necessidade do desenvolvimento de metodologias que permitam compreender melhor as intervenções promovidas pela gestão pública, por intermédio do monitoramento e da avaliação. Neste campo, é importante ressaltar que a "avaliação baseada na teoria" aparece como promissora tanto para pesquisadores como para os gestores e stakeholders, desde que articulada com a compreensão da relevância da "avaliação focada nos resultados"5,6. Uma vez que a "avaliação baseada na teoria", que traz em seu bojo duas outras concepções, aprendizagem e evidência, associa-se à "avaliação focada nos resultados" ao analisar e estimar o valor das intervenções a partir de objetivos pré-determinados (aprendizagem), mas procurando entender os mecanismos do processo causa-efeito (evidência) atrelados à intervenção17,18.

Há, portanto um desafio colocado à gestão pública que se constitui na utilização de estratégias metodológicas que permitam a obtenção de conhecimento sobre as políticas, programas e serviços, por intermédio do monitoramento e da avaliação, partindo da compreensão de que um mesmo programa poderá apresentar diferentes resultados quando implantado sob diferentes condições contextuais.

A gestão do SUS

A problematização do objeto - Gestão do SUS - com o objetivo de conhecer o entendimento dos principais atores que lidam com a prática no diaa-dia, ou seja, equipes gestoras das instâncias federal, estaduais e municipais e suas representações, permitiu a construção consensual de que o conceito Gestão do SUS pode ser apresentado sob várias perspectivas, visto que este objeto é discutido por várias correntes teóricas e várias perspectivas empíricas19. Há que se destacar que, na prática das instituições, este fazer é complexo e contingenciado por vários elementos contextuais. Tal complexidade impossibilita a obtenção de um padrão nacional daquilo que possa ser considerado uma Gestão efetiva ou de sucesso no SUS.

Há a compreensão de que a Gestão do SUS pode ser entendida como um processo pelo qual equipes gestoras (sujeitos) tomam decisões na implementação da Política de Saúde. É relevante, entretanto, o destaque dado aos aspectos normativos e legais estabelecidos no planejamento em saúde: os Planos de Saúde, os Relatórios de Gestão, a Programação Pactuada e Integrada (PPI) e, em especial, o Pacto de Gestão. Observase assim uma grande tendência dos grupos ao uso dos instrumentos formais de gestão para promover a participação e a gestão democrática do SUS19.

Assumir o Pacto pela Saúde e suas dimensões como eixos orientadores da gestão do SUS é tender para uma vertente mais estrutural-funcionalista. Todavia, tomar o processo de pactuação em sua dimensão organizacional e político-institucional, implica em valorizar a dimensão dos sujeitos, do poder que cada um tem na mobilização de recursos, reforçando a tendência em aproximar os aspectos normativos (estruturais-funcionalistas) aos políticos-contextuais e à centralidade do ator social na ação19.

Nessa direção, os processos e práticas de avaliação devem fazer sentido na perspectiva dos diversos atores envolvidos. As interpretações e interações daí decorrentes têm relevância tanto na produção dos resultados como no desenvolvimento de processos de aprendizagem no âmbito da gestão, a partir da avaliação. Assim, o contexto político-institucional torna-se um componente central para um melhor conhecimento do objeto em observação, ou seja, se tomarmos como ponto de partida as premissas e os objetivos de uma política pública, o processo de avaliação, desde sua formulação à sua utilização, poderá trazer enormes benefícios aos envolvidos, à organização e ao público alvo20.

A concepção aqui adotada considera a necessidade de uma construção teórica que sirva de base ao desenho avaliativo a ser proposto, mas que resulte na construção de um Painel que permita a produção de resultados rápidos e úteis para decisões gerenciais, tendo como perspectiva final sua utilização de forma participativa, dialogada, auxiliando na identificação daquilo que está sendo alcançado e o que interfere na situação encontrada em diferentes contextos21-24.

Por outro lado, é imprescindível, para além da perícia técnica, o compromisso ético e político dos técnicos e gestores, garantindo mecanismos que permitam a apropriação social dos produtos da avaliação no sentido da redução da deficiência do conhecimento, com vistas à diminuição de desigualdades dos atores envolvidos, alimentando a sua incorporação pelos grupos de controle social. Com efeito, a natureza do sistema de saúde brasileiro, permeada pelas noções de democracia e universalidade, não permite a produção de ferramentas que não tenham como referência os benefícios que pode trazer para os que decidem e para os cidadãos que têm de conviver com as decisões. Portanto, a fundamentação teórica deste trabalho pretende influenciar seu uso conforme a perspectiva de todos os interessados na agenda da política nacional de saúde, na formulação de novas diretrizes ou na implantação de intervenções que tenham como objetivos a qualificação da gestão do SUS e a democratização das instituições1,25-29.

Ainda, o exercício de funções que são inerentes ao comando de um sistema de saúde ou dos seus componentes ocorre numa arena de tensões e conflitos de todo o arcabouço contextual e requer dos gestores capacidade para lidar com a complexidade das dimensões, hoje refletidas em certa medida nos instrumentos formais da gestão do SUS. Se o Pacto de Gestão e as peças do planejamento eram os instrumentos formais que, até então, conseguiam dar concretude ao que chamamos de Gestão do SUS, em 2011 é publicado o decreto 7.508, que regulamenta a Lei nº 8.080, de 1990, para dispor sobre a organização do Sistema Único de Saúde - SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa. O desafio é inovar nos processos e instrumentos de gestão, superar a fragmentação das políticas de saúde, garantir o acesso com qualidade, fortalecendo os vínculos interfederativos. O decreto agrega mais um instrumento, o Contrato Organizativo da Ação Pública da Saúde (COAP), cujo objeto é a organização e a integração das ações e dos serviços, em uma região de saúde, com a finalidade de garantir a integralidade da assistência aos usuários.

O monitoramento e a avaliação

O conceito de monitoramento comumente utilizado refere-se ao acompanhamento rotineiro de informações relevantes. O monitoramento propõe-se a verificar a existência de mudanças, mas não as suas razões, e inclui a definição da temporalidade para coleta e sistematização de dados. Trata-se de um processo sistemático e contínuo de acompanhamento de indicadores de saúde e da execução de políticas, ações e serviços, visando a obtenção de informações, em tempo oportuno, para subsidiar tomadas de decisão, a identificação, encaminhamento de solução e redução de problemas, bem como a correção de rumos30.

Na avaliação para a gestão, o objetivo dominante é ela se constituir em um elemento efetivamente capaz de participar de processos de tomada de decisão, ou seja, que produza respostas para perguntas colocadas por aqueles que vivenciam o objeto avaliado, sendo que esta capacidade deve preponderar sobre a cientificidade do conhecimento produzido.

A incorporação da avaliação como prática sistemática nos diversos níveis dos serviços de saúde propicia aos seus gestores as informações requeridas para a definição de estratégias de intervenção. Há uma grande quantidade de informações registradas rotineiramente pelos serviços que não são utilizadas para a análise da situação de saúde ou para a definição de prioridades e a reorientação de práticas. A utilização desse potencial inexplorado deve ser uma meta nos processos de elaboração de instrumentos para o Monitoramento e Avaliação da Gestão do SUS.

Uma política para institucionalizar processos e práticas de monitoramento e avaliação da gestão do SUS deve ser assumida pelos governos. Ela deve incluir: qualificação de equipes gestoras; desenvolvimento e aporte de metodologia; desenvolvimento e disseminação de tecnologias para o monitoramento; e avaliações oportunas aos tempos da gestão do SUS, alinhados aos princípios da administração pública. Ainda, deverá incluir: pesquisas avaliativas, publicações com o objetivo de desenvolvimento de capacidade técnica e política que para se constituírem confiáveis, válidas, úteis e sustentáveis necessitam de uma rede de parcerias que inclua todos os interessados no tema avaliação21,23,27,31-35.

Os desafios apresentados para o aprimoramento da gestão do SUS justifica a iniciativa de desenvolvimento de uma metodologia para a construção de um painel de monitoramento e avaliação.

Percurso metodológico de construção do Painel

A partir da parceria entre o Grupo Técnico de Monitoramento e Avaliação de Programas e Políticas de Saúde (GT de Avaliação), da Associação Brasileira de Saúde Coletiva (ABRASCO), e o Departamento de Monitoramento e Avaliação da Gestão do SUS (DEMAGS), da Secretaria de Gestão Estratégica e Participativa do Ministério da Saúde (SGEP/MS), foi realizada uma série de encontros e reuniões para sistematizar evidências, experiências e reflexões teóricas sobre os temas Gestão do SUS, Monitoramento e Avaliação da Gestão do SUS e Fortalecimento, Desenvolvimento e Institucionalização de Processos e Práticas de Monitoramento e Avaliação da Gestão do SUS.

Nos encontros, buscou-se a problematização, a caracterização e a clarificação desses temas, a partir da mobilização de atores envolvidos, estivessem eles nas instâncias colegiadas de gestão do SUS ou nas próprias secretarias de saúde de estados e municípios. Entre cada um dos encontros, foram promovidas reuniões intermediárias de trabalho que visaram a produção de sínteses e a organização dos mesmos.

Foram realizados três encontros que contaram com a participação de gestores e técnicos de: SGEP/MS, GT de Avaliação, Organização Pan-Americana da Saúde (OPAS), Conselho Nacional de Secretarias Municipais (CONASEMS), Conselho Nacional de Secretários Estaduais de Saúde (CONASS), demais secretarias do Ministério da Saúde, secretarias estaduais e municipais de saúde, além de pesquisadores com experiências exitosas na área.

As experiências e as reflexões teóricas produzidas nestes encontros foram sistematizadas em um documento institucional19. Esta sistematização foi utilizada por um grupo de especialistas nas áreas de Gestão e Avaliação, que assumiu o desafio de definir dimensões e indicadores para realizar o monitoramento e a avaliação da Gestão do SUS.

A construção do Painel partiu da elaboração de um marco referencial teórico sobre a avaliação da gestão pelos membros do GT de Avaliação, que foi analisado criticamente pelos profissionais responsáveis pelo monitoramento e pela avaliação de nível ministerial, e nas etapas posteriores do trabalho foram também analisados por representantes da gestão estadual e municipal com responsabilidades em monitoramento e avaliação.

Modelo teórico do Painel

O monitoramento como logística avaliativa de natureza exploratória e sentinela, de caráter normativo e perspectiva longitudinal (retrospectiva e prospectiva), torna-se bastante apropriado para a análise sistêmica a partir de determinados indicadores e/ou marcadores de processos e dinâmicas do âmbito de sistemas de gestão em saúde. Neste caso, trata-se de agregar dimensões, medidas e indicadores para o monitoramento de gestão, propriamente dita, além do monitoramento de demandas, recursos e resultados dos sistemas e serviços de saúde.

As questões teóricas e práticas da gestão e da tomada de decisão em saúde recomendam modelos de avaliação que considerem a complexidade da ação e a logística relacionada ao seu processamento em sistemas de saúde.

Uma maneira de inserir parte dessa complexidade é adotar modelos sistêmicos que contemplem os itens básicos previstos na teoria de sistemas, quais sejam: as demandas (impulses), os recursos (inputs), o processo (process), os produtos (outputs), e os resultados (outcomes).

As dimensões de análise devem apreender, de maneira simplificada, as estruturas, propriedades e atributos funcionais dos sistemas de saúde na forma de um modelo teórico (Figura 1):

1 Demandas (impulses): referem-se a problemas e necessidades de serviços e ações (espontâneas e programadas) que induzem a processamentos e respostas institucionais; o que requer tecnologias e dispositivos com gradientes de sensibilidade e especificidade para o reconhecimento e a seletividade dessas demandas.

2 Recursos (inputs):

2.1 Capitais e insumos: subsídios que devem ser captados, armazenados, alocados, distribuídos de maneira adequada para atingir os propósitos institucionais;

2.2 Força de trabalho: tipo diferenciado de recurso, com consciência de motivações, interesses, propósitos e ações intencionais, e interações políticas, que requer formas de processamento diferentes para atingir os propósitos institucionais.

3 Processo (process):

3.1 Articulação: processos gerenciais, orientados pelas diretrizes institucionais, e que requerem as estruturas, as competências e as capacidades especializadas para a gestão. Envolve ações de articulação entre a programação, o controle, a regulação, a informação e a comunicação;

3.2 Participação e Controle Social: para a adequada articulação ao processo de gestão é imprescindível a relação do sistema de saúde com as instâncias deliberativas de participação da população.

4 Produtos (outputs): trata-se das dinâmicas de execução de atividades finalísticas, respostas sistêmicas, a partir da organização dos serviços.

5 Resultados (outcomes): repercussão e impacto sobre o estado de saúde de populações. Os indicadores de resultados devem proporcionar o (re)dimensionamento de necessidades e demandas a partir de logísticas de retroalimentação (feedbacks).

Definição dos indicadores do Painel

Definir medidas de avaliação e monitoramento de processos de gestão de sistemas de saúde, propriamente ditos, é uma tarefa complexa, no entanto sua operacionalização no cotidiano da gestão requer, muitas vezes, indicadores que apesar de simplificar os processos, permitem sua incorporação no apoio à gestão e viabilizam sua adoção como instrumento de trabalho da gestão.

Desta forma, o processo de construção de um painel de monitoramento e avaliação da gestão da saúde no SUS requer que a escolha de indicadores para compor o painel tenha certas características necessárias a ampliar sua capacidade de utilização. Estas características devem buscar potencializar o seu uso pela aproximação dos indicadores escolhidos com os processos que necessitam representar e, assim, orientar sua utilização.

Entre as características que estes indicadores devem ter está a sua validade conceitual, o que significa que devem conseguir informar sobre os aspectos que constituem o modelo teórico. Os indicadores devem buscar abarcar o amplo espectro de dimensões que possam ser identificadas como essenciais no modelo teórico construído e utilizado.

A partir das dimensões do modelo teórico ficou definida uma abrangência temática sobre as quais os indicadores deveriam tratar. Ora, esta abrangência temática abre um conjunto grande de possibilidade dada a complexidade não apenas de cada uma delas, mas também na sua articulação. Desta forma, foi preciso incorporar novas características ao elenco de indicadores para que este fosse capaz de representar a gestão em saúde e gerar um produto operativo.

O pequeno número de indicadores foi outra definição necessária e que passou a exigir que tivessem uma capacidade de síntese. Indicadores sintéticos no sentido de captar o maior escopo quanto possível das dimensões buscadas ou que tratassem de algum aspecto essencial, crítico ou capaz de captar o maior número de possibilidades de expressão dos problemas de gestão no interior de cada uma das dimensões. Nesta escolha, um atributo essencial é a governabilidade do aspecto que o indicador expressa, o que significa que o gestor deve acompanhar fatos sobre os quais tenha capacidade e recursos para transformar as situações identificadas que não estejam ocorrendo de acordo com os objetivos definidos pelos gestores.

Para incorporar praticidade a um instrumento de monitoramento, com potencial avaliativo, é necessária a utilização de indicadores derivados de bases de dados disponíveis, condição de reprodutibilidade e autonomia aos agentes envolvidos na gestão do SUS. Isto implica na escolha de indicadores acessíveis, simples, úteis e disponíveis nos sistemas de informação do SUS. Esta escolha valoriza as bases de dados existentes e indica o seu potencial no apoio à gestão.

A participação de responsáveis pelo monitoramento e avaliação do nível ministerial e de especialistas em avaliação em saúde que participaram de todas as etapas do processo de construção da proposta do Painel permitiu manter a centralidade das definições e escolhas feitas nos problemas e necessidades levantados nos encontros realizados sobre a gestão do SUS. A incorporação de novos especialistas ao grupo com conhecimento teórico e experiência profissional diferenciados em avaliação e gestão em saúde permitiu qualificar a escolha do modelo teórico e definir indicadores com características que potencializassem a sua utilização por gestores do SUS.

O Quadro 1 apresenta os indicadores da proposta segundo dimensão, destacando seus objetivos, fonte e forma de cálculo. Alguns indicadores diferem na sua forma de cálculo segundo instâncias gestoras do SUS.

Orientações para análise dos indicadores do Painel

A análise destes indicadores deve ser orientada para estabelecer as relações apontadas na Figura 1. Desta forma, deve-se estar atento para que as dimensões e os indicadores não sejam analisados isoladamente. Para cada dimensão foram selecionados indicadores que buscam levantar distintos aspectos do processamento da gestão e só a sua leitura em conjunto vai permitir o monitoramento e a avaliação abrangente da gestão. Assim, a compreensão do significado da trajetória de um indicador vai se completar com a análise da trajetória dos demais. Os indicadores do painel vão sinalizar a existência de problemas sem a pretensão de ser suficientes para explicá-los. No entanto, o aprofundamento sobre os motivos que geraram aquela sinalização necessitam de iniciativas de busca de novas informações que possibilitem aproximar-se desta explicação permitindo a tomada de decisão mais objetiva.

Não se deve perder de vista que um painel de monitoramento tem na variação temporal seu objetivo central. E que este não se confunde com a capacidade de diagnosticar estados fixos, mas sim as mudanças que os indicadores apontam. O significado da variação de distintos indicadores terá interpretações diversas. Para alguns a direção esperada para sua variação é única e não deixa margem a dúvidas, como a redução da mortalidade proporcional por causas mal definidas ou o aumento da proporção de nascidos vivos de mães com sete ou mais consultas de prénatal. Em outros casos a interpretação desta variação não é linear, pois dependerá das condições de contextos e de qual modelo de atenção a gestão pretende construir, cuja interpretação deverá ser coerente com os demais indicadores do Painel de Monitoramento e Avaliação da Gestão. É na dinâmica articulada do conjunto de indicadores e sua variação que está a maior potencialidade do Painel como instrumento de gestão.

Alguns exemplos podem ajudar a consolidar a operacionalização da proposta. Na dimensão demanda foram escolhidos dois indicadores. Um trata de ação clássica da atenção básica, o prénatal. O Indicador pode indicar cobertura e adesão das gestantes aos serviços prestados. O outro indicador trata das consultas de urgência. Uma interpretação inicial pode parecer óbvia: se a gestão está ampliando estas consultas elas vão mostrar incremento quantitativo. Porém, ao analisar os dois indicadores, de forma relacional, o aumento das consultas de urgência observado pode indicar uma oferta que poderia estar suprindo o atendimento insuficiente da atenção básica ou ainda a opção por uma forma distinta do modelo preconizado. Enfim, apenas o contexto de cada situação específica pode permitir converter monitoramento em avaliação potencializando a capacidade de se emitir juízo de valor proporcionando uma tomada de decisão mais objetiva.

 

Considerações finais

O presente painel de MAGS almeja desencadear um processo de aprimoramento dos processos e práticas de monitoramento e avaliação e visa poder contribuir efetivamente na tomada de decisão na gestão do SUS. A recente regulamentação da Lei 8080/90, por meio do Decreto 7508/ 2011, que estabelece a criação e a implantação dos sistemas regionais de saúde, ao serem formalizadas por meio dos COAP, implicará na necessidade de institucionalizar o monitoramento e a avaliação na gestão.

A existência de um Painel composto por indicadores simples e de fácil obtenção nas bases de dados disponíveis possibilitará sua rápida utilização, sem a exigência da construção de um novo sistema informatizado e muito menos de uma capacitação de recursos humanos específicos. Essas características propiciarão maior difusão e facilitarão a aplicação pelos distintos envolvidos na gestão do SUS.

A metodologia utilizada para a construção do Painel e a sistematização apresentada neste artigo permitem identificar uma estratégia efetiva para a construção de instrumentos de gestão em parceria entre pesquisadores, instituições acadêmicas e gestores do SUS.

O grupo de pesquisadores em permanente articulação com os gestores de distintas instâncias, com diferentes trajetórias e formações, inseriu no processo a necessidade de diálogo intenso, negociações e compartilhamento de saberes para dar resposta, de forma oportuna e adequada à demanda de construção do Painel, transformando-se em experiência ímpar para os que conformaram o grupo.

Dessa maneira foi possível realizar ajustes sucessivos no Painel, visando torná-lo mais operacional e com a progressiva escolha de indicadores de maior utilidade e significado para os envolvidos em monitoramento e avaliação das distintas esferas de gestão do SUS.

Esse processo interativo com os distintos interessados e a revisão critica visando a utilidade da informação do Painel permitiram clarear conceitos e identificar parâmetros de melhor interpretação, o que resultou em uma listagem mínima de indicadores de síntese das dimensões identificadas como necessárias para o monitoramento e a avaliação da gestão do SUS. A permanente construção com os profissionais envolvidos diretamente na gestão possibilitou aos membros do GT de Avaliação desencadear um processo de reflexão dos conceitos utilizados e identificar os limites e alcances dos julgamentos de valor resultantes do monitoramento e da avaliação pela utilização do Painel.

O processo participativo/interativo de construção do Painel possibilitou aos distintos participantes influenciar e/ou desenvolver outras iniciativas no campo de monitoramento e avaliação da gestão do SUS, com destaque para o Curso Básico em Monitoramento e Avaliação da Gestão do SUS, o estudo de avaliabilidade da Política Nacional de Gestão Estratégica e Participativa e o apoio à utilização de novas ferramentas de monitoramento como o Sistema de Avaliação dos Relatórios de Gestão do SUS/SARG-SUS.

A sistematização final do Painel buscou abarcar todas as dimensões essenciais da gestão do SUS, visando disponibilizar um instrumento simples, ágil e útil para a avaliação em qualquer esfera de gestão e para tornar mais transparente e de mais fácil comunicação com todos os interessados na tomada de decisão.

 

Colaboradores

EM Tamaki, OY Tanaka, E Felisberto, CKA Alves, M Drumond, LCA Bezerra, MCM Calvo e AS Miranda participaram igualmente de todas as etapas de elaboração do artigo.

 

Referências

1. Chelimsky E. The political environment of evaluation and what it means for the development of the field. Am J Eval 1995;16(3):215-225.         [ Links ]

2. Vedung E. Public policy and program evaluation. New Jersey: Transaction; 1997.         [ Links ]

3. Weiss CH. Have we learned anything new about the use of evaluation? Am J Eval 1998;19(1):21-34.         [ Links ]

4. Kettl D. A revolução global: reforma da administração do setor público. In: Bresser Pereira LC, Spink PK, organizadores. Reforma do estado e administração pública gerencial. Rio de Janeiro: FGV; 2001. p. 75-121.         [ Links ]

5. Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. European Evaluation Society Conference; 2002 oct 12; Seville (Spain).         [ Links ]

6. Van der Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation: the International Journal of Theory, Research and Practice 2004;10(1):16-34.         [ Links ]

7. Denis JL. Institucionalização da avaliação na administração pública. Rev. Bras. Saúde Mater. Infant. 2010;10(Supl. 1):s229-s333.         [ Links ]

8. Parsons T. Social systems and the evolution of action theory. New York: Free Press; 1977.         [ Links ]

9. Contandriopoulos AP, Pourville G, Poullier JP, Contandriopoulos D. À la recherche d'une troisième voie: les systèmes de santé au XXIe siècle. In: Pomey MP, Poullier JP, editores. Santé Publique. Paris: Ellipses; 2000. p. 637-667.         [ Links ]

10. Champagne F, Contrandriopoulos AP, Picot-Touché J, Béland F, Nguyen H. Un cadre d'évaluation de la performance des systèmes de services de santé: Le modèle EGIPSS. Rapport R05-05. Montréal: GRIS Université de Montréal; 2004.         [ Links ]

11. França AST. Talcott Parsons: apontamentos para uma análise institucional. Cad. de Pesq. Interdisc. em Ci-s. Hum-s 2009;10(97):181-204.         [ Links ]

12. Lourau R, Lapassade G. Chaves da sociologia. Rio de Janeiro: Civilização Brasileira; 1971.         [ Links ]

13. Lourau R. Balance de la intervención socioanalítica. In: Guattari F, Lourau R, Lapassade G, Mendel G, Ardoino J, Dubost J, Levy A. La intervención institucional. Mexico: Folios; 1979.         [ Links ]

14. Lourau R. Genèse du concept d'implication. Pour 1983; Paris, 88:14-18.         [ Links ]

15. Jacob S. Réflexions autour d'une typologie des dispositifs institutionnels d'évaluation. Can J Program Eval 2005; Ottawa, 20(2):49-68.         [ Links ]

16. Rodrigues HBC. Os anos de inverno da análise institucional francesa. Revista do Departamento de Psicologia - UFF 2006;18(2):29-46.         [ Links ]

17. Pawson R, Tilley N. Realist Evaluation. London: Sage; 1997.         [ Links ]

18. Pawson R. Nothing as practical as a good theory. Evaluation 2003;9(4):471-490.         [ Links ]

19. Brasil. Ministério da Saúde (MS). Processos e práticas do monitoramento e avaliação da gestão do SUS: Contribuições e Reflexões dos Encontros Temáticos. Secretaria de Gestão Estratégica e Participativa - SGEP. Departamento de Monitoramento e Avaliação da Gestão do SUS. Cooperação Técnica GT de Avaliação da ABRASCO. Brasília: Ministério da Saúde (MS); 2010.         [ Links ]

20. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saude Publica 2010;26(6):1079-1095.         [ Links ]

21. Bezzi C. Evaluation pragmatics. Evaluation: the International Journal of Theory, Research and Practice 2006;12(1):56-76.         [ Links ]

22. Conill EM. Sobre a importância da parcimônia, do diálogo e da continuidade para a institucionalização da avaliação da atenção básica. Cien Saude Colet 2006;11(3):564-566.         [ Links ]

23. Tanaka O Y. Caminhos alternativos para a institucionalização da avaliação em saúde. Cien Saude Colet 2006;11(3):571-572.         [ Links ]

24. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saude Publica 2008;24(9):2091-2102.         [ Links ]

25. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine international e over fast food and sur mesure over ready-made. Cad Saude Publica 1999;15(2):229-259.         [ Links ]

26. Baron G, Monnier E. Une approche pluraliste et participative: coproduire l'évaluation avec la société civile. Informations Sociales 2003;110:120-129.         [ Links ]

27. Teixeira CF. Institucionalizando a prática de avaliação em saúde: significado e limites. Cien Saude Colet 2006;11(3):572-574.         [ Links ]

28. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos. Rev. Bras. Saúde Mater. Infant. 2009;9(3);339-357.         [ Links ]

29. Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev. Bras. Saúde Mater. Infant. 2010;10(Supl. 1):s145-s156.         [ Links ]

30. Brasil. Ministério da Saúde (MS). Subsídio para o 2º Encontro. Secretaria de Gestão Estratégica e Participativa - SGEP, Departamento de Monitoramento e Avaliação da Gestão do SUS. Brasília: Cadernos DEMAGS; 2009.         [ Links ]

31. Worthen BR. Some observations about the institutionalization of evaluation. Eval Pract 1995;16(1):29-36.         [ Links ]

32. Patton MQ. Utilization-focused evaluation: the new century text. 3rd ed. Thousand Oaks: Sage; 1997.         [ Links ]

33. Stevenson JF, Florin P, Mills DS, Andrade M. Building evaluation capacity in human service organizations: a case study. Eval Program Plann 2002;25(3):233-243.         [ Links ]

34. Felisberto E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Cien Saude Colet 2006;11(3):553-563.         [ Links ]

35. Tanaka OY, Melo C. Avaliação de serviços e programas de saúde para a tomada de decisão. In: Rocha AA, César CLG, organizadores. Saúde pública: bases conceituais. São Paulo: Atheneu; 2008.         [ Links ]

 

 

Artigo apresentado em 10/10/2011
Aprovado em 17/11/2011
Versão final apresentada em 16/01/2012