SciELO - Scientific Electronic Library Online

 
vol.9 issue3Proposal and analysis of indicators for the health promotion orientation service: a case study in Germano Sinval Faria Health CenterSearching evidence of health promotion effectiveness in Latin America author indexsubject indexarticles search
Home Page  

Services on Demand

Article

  • pdf in Portuguese
  • Article in xml format
  • Article references
  • How to cite this article
  • Curriculum ScienTI
  • Automatic translation
  • Send this article by e-mail

Indicators

Related links

Share


Ciência & Saúde Coletiva

Print version ISSN 1413-8123

Ciênc. saúde coletiva vol.9 n.3 Rio de Janeiro Jul./Sep. 2004

http://dx.doi.org/10.1590/S1413-81232004000300021 

ARTIGO ARTICLE

 

Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro

 

A methodology for assessing the performance of the Brazilian health system

 

 

Francisco ViacavaI; Célia AlmeidaII; Rosângela CaetanoIII; Márcia FaustoIV; James MacinkoV; Mônica MartinsII; José Carvalho de NoronhaI; Heligonda Maria Dutilh NovaesVI; Eliane dos Santos OliveiraII; Silvia Marta PortoII; Ligia M Vieira da SilvaVII; Célia Landmann SzwarcwaldI

IDepartamento Informações em Saúde, Centro de Informação Científica e Tecnológica, Fiocruz. Av. Brasil 4365, Manguinhos, 21045-900, Rio de Janeiro RJ. viacava@cict.fiocruz.br
IIDepartamento de Administração e Planejamento em Saúde, ENSP/Fiocruz
IIIInstituto de Medicina Social (UERJ)
IVInstituto Fernandes Figueira (Fiocruz)
VNew York University, e Departamento de Administração e Planejamento em Saúde (ENSP/Fiocruz)
VIDepartamento de Medicina Preventiva (FM/USP)
VIIInstituto de Saúde Coletiva da UFBA

 

 


RESUMO

Este artigo é uma síntese de alguns dos principais resultados das discussões realizadas ao longo de 18 meses entre pesquisadores de diversas instituições, afiliadas à Abrasco, e procura contribuir para a formulação de uma metodologia que permita: a) compreender quais são e como se inter-relacionam os fatores que influenciam a eficiência, a efetividade e a eqüidade no desempenho do SUS; b) melhorar a formulação de políticas e c) monitorar as desigualdades no acesso e na qualidade dos serviços recebidos pelos diferentes grupos sociais no Brasil. A metodologia desenvolvida nutre-se de elementos utilizados nas propostas de avaliação de desempenho dos sistemas de saúde canadense, australiano, inglês e a da OPS e tem o formato de um painel de controle (dashboard), onde podem ser visualizadas simultaneamente diferentes dimensões da avaliação. O artigo descreve a experiência na adaptação e desenvolvimento da metodologia e fornece sugestões no sentido de aplicá-la para melhorar a formulação da política de saúde no Brasil.

Palavras-chave: Avaliação do desempenho de sistemas de saúde, Indicadores de saúde, serviços de saúde


ABSTRACT

This paper is the result of a Brazilian multidisciplinary public health working group and consists of a methodology developed to: a) identify the factors that influence the efficiency, effectiveness, and equity of the Brazilian public health system and understand how these factors function; b) improve the formulation of health policies; and c) monitor inequalities in access to and quality of health services among different population groups in Brazil. The methodology developed here is based on Australian and Canadian and PAHO proposals that use a "dashboard" approach, allowing one to examine and evaluate simultaneously multiple dimensions of health system performance. This article describes the experience of adapting and developing the methodology and provides suggestions on how such a system might be employed to improve health policy-making in Brazil.

Key words: Health system performance, Health indicators, Health services


 

 

Introdução

A partir dos anos 80 gestores dos sistemas de serviços de saúde de todo o mundo depararam-se com o desafio de reformar a organização e o funcionamento dos respectivos sistemas de saúde, tendo em vista a necessidade de imprimir maior transparência ao gasto público vis-à-vis a redução dos recursos disponíveis para o setor, assim como para a política social em geral, o aumento incontrolável das despesas com atenção médica hospitalar e as mudanças no perfil demográfico e epidemiológico das populações. Além disso, a busca de alternativas que possibilitassem o alcance de maior eqüidade e proporcionassem serviços de melhor qualidade tornou-se peremptória diante do aumento das desigualdades e da piora das condições de vida e saúde das populações. Ainda que os motivos que levaram à reforma setorial tenham sido diferentes nos diversos países, sobretudo no Norte e no Sul, a onda de reforma setorial se espalhou por todas as regiões do planeta, orientada por uma agenda bastante homogênea.

De uma maneira geral, as propostas de reforma setorial são sintonizadas com o amplo movimento mundial de reforma do Estado, questionando-se fortemente a forma como até então os sistemas de serviços de saúde vinham sendo organizados e desempenhavam suas funções (Almeida, 1995). A questão do papel do Estado ganhou destaque nesse debate, sendo que a universalização do acesso aos serviços de saúde como direito de cidadania e a dominância dos fundos públicos no financiamento dos sistemas de saúde têm sido objeto de críticas, buscando-se alternativas supostamente mais eficientes e efetivas, pregando-se a retirada do Estado da provisão direta de serviços e o reforço de sua função reguladora. O elenco de críticas é extenso, mas, muito sinteticamente, argumenta-se que, apesar dos altos montantes de recursos financeiros investidos, muitos Estados não conseguiram proporcionar a implementação de políticas de saúde universais, eqüitativas e de boa qualidade.

Em termos bastante sucintos, pode-se dizer que as questões centrais que têm orientado essas perspectivas reformistas são: a) contenção dos custos da assistência médica; b) reestruturação do mix público/privado, a partir da descentralização de atividades e responsabilidades (operacionais e de financiamento), tanto para os níveis sub-nacionais de governo quanto para o setor privado; e c) aumento da participação financeira do usuário no custeio dos serviços que utiliza (sejam públicos ou privados). Num primeiro momento, a face conservadora dessa agenda de reforma restringiu-se à questão da assistência médica individual, objetivando primordialmente a restrição do gasto nesse sub-setor. No plano ideológico, o impulso principal pretendia: a) despolitizar a arena setorial, passando a considerá-la como eminentemente técnica; b) privilegiar a atuação dos gerentes, deslocando o poder dos profissionais (principalmente o médico); c) resgatar uma montagem empresarial nos arranjos institucionais que, acreditava-se, seria mais eficiente.

A redução do desequilíbrio fiscal e a criação de condições macroeconômicas mais sustentáveis estiveram subjacentes a esses processos de reforma. A crítica centrava-se no lado da oferta de serviços (supply side), enfatizando a importância de direcionar os sistemas de saúde para atender "a demanda do consumidor". Advogava-se que as estruturas burocráticas hierárquicas tradicionais, com a rigidez inerente dos procedimentos normativos, eram danosas aos interesses públicos, ineficientes e ineficazes. pressupunha-se que, como qualquer monopólio, as agências estatais seriam inerentemente ineficientes, tendendo a crescer indefinidamente, e o resultado seria sempre um mau desempenho. A mudança central do foco de atenção foi das atividades ou "produtos" das agências governamentais (output) para os resultados dessas atividades (outcomes) (Kettl, 1996 apud Almeida, 1999). E como os serviços deveriam estar voltados para o consumidor, os sistemas deveriam ser re-orientados nessa perspectiva. A avaliação de desempenho passou a ser um instrumento importante dessa reestruturação.

Ao longo dos últimos trinta anos o debate centrou-se principalmente sobre a questão de se restringir a performance dos sistemas de saúde a análises de custo efetividade baseadas em resultados ou considerá-lo em sentido mais amplo já que ele é afetado por fatores econômicos, educacionais e pelas desigualdades sociais (Naylor, 2002).

Para além do debate ideológico e da agenda conservadora, a avaliação de desempenho dos sistemas de saúde é desejável e promissora, podendo constituir-se num poderoso instrumento de monitoramento das políticas de reforma. Entretanto, a questão fundamental a ser enfrentada é como medir desempenho em termos de qualidade, eficiência e eqüidade e montar sistemas de gerenciamento de desempenho na perspectiva de impulsionar mudanças de comportamentos que possibilitem conseguir melhores resultados (Hurst, 2002).

Este artigo pretende contribuir com esse debate. Na primeira parte, discutem-se aspectos conceituais da avaliação de desempenho de sistemas de saúde; na segunda, apresenta os quadros de referência e marcos conceituais elaborados por algumas organizações internacionais diretamente envolvidas nessa discussão (Organização Mundial da Saúde-OMS, Organização para a Cooperação e Desenvolvimento Econômico-OCDE e Organização Pan-Americana de Saúde-OPS); a seguir, resumem-se alguns dos principais elementos presentes nas propostas de avaliação de desempenho elaboradas por alguns países; e, finalmente, apresenta-se uma metodologia de avaliação de desempenho para o sistema de saúde brasileiro, baseada na experiência passada e atual de diferentes países.

 

Sistemas de saúde e sistemas de serviços de saúde: aspectos conceituais

De uma maneira geral, pode-se dizer que não há concordância entre os autores sobre uma definição de sistema de saúde, mas isso não impede que tenham sido propostas categorizações e classificações que, ou trazem embutida uma perspectiva evolucionista e unidirecional, além de não permitirem uma análise mais dinâmica dos sistemas de saúde (SSs), ou são parciais e baseadas em sistemas de saúde particulares e, portanto, não podem ser generalizadas.

Por outro lado, as definições, conceitos e categorias analíticas usadas para definir ou analisar os SSs variam segundo valores, princípios e concepções sobre o que é saúde e qual o papel do Estado (responsabilidade) em relação à saúde das populações que vivem em seu território. Nessa perspectiva, podem mudar no tempo e no espaço, refletindo mudanças nas concepções dominantes. A maneira como os problemas de saúde das populações são estruturados determinará os tipos de evidência que serão consideradas relevantes e o que será descartado. As implicações políticas surgem dessas evidências e não do quadro de referência per se. E os modelos implícitos ou explícitos de análise definem e incluem (ou excluem) categorias que são relevantes para determinado referencial e não para outros.

É preciso diferenciar os SSs dos sistemas de serviços de saúde, uma vez que os primeiros são mais abrangentes e se referem à saúde em sentido amplo, isto é, à manifestação objetiva das condições de vida de uma população determinada, o que é resultante da ação intersetorial de diferentes sistemas, mais ou menos complexos. Quanto aos sistemas de serviços de saúde, integram os SSs, mas sua ação se efetua nas instituições prestadoras de serviços, eminentemente internas ao setor, embora sejam influenciadas de forma importante por elementos externos a ele, tais como as instituições geradoras de recursos, conhecimentos e tecnologias; as empresas de equipamentos biomédicos; e a indústria de insumos e medicamentos.

Conhecimento e tecnologia são facilmente exportados, mas os demais inputs dos sistemas sanitários são fortemente condicionados pelas tradições históricas nacionais. As regras legais diferem na forma como ancoram as responsabilidades do Estado com a saúde da população, seja outorgando benefícios universais ou específicos para determinados grupos.

Uma definição considerada quase clássica foi formulada por Roemer (1991): um SS é uma combinação de recursos, organização, financiamento e gerenciamento que culmina na prestação de serviços de saúde para a população. Entretanto, essas cinco grandes categorias que integram a definição não possibilitam a compreensão do funcionamento dos SSs nem dos seus resultados, pois não são explicitadas as relações entre elas.

Field define os sistemas de saúde como um mecanismo societal, que transforma recursos generalizados (ou inputs) em resultados especializados, na forma de serviços de saúde direcionados para resolver os problemas de saúde da sociedade, sendo provido de um mandato que usualmente concede ao sistema o "quase-monopólio" na performance dos serviços de saúde, alinhado com a legislação e a regulação do sistema político. Outros inputs incluem o conhecimento científico e a tecnologia, que especialmente na medicina do século 20 foram extremamente poderosos. Médicos e outros profissionais de saúde são especialmente treinados e empregados no sistema e configuram componentes cruciais. Finalmente, recursos econômicos são necessários para financiar essa estrutura (Field, 1973 apud Heideheimer, 1975).

A OMS, por sua vez, define os sistemas de serviços de saúde como o conjunto de atividades cujo principal propósito é promover, restaurar e manter a saúde de uma população (WHO, 2000). Nesse sentido, como reitera Mendes (2002), são respostas sociais organizadas deliberadamente para responder às necessidades, demandas e representações das populações, em determinada sociedade e determinado tempo.

A estruturação dos SSs é bastante complexa e compõe-se de distintos elementos, variáveis segundo as características de cada país, que se inter-relacionam para dar alguma resposta aos problemas de saúde de determinada população. Entretanto, essas relações não são harmônicas, mas sim dialéticas, fazendo com que os sistemas de serviços de saúde funcionem de forma conflitiva e segundo trajetórias bastante próprias, apesar dos problemas comuns a serem enfrentados por todos os SSs. Em geral buscam a consecução de um conjunto de objetivos compartilhados, o que lhes imprime uma direcionalidade intencionada (Mendes, 2001; 2002).

Embora toda sociedade teoricamente comparta as crenças de que a saúde tem um valor intrínseco para as pessoas e os serviços de saúde são necessários para manter a vida e para aliviar o sofrimento (Mendes, 2001), os objetivos dos sistemas de saúde variam de um país para outro, assim como as concepções dos respectivos sistemas de serviços de saúde, ainda que se explicitem valores subjacentes bastante semelhantes, tais como o alcance da eqüidade (ou superação das desigualdades) e o bem-estar de toda a população. Na realidade, muitas vezes, apesar da explicitação desses valores, a estruturação e o funcionamento dos sistemas de serviços de saúde estão longe de cumprirem com os requisitos mínimos para alcançá-los. Além disso, ainda que os objetivos e valores se mantenham, as propostas de reforma e de mudanças nem sempre possibilitam transformações positivas.

Existem, portanto, diferentes formulações dos objetivos e funções dos sistemas de serviços de saúde, segundo determinados momentos históricos e propostas de reforma, como também segundo o enfoque analítico privilegiado.

No caso brasileiro, embora o SUS tenha seus princípios definidos por lei, o SUS é ainda palco de disputa entre modelos assistenciais diversos. As tentativas de articular ação de promoção, prevenção, recuperação e reabilitação, na dupla dimensão individual e coletiva, têm sido experimentadas no espaço micro dos municípios, acumulando experiências que apontam para a possibilidade de construção de um modelo de atenção à saúde voltado para a qualidade de vida (Marinho de Souza & Kalichman, 1994), tal como proposto na 10ª Conferência Nacional de Saúde (CNS), em 1996 (Teixeira et al., 1998), e reforçado nas 11ª e 12ª CNSs, realizadas respectivamente em 2000 e 2003.

De uma maneira geral, melhorar a saúde da população é o objetivo central e máximo dos SSs. Entretanto, o alcance dessa meta é um processo complexo, que envolve objetivos intermediários e ações intersetoriais. E a prestação de serviços, individuais e coletivos, assim como as ações intersetoriais são apenas um dos modos de melhorar a saúde da população. Fatores vinculados à situação socioeconômica, ambientais, biológicos e genéticos e os comportamentos coletivo e individual têm influência poderosa sobre a saúde. Sendo assim, é necessário o refinamento do conhecimento de como esses fatores interagem, como influenciam a saúde dos indivíduos e das populações, e de como contribuem para o alcance da meta central dos SSs.

 

Avaliação de desempenho dos sistemas de saúde: marcos conceituais propostos pelos organismos internacionais

Embora a literatura se refira à avaliação de desempenho dos sistemas de saúde, o foco de interesse central tem sido os serviços de saúde, com especial ênfase, em muitos casos, nos serviços de assistência médica. Isso se deve a diversos fatores, mas destacam-se entre eles os relacionados à busca de maior eficiência, ou seja, conseguir que os sistemas de serviços de saúde desempenhem suas funções da melhor forma possível diante dos constrangimentos financeiros que se generalizaram em todos os países nas últimas décadas.

Ainda que haja discordância conceitual, desempenho, em geral, se refere ao grau de alcance dos objetivos dos sistemas de saúde (Hurst & Hughes, 2001). A construção metodológica da avaliação de desempenho dependerá, portanto, da clareza sobre os princípios, objetivos e metas dos sistemas de saúde que se quer avaliar, que por sua vez, vão embasar a escolha das dimensões que serão objeto da avaliação de desempenho.

A avaliação de desempenho dos serviços de saúde foi o objeto central do World Health Report 2000- WHR 2000 (WHO, 2000) que, apesar de muito criticado, teve o mérito de colocar essa questão no centro do debate contemporâneo sobre as reformas setoriais. O quadro de referência utilizado pela OMS para avaliação dos sistemas de saúde no WHR 2000 tem as seguintes características: a) adota uma definição de sistema de saúde ampla e imprecisa, com objetivos pouco claros; b) considera parte do sistema de saúde todos os recursos, organizações e atores que realizam ou apóiam ações sanitárias (de proteção, fomento ou melhora da saúde), mas não inclui a educação; c) define três metas a serem atingidas pelos sistemas de saúde (melhora do estado de saúde; "responsividade" – denominada responsiveness – isto é, um sistema que responda às aspirações legítimas do público; e justiça na contribuição financeira). As duas primeiras metas são medidas através de sua média e distribuição, enquanto que o terceiro apenas pela distribuição; d) identifica quatro funções dos SSs, decisivas para o alcance dessas metas – financiamento (incluindo contribuições específicas, fundos setoriais e compra direta de serviços); prestação de serviços de saúde (individuais e coletivos); geração de recursos; e condução do sistema – supervisão e orientação de todo o sistema público e privado (denominada stewardship). A inter-relação entre essas "metas" e "componentes" seriam a medida de desempenho.

Esse quadro de referência considera a definição dos recursos financeiros setoriais como externa ao setor; a "responsividade" está referida apenas à assistência médica, sendo que acesso é considerado um determinante e não componente da responsividade; e a eficiência é definida como o grau com que o sistema de saúde realiza a contribuição máxima possível às metas sociais em função dos recursos disponíveis, interna e externamente ao setor.

As críticas mais contundentes a esse modelo de avaliação de desempenho foram inúmeras e de diferentes naturezas. Há uma série de questionamentos que se referem ao modelo teórico (Williams, 2001; Navarro, 2000; Braveman et al. 2001) e outro conjunto de problemas que se refere aos aspectos metodológicos da mensuração propriamente dita das dimensões da avaliação do desempenho adotada (Almeida et al. 2001).

No primeiro caso, apontam-se como aspectos críticos: a) o fato da OMS ter assumido determinado posicionamento político e ideológico e induzido um determinado modelo de reforma; b) o índice de medida elaborado (Overall Health System Performance Indicator), ao ser composto por diversas dimensões, não permite identificar os problemas prioritários dos SSs; c) não há evidências científicas que demonstrem que mudanças no estado de saúde, tanto em termos da sua média quanto da distribuição entre os indivíduos da sociedade, reflitam predominantemente a forma como os sistemas de saúde operam, mas exprimiriam, na realidade, as condições sociais e econômicas vigentes nas diferentes sociedades; d) ao incorporar a noção de "novo universalismo", o cidadão passa a ser considerado um cliente/consumidor abstrato e descontextualizado, o que não permite avançar na identificação das desigualdades sociais em saúde.

Entre os problemas relacionados com a metodologia utilizada incluem-se: a) a grande insuficiência de dados nos países levou à adoção de métodos econométricos, pouco transparentes e de difícil compreensão pelos gestores, para estimar os dados da maioria dos países; b) a metodologia para obtenção dos pesos necessários para a construção do índice composto também não foi esclarecida; c) as desigualdades medidas considerando o afastamento de cada indivíduo em relação à média impedem a distinção de grupos populacionais, além de colocar os países que têm poucas variações em torno de médias baixas em uma situação melhor do que países que tem maiores desigualdades, mas médias mais altas; d) as medidas da justiça na contribuição financeira partem do suposto que todos os indivíduos devem comprometer o mesmo percentual da receita familiar em gastos com saúde, o que não pode ser considerado uma operacionalização adequada da idéia de eqüidade no financiamento de serviços de saúde.

A proposta de avaliação de desempenho da OCDE (Hurst & Hughes, 2001), por sua vez, ainda que não se oponha explicitamente ao quadro de referência elaborado pela OMS, apresenta algumas alterações que, de fato, o modificam substancialmente, além de que critica o conceito de eficiência utilizado. Pensado complementarmente ao da OMS, caracteriza-se por: a) incluir indicadores de resultados dos serviços de saúde (outcomes) como parte da avaliação de desempenho (eficiência microeconômica); b) incluir acesso como componente da responsividade, possibilitando avaliação da eqüidade; c) incluir o nível de gasto sanitário como meta dos sistemas de saúde (eficiência macroeconômica); d) excluir qualquer ponderação para avaliação de metas; e) referir a avaliação de desempenho a várias e distintas dimensões dos sistemas de saúde; e f) considerar a avaliação de desempenho restrita à assistência médica como oposta às atividades de saúde pública ou quaisquer outras mais amplas.

Por fim, a OPS defende que como as definições e os objetivos dos sistemas de saúde variam entre países, a avaliação de desempenho não deve ser um fim em si mesma e nem ser encaminhada como um exercício puramente acadêmico, mas deve voltar-se para orientar o desenvolvimento de políticas, estratégias e programas de saúde, além de estar centrada na avaliação quantitativa e qualitativa do grau de realização dos seus objetivos. A avaliação de desempenho implicaria, portanto, considerar as diferentes funções do sistema – geração de recursos; financiamento, prestação de serviços e condução (sterwarship); além de incorporar, desde o início, os vários níveis de análise (nacional, intermediário e local) e os diferentes atores envolvidos. E a eficiência deveria ser considerada apenas uma dentre outras dimensões do desempenho, tais como, eqüidade, efetividade, aceitabilidade, satisfação etc. Os métodos e indicadores de avaliação devem ser estabelecidos por consenso e requerem a medição de distintas dimensões: do desempenho geral do sistema (indicadores finais ou macro) e dos diferentes componentes do sistema (indicadores intermediários, instrumentais ou micro) (OPS, 2001).

Uma recomendação importante feita pela OPS é sobre a necessidade de os marcos teóricos incluírem a eqüidade na avaliação do desempenho dos SSs, numa perspectiva "transversal" às demais dimensões, o que, aliás, já vem sendo proposto por alguns países, tais como Canadá e Austrália.

Na revisão da literatura feita nesta pesquisa foram considerados os conceitos de eqüidade formulados por Whitehead (1992), que considera como iniqüidade as diferenças evitáveis e injustas, e pela International Society for Equity in Health (ISEqH), segundo a qual a eqüidade corresponderia à ausência de diferenças sistemáticas potencialmente solucionáveis em subgrupos populacionais definidos social, econômica, demográfica ou geograficamente (Macinko & Starfield, 2002). Para fins de uma proposta de avaliação do desempenho de sistemas de serviços de saúde pode-se recorrer a alguns consensos que permitem a operacionalização do conceito de eqüidade. Esses consensos se referem a:

1. considerar diferenças em saúde como aquelas decorrentes de processos biológicos ou de situações que independem do livre arbítrio dos sujeitos;

2. considerar iniqüidades em saúde como associadas às políticas de saúde ou sociais que determinam o surgimento de desigualdades na morbi-mortalidade e no acesso aos serviços de saúde; e

3. considerar desigualdades em saúde como a expressão empírica das iniqüidades.

 

Alguns comentários sobre experiências internacionais de avaliação de desempenho de sistemas de saúde

Vários países membros da OCDE estão desenvolvendo quadros de referência e indicadores de avaliação de desempenho dos sistemas de saúde (Cozzens, 1995; Hurst & Hughes, 2001; AIHW, 2000; NHPC, 2002; CIHI, 2001; Hurst, 2002; Or, 2002; Smee, 2002; Wolfson & Alvarez, 2002). De uma maneira geral, os sistemas de avaliação que vêm sendo implementados por esses países têm como características comuns: a) a definição de quadros de referência (objetivos e metas) e distintas dimensões de desempenho (sobretudo em relação à qualidade e eficiência); b) a preocupação com a facilidade de operacionalização dos conceitos enquanto as organizações internacionais (como OMS e a OECD) se preocupam mais com definições em nível macro; c) dar maior ênfase às dimensões de estrutura e processo como proxy de resultados; d) não inclusão de medidas mais gerais de eficiência.

Os processos de elaboração dos quadros de referência são longos e trabalhosos, em geral com participação multi-institucional, e acompanhados da realização de várias consultas ou seminários para estabelecimento de "consensos" quanto ao quadro teórico e conceitual, definição de indicadores etc. O desencadeamento desses processos são ações de governo, normalmente por iniciativa do nível federal. A maioria das iniciativas de avaliação de desempenho dos sistemas de saúde é recente e não apresenta ainda resultados mais conclusivos.

Quanto às dimensões e indicadores utilizados, são bastante diferentes entre si (sobretudo em relação à questão da qualidade e eficiência). Entretanto, alguns elementos comuns possibilitam identificar quais as dimensões que vêm sendo privilegiadas: confirma-se concentração da avaliação nas dimensões de melhora da saúde/resultados e responsividade; pouco desenvolvimento da área de avaliação da eqüidade e ausência de indicadores de eficiência macroeconômica.

Em relação aos indicadores de resultados (outcomes) estão referidos a mudanças no estado de saúde de indivíduos e populações determinadas pela ação dos sistemas de serviços de saúde. Apontam-se algumas dificuldades na sua operacionalização, uma vez que é difícil trabalhar com indicadores de resultado de base populacional usando as estatísticas rotineiras, como também identificar quais resultados podem, inquestionavelmente, ser atribuídos ao impacto da ação dos serviços de saúde. Daí a utilização de proxies de resultados, isto é, medidas de estado de saúde (morbi e mortalidade, desde que suscetíveis à atenção à saúde) e medidas de processo de atenção (principalmente utilização, desde que altamente correlacionada com resultados). Num conjunto de 13 indicadores de resultados mais comumente utilizados pelos países, apenas cinco podem ser considerados, de fato, medidas de resultados das ações dos serviços e todos os demais são proxy (Hurst & Hughes, 2001).

O conceito de responsividade também difere muito nos diferentes sistemas de avaliação e as dimensões também são variadas, mas em geral contêm elementos de satisfação, aceitabilidade e experiência do paciente. Os dois primeiros são mais relacionados com a expectativa do paciente; e o último com características "objetivas" da provisão, tais como, a "livre escolha" do tratamento. Os países trabalham comumente com diferentes dimensões e conjuntos de indicadores de responsividade. Estes indicadores seriam, supostamente, de mais fácil obtenção, pela grande quantidade de inquéritos populacionais que vêm sendo realizados nos distintos países, sendo que as dificuldades estão mais relacionadas com a coleta da informação – instrumentos (definição de perguntas do questionário), definição de amostras (estatisticamente significantes) etc.

Quanto aos indicadores de avaliação da eqüidade, embora se faça menção, são muito pouco desenvolvidos e as dificuldades estão relacionadas tanto à formulação quanto à operacionalização do conceito de eqüidade nos serviços de saúde, uma vez que a construção de um conjunto de indicadores relevantes como medida de eqüidade requer considerável quantidade de dados de boa qualidade. Enfatiza-se, porém, que a eqüidade deve ser colocada como uma "dimensão transversal", isto é, deve ser considerada na análise de todas as demais.

Em relação aos indicadores de eficiência, a maioria propõe indicadores de microeficiência bastante específicos. A experiência do Reino Unido pode ser considerada uma exceção no que diz respeito aos indicadores de eficiência hospitalar, que vêm sendo desenvolvidos desde os anos 70, como forma de monitorar a produtividade desses serviços, sendo que vêm sendo periodicamente revisados, sobretudo a partir dos anos 90, em função da implementação da reforma chamada Mercado Interno (Smee, 2002).

Por fim, no gerenciamento do desempenho, existem grandes diferenças nos modelos instituídos pelos países, dependendo dos arranjos institucionais, do mix público/privado e do tipo de coordenação do sistema – controle gerencial público (Reino Unido, Canadá, Austrália) ou centrado em incentivos de mercado (EUA). De uma maneira geral, pode ser centralizado (Reino Unido), descentralizado (EUA), ou misto (Austrália, Canadá).

A participação do profissional médico nesses processos de avaliação e gerenciamento de desempenho é importante e presente em todos os sistemas, mas explicita-se a necessidade de lidar com as questões relativas ao monopólio profissional sobre a prática médica, à auto-regulação e à dominância desse profissional no que concerne à avaliação da qualidade técnica da atenção. Sugere-se que além dos mecanismos de revisão por pares e de auditorias médicas, tradicionalmente utilizados, sejam complementados com avaliações externas feitas por outros profissionais, tais como gerentes, administradores etc. As dúvidas persistem, porém, tanto em relação ao conteúdo dessas avaliações externas quanto sobre a quem elas seriam dirigidas (aos prestadores de serviços ou ao público em geral).

Por outro lado, diferentes atores (stakeholders) e distintas ações necessitam de diferentes conjuntos de indicadores de avaliação de desempenho, o que remete a que os relatórios de desempenho devem conter indicadores agregados e desagregados, de forma a atender a diferentes audiências e clientelas.

Como estabelecer padrões (ou benchmarks) para o desempenho é outro ponto crítico e existem problemas com a [ disponibilização] de dados, pois tem pouco efeito para os consumidores ou "compradores" de serviços e, em geral, funciona melhor quando dirigidos aos organizadores da provisão (Reino Unido) ou empregadores, que pagam a conta do seguro privado para seus funcionários (EUA).

Por fim, constata-se que todos esses processos são de longo prazo e permanentes, para permitir ajustes sucessivos e contínuos, além de que, necessariamente, devem ser concertados nacionalmente, sobretudo nos países com sistemas descentralizados e com grande diversidade regional e fragmentação do sistema de saúde.

 

Uma proposta para avaliação de desempenho do sistema de serviços de saúde brasileiro

No Brasil, em que pese o grande número de iniciativas voltadas para a consolidação do SUS e a existência de uma gama de projetos dirigidos para a avaliação das inovações que vêm sendo implementadas, não existe nenhuma iniciativa governamental no sentido de avaliar o impacto dessas mudanças no desempenho do sistema em seu conjunto, sendo que a maioria das avaliações está voltada para o processo de descentralização ou de implantação de programas específicos, como o programa de Agentes Comunitários de Saúde (PACS) e o Programa de Saúde da Família (PSF).

A partir dos elementos discutidos anteriormente, um sistema de avaliação de desempenho do SUS teria de ser pautado por um quadro de referência que levasse em consideração a sua concepção legal, a forma como vem sendo implantado e os problemas de saúde priorizados, além de que deveria permitir avaliar em que medida seus princípios e objetivos estão sendo cumpridos.

Neste trabalho procurou-se desenvolver uma metodologia que abarcasse um espectro amplo de dimensões da avaliação de sistemas de serviços de saúde, a exemplo do que foi constatado na revisão da literatura.

A experiência de alguns países voltada para a melhoria do desempenho dos sistemas de saúde baseia-se na construção de um quadro de referência composto por elementos que, em linhas gerais, capturam o estado de saúde, os determinantes não médicos da saúde, o desempenho do sistema de saúde, as características gerais do sistema de saúde e dos recursos da comunidade. A abordagem no formato de um painel de controle (dashboard), proposta pelo Canadá, foi recomendada pela OPS (2001), para aplicação nos países da região das Américas. Segundo esta organização, cada país deveria desenvolver indicadores referentes aos cuidados de saúde prestados para responder aos problemas de saúde prioritários de suas respectivas populações, além de enfatizar a distribuição dos serviços distribuídos por grupo social, sexo e idade (eqüidade como dimensão "transversal").

Embora a metodologia de avaliação aqui apresentada se nutra, principalmente, de elementos das propostas canadense, australiana, inglesa e da OPS existem diferenças importantes, que merecem ser destacadas: a) enquanto no Canadá a inclusão dos determinantes da saúde é feita para ampliar o escopo da atuação do sistema de saúde e de sua avaliação (Evans & Stoddart, 1994), no nosso caso sua inclusão parte do pressuposto de que as condições de saúde da população sofrem o impacto de fatores sociais econômicos e ambientais, que podem intervir de forma importante nos resultados do desempenho do sistema de serviços de saúde; sendo assim, o modelo de avaliação proposto está centrado fundamentalmente no desempenho dos serviços; b) a "estrutura do sistema de saúde" foi uma dimensão introduzida na proposta recomendada pela OPS e incorporada neste modelo, mas não é uma dimensão explorada separadamente pelos demais países; c) as categorias de análise foram redefinidas, principalmente o "financiamento"; e também foi introduzida a categoria "recursos"; d) o arcabouço político social e econômico e a conformação do sistema de saúde adquirem nesta um caráter contextual, enquanto que no Canadá é uma das dimensões da avaliação do desempenho do sistema de saúde; e, no caso australiano, é abordado como uma das categorias dos determinantes da saúde; e) o modelo canadense assume o monitoramento das condições de saúde e do desempenho do sistema de serviços de saúde como dois objetivos que devem ser perseguidos; e, no caso australiano, o foco está na avaliação do desempenho do sistema de saúde, o que também é o objetivo maior desta proposta; e f) enquanto nos outros casos, as várias dimensões são colocadas num painel sem articulação definida entre elas, propõe-se que o foco da avaliação esteja no desempenho dos serviços de saúde, que, por sua vez, está relacionado com os determinantes das condições de saúde que definem, de forma importante, as necessidades de saúde que devem orientar o financiamento e os recursos materiais e humanos necessários ao bom desempenho do sistema, do qual dependerá, em parte, a melhoria das condições de saúde da população.

Propõe-se então que o desempenho do sistema de saúde brasileiro seja analisado no contexto político, social e econômico que traduz sua história e conformação atual, levando-se em consideração seus objetivos e prioridades. Nesse contexto seriam identificados os determinantes de saúde (primeira dimensão) associados aos problemas de saúde tidos como prioritários, evitáveis e passíveis de intervenção. Sua apreciação deveria ser feita considerando-se o seu impacto em diferentes grupos sociais.

A caracterização desses problemas de saúde em termos de morbidade, mortalidade, limitação de atividade física e qualidade de vida associada, conformaria uma segunda dimensão da avaliação, que permitiria conhecer a magnitude dos problemas e sua expressão em diferentes regiões geográficas e grupos sociais. Esse perfil de morbi-mortalidade, que expressa as necessidades de saúde, deveria orientar a definição de elementos que compõem a terceira dimensão da avaliação, ou seja, a estrutura do sistema de saúde (condução, financiamento e recursos), que por sua vez condicionaria as possibilidades de melhor ou pior desempenho do sistema de saúde, objeto principal da avaliação (Figura 1).

 

 

A partir desse marco conceitual seria possível pensar um conjunto de metodologias analíticas capazes de responder a algumas indagações sobre a qualidade dos serviços prestados, sua variação entre áreas geográficas e grupos sociais, oportunidade de melhorar o desempenho do sistema e da saúde da população, adesão de sua conformação à legislação e sua contribuição para a melhoria de saúde da população (Figura 2).

 

 

Uma vez decididas as grandes dimensões da avaliação, foi desenvolvido um processo de detalhamento para cada uma delas (Figura 3). A revisão da literatura sobre os indicadores demonstrou que em primeiro lugar seria importante conceituar cada uma das dimensões e seus componentes ou categorias, já que o mesmo indicador pode ser usado para avaliar diferentes aspectos. Em alguns casos existe uma diversidade conceitual importante e, em outros, as opiniões são mais convergentes e facilitam a escolha dos indicadores. Nessa seleção devem ser identificados os indicadores já existentes (por exemplo, Indicadores e Dados Básicos – IDBs) e definidos novos, que podem ser obtidos seja a partir de dados existentes (Pesquisa Mundial da Saúde 2003, Suplemento Saúde da PNAD/1998, Inquérito Domiciliar sobre Comportamentos de Risco e Morbidade Referida de Agravos não Transmissíveis/INCA) ou que deveriam ser coletados por meio de inquéritos domiciliares ou de usuários dos sistemas de saúde.

 

 

Para cada indicador seria necessária a construção de uma ficha técnica que deveria também conter a medida de desigualdade para comparação de grupos populacionais, de forma a evidenciar as desigualdades geográficas e sociais. A análise da validade aparente (face validity) dos indicadores deveria ser feita por especialistas e potenciais usuários deste sistema de monitoramento, tomando por base os critérios de seleção descritos.

É importante considerar que a metodologia proposta deve permitir também a avaliação de sistemas regionais de saúde ou de programas específicos, levando em conta as desigualdades no desempenho do segmento estatal e privado do SUS. E é fundamental também levar em conta a exeqüibilidade e sustentabilidade organizacional e financeira da proposta, pois é da sua continuidade e operacionalidade que depende a efetividade e impacto de qualquer proposta de avaliação de desempenho de sistemas de serviços de saúde.

 

Conclusão

Embora não haja consenso sobre como medir desempenho dos sistemas de serviços de saúde, desempenho é sempre definido em relação ao cumprimento de objetivos e funções das organizações que compõem o sistema, variando de acordo com o que cada país estabeleceu como suas metas. Dado que os objetivos e metas para os sistemas de saúde são diversos, do mesmo modo que as dimensões de análise, não há uma correspondência estrita entre as várias experiências locais, ainda que, em algumas situações, os indicadores (nos seus conteúdos) sejam os mesmos. Ainda assim é possível constatar que: a) a regularidade temporal com que as medidas subjacentes aos indicadores é efetuada é variável e nem sempre especificada; b) alguns indicadores são coletados de forma rotineira como parte do cotidiano administrativo dos serviços (indicadores de mortalidade geral e específica, cobertura vacinal, incidência e prevalência de determinadas morbidades etc.) e, em outros casos, as medidas são obtidas através de inquéritos especiais e pontuais, alguns dos quais de realização regular e predefinida (estado de saúde auto-referido; limitação de atividade/ dor crônica; tabagismo atual, passado ou passivo etc.).

A experiência dos diversos países demonstra que para implementar uma efetiva avaliação de desempenho existe a necessidade de um processo amplo de pactuação, que leve em consideração a conformação do sistema de saúde, seus objetivos e metas e os diferentes atores que dele fazem parte. Dessa maneira, gestores, prestadores e usuários dos serviços de saúde definiriam, a partir dos critérios de relevância, confiabilidade, validade, capacidade de discriminação e viabilidade, um conjunto mínimo de indicadores para compor um sistema de monitoramento das diversas dimensões do desempenho do sistema de saúde.

Finalmente seria desejável que fosse estabelecida uma agenda para a implantação do sistema de monitoramento com os indicadores e para a definição de mecanismos de obtenção periódica de dados inexistentes, além do estabelecimento de métodos e técnicas de exploração e análise dos dados, de forma a promover um processo de paulatina implantação da avaliação do desempenho do sistema de saúde.

A revisão dos modelos de avaliação internacionais e nacionais indica que um possível caminho a ser tentado para o caso brasileiro seria iniciar um processo amplo de discussão nacional, a exemplo do que foi feito no Reino Unido, Canadá e Austrália, para a formulação de um quadro conceitual a partir do qual seriam definidos indicadores adequados para a avaliação de desempenho do SUS. Nesse sentido, este artigo poderia ser considerado uma primeira aproximação para o desencadeamento desse debate.

 

Colaboradores

Grande parte do trabalho deriva de discussões coletivas, sendo que alguns autores concentraram-se mais em alguns aspectos, a saber: F Viacava na coordenação geral e desenvolvimento da matriz de avaliação da proposta brasileira; C Almeida, ES Oliveira e J Macinko na conceituação dos sistemas de saúde, avaliação crítica de modelos de avaliação propostos por agências internacionais e por outros países; R Caetano e M Fausto na análise dos indicadores nacionais e internacionais; M Martins e JC Noronha nos modelos alternativos para análise de sistemas de saúde; CL Szwarcwald na análise das desigualdades e condições de saúde, avaliação crítica de modelos de avaliação propostos por agências internacionais; MD Novaes, C Almeida, S Porto, M Martins, J Macinko, R Caetano, LV Silva e M Fausto no desenvolvimento da matriz de dimensões da avaliação da proposta brasileira; e LV Silva e S Porto na análise dos conceitos de eqüidade em saúde.

 

Referências bibliográficas

AIHW – Australia Institute of Health and Welfare 2000. The seventh biennal health report of the Australian Institute of Health and Welfare. AIHW, Camberra:. AIHW Cat. No. 19.        [ Links ]

Almeida CM 1995. As reformas sanitárias nos anos 80: crise ou transição? Tese de doutorado. Rio de Janeiro, ENSP/ Fiocruz.        [ Links ]

Almeida CM 1999. Reforma do Estado e reforma de sistemas de saúde: experiências internacionais de tendências de mudança. Ciência & Saúde Coletiva 4(2):263-286.         [ Links ]

Almeida CM et al. 2001. Methodological concerns and recommendations on policy consequences of the World Health Report 2000. Lancet 357(9269):1692-6977.        [ Links ]

Braveman P, Starfield B & Geiger JH 2001. World Health Report 2000: how it removes equity from the agenda for public health monitoring and policy. British Medical Journal, 323 (22/September):678-681.        [ Links ]

CIHI – Canadian Institute of Health Information 2001. Health Care in Canada. CIHI, Canadá. Disponível em <http://www.cihi.ca>        [ Links ]

Cozzens S 1995. Performance Assessment and the National Science Foundation: Proposals for NSF's Response to the Government Performance and Results Act, NSF Discussion Paper, Arlington, VA, November.        [ Links ]

Evans RG, Stoddart GL 1994. Why are some people healthy and others not? The determinants of health of populations. Capítulo 2: Producing Health, consuming health care. Aldine de Gruyter, Nova York.        [ Links ]

Hurst J & Hughes MJ 2001. Performance measurement and performance management in OECD health systems. Disponível em <www1.oecd.org>. OECD Health Systems. Labour Market and Social Policy – Occasional Papers n. 47, pp.1-60.        [ Links ]

Hurst J 2002. Performance measurement and improvement in OECD health systems: overview of issues and challenges, pp. 35-54. In OECD. Measuring up – improving health system performance in OECD countries. Editora da OCDE, Paris.        [ Links ]

Macinko J & Starfield B 2002. Annotated bibliography on equity and health, 1980-2001. International Journal for Equity in Health 1(1): 1-20.        [ Links ]

Marinho de Souza MF & Kalichman A 1994. Vigilância à saúde: epidemiologia, serviços e qualidade de vida, pp. 467-476. In MZ Rouquayrol & N Almeida-Filho (orgs.). Epidemiologia e Saúde. MEDSI, Rio de Janeiro.        [ Links ]

Mendes EV 1993. O processo social de distritalização da saúde, pp. 93-158. In EV Mendes (org.). Distrito Sanitário: o processo social de mudança das práticas do Sistema Único de Saúde. Hucitec-Abrasco, São Paulo-Rio de Janeiro.        [ Links ]

Mendes EV 2001. Os grandes dilemas do SUS (Tomo I). ISC/Casa da Saúde, Salvador.        [ Links ]

Mendes EV 2002. Os sistemas de serviços de saúde: o que os gestores deveriam saber sobre essas organizações complexas. Escola de saúde Pública do Ceará, Fortaleza.        [ Links ]

Navarro V 2000. Assessment of the World Health Report 2000. Lancet 356:1598-1601.        [ Links ]

Naylor CD, Iron K, & Handa K 2002. Measuring Health health System system Performanceperformance: Problems problems and Opportunities opportunities in the Era of Assessment assessment and Accountabilityaccountability, pp. 13-34. In OECD. Measuring up – improving health system performance in OECD countries. Editora da OCDE, Paris.        [ Links ]

NHPC – National Health Performance Committee 2002. National Report on Health Sector Performance Indicators 2001. Queensland Health, Brisbane.         [ Links ]

Or Z 2002 . Improving the performance of health systems: from measures to action (a review of experiences in four countries. Labour Marlet and Social Policy – Occasional Papers No. 57. OECD, Paris.        [ Links ]

OPS – Organización Panamericana de la Salud 2001. Health Systems Performance Assessment and Improvement in The Region of Americas. Washington, DC.        [ Links ]

Paim JS 1993. A reorganização das práticas de saúde em Distritos Sanitários, pp. 187-220. In EV Mendes (org.). Distrito Sanitário: o processo social de mudança das práticas do Sistema Único de Saúde. Hucitec-Abrasco, São Paulo-Rio de Janeiro.        [ Links ]

Roemer M 1991. National Health Systems of the World. (Vol.1: The Countries). Oxford University Press, Oxford, Inglaterra.        [ Links ]

Smee CH 2002. Improving value for money in the United Kingdom National Health Service: performance measurement and improvement in a centralized system, pp. 57-85. In OECD. Measuring up – improving health system performance in OECD Countries. Editora da OEDC, Paris.        [ Links ]

Teixeira CF, Paim JS & Villasbôas AL 1998. SUS, modelos assistenciais e vigilância da saúde. Informe Epidemiológico do SUS, Brasília, COMED/ASPLAN/FNS, ano VII, n. 2:7-28.        [ Links ]

Whitehead M 1992. The concepts and principles of equity and health. International Journal of Health Services 22(3):429-445.        [ Links ]

Williams A 2001. Science or marketing at WHO? A commentary on 'World Health 2000'. Health Economics 10:93-100.         [ Links ]

Wolfson M & Alvarez R 2002. Towards integrated and coeherent health information systems for performance monitoring: the Canadian experience, pp. 133-155. In OECD. Measuring up – improving health system performance in OECD countries. Editora da OEDC, Paris.        [ Links ]

WHO – World Health Organization 2000. The World Health Report: Health System: Improving Performance. Genebra.         [ Links ]

 

Nota

Para um maior detalhamento da discussão conceitual das dimensões, bibliografia sobre o tema e sistemas de indicadores revistos utilizados em diversos países e alguns dos indicadores sugeridos para a proposta brasileira ver www.proadess.cict.fiocruz.br

 

 

Artigo apresentado em 26/6/2004
Aprovado em 18/7/2004
Versão final apresentada em 28/7/2004