Monitoramento e avaliação dos atributos da Atenção Primária à Saúde em nível nacional: novos desafios

Paulo Eduardo Guedes Sellera Lucas Alexandre Pedebos Erno Harzheim Olivia Lucena de Medeiros Larissa Gabrielle Ramos Caroline Martins Otávio Pereira D’Avila Sobre os autores

Resumo

A partir da criação de uma Secretaria de Atenção Primária à Saúde (SAPS) no Ministério da Saúde em maio de 2019, cinco novos desafios foram trazidos para a gestão federal do SUS: a) ampliação do acesso da população às unidades de saúde da família, b) definição de um novo modelo de financiamento baseado em resultados em saúde e eficiência, c) definição de um novo modelo de provimento e formação de médicos de família e comunidade para áreas remotas, d) fortalecimento da clínica e do trabalho em equipe multiprofissional, e) ampliação da informatização das unidades de saúde e uso de prontuário eletrônico. Esse ensaio discute esses elementos à luz de um novo modelo avaliativo que, ao mesmo tempo, seja capaz de orientar o novo processo de financiamento da Atenção Primária à Saúde (APS) no Brasil. Este baseia-se na correção de distorções distributivas e também busca orientar maior efetividade e eficiência no investimento público e qualidade do serviço prestado à população. Através de estudos dos melhores exemplos internacionais e discussão com os representantes do Conselho Nacional de Secretários Estaduais de Saúde (CONASS) e do Conselho Nacional dos Secretários Municipais de Saúde (CONASEMS) e com apoio técnico do Banco Mundial, foi elaborada a proposta de novo modelo avaliativo e de financiamento da APS.

Palavras-chave
Monitoramento; Avaliação; Atenção Primária à Saúde

Introdução

A Atenção Primária à Saúde (APS) é a base dos maiores sistemas universais de saúde do mundo, responsável por ser a porta de entrada do cidadão no sistema de saúde, assim como de integração e coordenação do cuidado necessário. Diversos estudos demonstram que APS é capaz de resolver cerca de 85% dos problemas de saúde de uma comunidade11 World Health Organization (WHO). The World Health Report 2008. Primary Health Care, now more than ever. Genebra: WHO; 2008., com uso de densidade tecnológica adequada e evitando intervenções desnecessárias, garantindo maior segurança ao paciente. A APS, quando organizada sob a lógica de seus atributos, proporciona um impacto positivo na saúde da população, como por exemplo, maior e melhor acesso aos serviços; maior qualidade do atendimento; maior enfoque preventivo; diagnóstico e tratamento precoces de problemas de saúde; e redução de cuidados especializados desnecessários e potencialmente prejudiciais22 Starfield B, Shi L, Macinko J. Contribution of primary care to health systems and health. Milbank Q 2005; 83(3):457-502..

Essas características auxiliam na conquista de melhor saúde para as pessoas e de sustentabilidade para o sistema de saúde. Orientar sistemas de saúde em direção à APS Forte traz mais eficiência e, principalmente, garantia de melhores resultados na saúde da população. Uma atenção primária forte é essencial para um sistema de saúde forte33 Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília: UNESCO, MS; 2002..

Contudo, diferentemente de outros ambientes de cuidado à saúde com centralidade no uso de tecnologias densas, a APS em decorrência de sua amplitude de atuação e seu foco no diagnóstico clínico a partir do conhecimento dos profissionais costuma apresentar grandes variações na capacidade de intervir nos problemas de saúde da população. Tal fato faz com que os resultados alcançados pela APS em sistemas de cobertura universal de saúde sejam muito variados, levando à necessidade de se criar instrumentos para equalizá-la e ao mesmo tempo, aumentando os desafios de monitorar e avaliar seus resultados enquanto Política Pública de Saúde. Estudo realizado em 31 países evidenciou a complexidade da Atenção Primária à Saúde e a necessidade de considerar aspectos multidimensionais para avaliar seu impacto sobre a saúde da população44 Schafer WL, Boerma WG, Kringos DS, De Maeseneer J, Gress S, Heinemann S, Rotar-Pavlic D, Seghieri C, Svab I, Van den Berg MJ, Vainieri M, Westert GP, Willems S, Groenewegen PP. QUALICOPC, a multi-country study evaluating quality, costs and equity in primary care. BMC Fam Pract 2011; 12:115..

Apesar de à época em que o SUS foi constituído já haver vários bons exemplos de sistemas de saúde centrados na APS ao redor do mundo, com bons modelos de monitoramento e avaliação, a migração de centralidade do sistema para este ambiente de cuidado no SUS se deu de forma contínua, o que pode ser observado com uma breve retrospectiva histórica. Somente após 4 anos entre a Lei Orgânica do SUS (1990) surge o primeiro grande programa de estruturação da APS (Programa de Saúde da Família – 1994); mais 2 anos até a mudança no modelo de financiamento federal (NOB 96), que instituiu um mecanismo regular e universal de transferência de recursos aos municípios, condicionados ao porte populacional e à organização e prestação de serviços em atenção básica, o Piso da Atenção Básica (PAB) e a prática do acompanhamento, controle e avaliação no SUS, superando os mecanismos tradicionais, centrados no faturamento de serviços produzidos, e valorizando os resultados advindos de programações com critérios epidemiológicos e desempenho com qualidade55 Brasil. Portaria GM nº 2.203, de 5 de novembro de 1996. Aprova, nos termos do texto anexo a esta Portaria, a NOB 1/96, a qual redefine o modelo de gestão do Sistema Único de Saúde, constituindo, por conseguinte, instrumento imprescindível à viabilização da atenção integral à saúde da população e ao disciplinamento das relações entre as três esferas de gestão do Sistema. Diário Oficial da União; 1996., mais 2 anos (1998), o Ministério da Saúde publica o manual para a organização da atenção básica66 Brasil. Ministério da Saúde (MS). Portaria nº 3.925, de 13 de novembro de 1998. Aprova o Manual para Organização da Atenção Básica no Sistema Único de Saúde e outras resoluções. Diário Oficial da União; 2019., e o tema do monitoramento e avaliação começa a ter mais relevância para os gestores do SUS; mais 8 anos até a primeira política de atenção primária (PNAB 2006); mais 5 anos até criação em 2011 do Programa Nacional de Melhoria do Acesso e da Qualidade (PMAQ), objetivando incentivar os gestores e as equipes a melhorar a qualidade dos serviços de saúde oferecidos aos cidadãos do território, através da melhoria do acesso e da qualidade da Atenção Básica.

Ainda que tenha aumentado os recursos para a APS brasileira, o PMAQ é um programa que trouxe muitas controvérsias desde a sua implementação. Existem relatos que o Programa pode induzir modificações, com adequações tanto na estrutura física como no processo de atendimento, sendo apontadas mudanças após a implantação do programa, sobretudo, na organização do trabalho, em relação aos recursos materiais e infraestrutura da ESF e na organização dos registros77 Feitosa RMM, Paulino AA, Lima Júnior JOS, Oliveira KKD, Freitas RJM, Silva WF. Mudanças ofertadas pelo Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica. Saude Soc 2016; 25(3):821-829..

Se por um lado de alguma forma, os aspectos monitorados pelo programa ajudaram a impulsionar melhorias nas instalações físicas das unidades e trouxeram a discussão sobre planejamento e organização dos serviços, as dificuldades no monitoramento e avaliação dos indicadores de saúde (resultados apresentados aos gestores apenas no momento da emissão da nota das equipes) e o grande número de variáveis envolvidas no processo avaliativo, tornaram o programa alvo de muitas críticas pelos gestores municipais. Sua metodologia, considerada por muitos gestores municipais como complexa e ainda pouco compreendida, ocasionou 1.025 recursos administrativos no 2º Ciclo, todos questionando os resultados da avaliação.

Em seu 3º ciclo (2015-2017), utilizou seis instrumentos de avaliação externa, chamados de “Módulos” na fase 2, nenhum dos quais utilizando instrumentos de avaliação cientificamente validados que permitissem comparações com outros países. O Módulo da Fase 2 contém 1.039 perguntas distribuídas em: I - Observação na unidade básica de saúde – 316; II - Entrevista com profissional equipe de atenção básica – 257; III - Entrevista com usuários da unidade básica de saúde – 165; IV - Entrevista com profissional do NASF – 98; V - Observação na unidade básica de saúde para Saúde Bucal – 136; e VI - Entrevista com profissional da Equipe de Saúde Bucal – 67. Sua longitudinalidade é limitada a painéis a cada três anos. Além disso, no 3º Ciclo, a gigantesca amostra realizada de mais de 150 mil usuários de unidades de saúde não é representativa do ponto de vista estatístico, ou seja, não possui validade externa; porém, por outro lado, se constitui em uma importante amostra intencional para futuros estudos, mas não para o monitoramento diuturno e necessário dos rumos de um sistema financiado com recursos públicos, que exige transparência e accountability.

Com o advento do PMAQ foram implementadas melhorias na supervisão e avaliação dos trabalhos das equipes da “Estratégia Saúde da Família”, com destaque para a instituição do incentivo financeiro variável de acordo com o desempenho, que é um Componente de Qualidade do Piso de Atenção Básica Variável (PAB Variável)88 Brasil. Tribunal de Contas da União. Saúde/Tribunal de Contas da União. Brasília: TCU; 2014. (Relatório Sistêmico de Fiscalização).. Porém, muitos fatores ainda necessitam ser analisados como pontos de fragilidades como a escolha dos indicadores de monitoramento, os critérios de adesão das equipes, a característica de adesão voluntária ao programa, a baixa frequência das avaliações, a dependência de contratos com universidades e o baixo reflexo da avaliação periódica com a produção de saúde cotidiana das equipes, entre outras.

Outro aspecto refere-se ao processo de seleção e adesão das equipes, podendo ocorrer um viés pelos gestores, que passam a privilegiar as equipes com melhores condições de bons resultados para recebimento de incentivos, em detrimento de outras, para certificação, não condizente com uma realidade global99 Ney MS, Pierantoni CR, Lapão LV. Sistemas de avaliação profissional e contratualização da gestão na Atenção Primária à Saúde em Portugal. Saude Debate 2015; 39(104):43-55.. Estas últimas deixam de ser avaliadas, gerando um retrato insuficiente da realidade da APS no país.

Um problema central na indução do processo avaliativo e consequentemente na melhoria da qualidade da atenção à saúde, diz respeito à forma como a APS é financiada no país. Podemos resumir que a maior parte dos recursos diz respeito a quatro elementos: o repasse com base na atualização da população residente nos municípios, segundo o IBGE (PAB fixo), o repasse por equipe cadastrada no SCNES (parte do PAB variável, que desconsidera a dupla, tripla ou múltipla contagem das pessoas, nas antigas “Fichas A” e a ineficiência da gestão nacional em promover a limpeza dessas duplicidades de cadastros), o repasse para indução de outras estratégias/programas, como o programa saúde na escola, academia da saúde, melhor em casa, dentre outros e o provimento profissional de agentes comunitários de saúde - ACS (mencionado como provimento uma vez que é a única categoria profissional para a qual o governo federal instituiu piso salarial e repassa 95% deste, independentemente dos resultados alcançados). Retirando-se o PMAQ, pode-se dizer que o financiamento federal da APS é majoritariamente baseado em informações autorreferidas pelos gestores municipais. Por outro lado, é importante salientar que apesar das críticas o PMAQ fortaleceu a cultura de avaliação e pagamento por desempenho no país.

Diante do acima exposto, foi necessário a elaboração de proposta para um novo modelo de monitoramento e avaliação da APS, que seja efetivamente capaz de induzir uma melhoria na qualidade da Atenção Primária à Saúde no país, baseada em um processo (1) contínuo, (2) de aplicação simples, (3) mais transparente, (4) de complexidade gradual e progressiva e (5) alinhado às melhores experiências internacionais e (6) centrado nas necessidades das pessoas.

Ainda que em alguns países o sistema público de saúde tenha se estruturado logo no pós-guerra, como é o caso da Inglaterra, o direcionamento mais potente para a APS como centro do sistema começa a se dar apenas no final da década de 70. Na verdade, na maior parte desses é na década de 80 que ocorrem as maiores transformações estruturais nos sistemas de saúde, sendo que os processos avaliativos da APS passam por uma série de adaptações nos seus modelos, parte pelo aprendizado demonstrando nos resultados de pesquisas sobre esses modelos, parte pela constante necessidade de readequação a novas realidades1010 Shread S. A creature of its time: the critical history of the creation of the British NHS. Michael Quaterly 2011; 8:428-441.,1111 Cueto M. The Origins of Primary Health Care and Selective Primary Health Care. J Am Public Health Assoc 2004; 94(11):1864-1874..

Esse é um ponto destacado nos modelos de outros países, sobretudo no tocante aos indicadores utilizados: a necessidade constante de mudança no processo de avaliação. Ela se justifica por três motivos principais: (1) mudanças nos processos epidemiológicos da população, (2) alterações na organização dos serviços de saúde, incluindo a estrutura de rede e referência/contrarreferência; e (3) busca pelos resultados dos indicadores o que, ao mesmo tempo que melhora o que é monitorado tende a gerar uma piora naquilo que não é foco da avaliação, assim, os indicadores precisam ser modificados para que novos processos sejam incorporados no trabalho da equipe.

Outra diferença importante que impacta diretamente no modelo avaliativo é que, em linhas gerais, na maior parte dos países o governo federal é o organizador, contratante e administrador dos serviços de APS ao cidadão (como Inglaterra e Portugal, ainda que haja diferenças nas estruturas e subestruturas administrativas entre esses países)1212 Saltman RB, Dubois HFW. The historical and social base of social health insurance systems. In: Saltman RB, Busse R, Figueras J, editores. Social health insurance systems in western Europe. Genebra: Open University Press, 2004. p. 21-32.,1313 Araujo GBF, Miranda LO, Nolêto IRSG, Aguiar WJL, Moreira AM, Freitas DRJ. Comparação entre o sistema de saúde brasileiro e o sistema de saúde português: análise geral. Sanare 2017; 16(02):14-21., diferentemente do Brasil em que o governo federal não administra ou contrata serviços, sendo este papel dos 5.570 municípios. Em suma, pode-se dizer que há 5.570 administradores da APS no país, e mesmo que as dimensões territoriais sejam imensas e as diversidades culturais, econômicas e sociais muitas, as heterogeneidades encontradas nos resultados alcançados entre estes, demonstram a necessidade de que se estabeleça um novo processo de financiamento que valorize o desempenho, a qualidade e satisfação do usuário em relação aos serviços prestados.

Neste ensaio apresentamos as iniciativas da Secretaria de Atenção Primária à Saúde e os desafios para a implantação de um novo modelo de monitoramento e avaliação dos atributos da atenção primária à saúde em alinhamento com o novo modelo de financiamento da APS.

Metodologia

A visão estratégica e o foco em resultados são requisitos importantes para fortalecer a atuação governamental e aumentar o impacto das políticas públicas sobre a realidade social1414 Organisation for Ecconomic Co-operation and Development (OECD). Policy shaping and policy making: the governance of inclusive growth. Paris: OECD; 2015.. O monitoramento intensivo dos programas e ações governamentais pode agregar valor à gestão pública e melhorar a eficiência na prestação de serviços públicos1515 Moore M. Creating Public Value: Strategic Management in Government. Cambridge: Harvard University Press; 1995.. A avaliação da implementação de uma política envolve a seleção de indicadores de insumos, processos e produto; investiga a transformação dos insumos utilizados em processos e produtos. Já a avaliação de resultados, analisa se os indicadores de resultado e impactos, estão em linha com as metas e pesquisas qualitativas como a de satisfação dos usuários1616 Brasil. Casa Civil. Avaliação de políticas públicas: guia prático de análise ex post. Volume 2. Brasília: Casa Civil da Presidência da República; 2018..

Um dos pontos de grande importância na fase de formulação dos indicadores é o estabelecimento da relação direta com os objetivos pretendidos pelos programas, visto que, no momento da formulação de programas e ações deve ser previsto a organização de procedimentos de coleta e tratamento de informações específicas e confiáveis em todas as fases do ciclo de sua implementação, permitindo a construção de indicadores de monitoramento e avaliação1717 Rede Interagencial de Informação para a Saúde (RIPSA). Indicadores básicos para a saúde no Brasil: conceitos e aplicações. 2ª ed. Brasília: OPAS; 2008..

Na visão adaptada de Bonnefoy e Armijo1818 Bonnefoy C, Armijo M. Indicadores de desempeño en el sector público. Santiago do Chile: ILPES; 2005. e Jannuzzi1919 Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Brasília: Revista do Serviço Público; 2005., os indicadores podem ser:

  1. Indicadores de insumos - têm relação direta com os recursos humanos, materiais, recursos financeiros e outros a serem alocados e utilizados nas ações de governo como o número de médicos por mil habitantes e o gasto per capita com saúde, por exemplo.

  2. Indicadores de processo - representam medidas intermediárias que traduzem o esforço empreendido na obtenção dos resultados, como o percentual de atendimento de um determinado público-alvo e o percentual de liberação dos recursos financeiros.

  3. Indicadores de produto - medem o alcance das metas físicas ou as entregas de produtos ou serviços ao público-alvo do Programa, como o percentual de crianças vacinadas em relação às metas físicas estabelecidas.

  4. Indicadores de resultado - são aqueles cujas medidas “expressam, direta ou indiretamente, os benefícios decorrentes das ações empreendidas no contexto do Programa e têm particular importância no contexto de gestão pública orientada a resultados. São exemplos as taxas de morbidade (doenças), coeficiente de mortalidade materna”.

  5. Indicadores de impacto - possuem natureza abrangente e multidimensional, têm relação com a sociedade como um todo e medem os efeitos das estratégias governamentais de médio e longo prazo. Na maioria dos casos estão associados aos objetivos setoriais e de Governo.

Segundo Jannuzzi2020 Jannuzzi PM. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. 2ª ed. Campinas: Alínea Editora; 2009., os critérios de escolha dos indicadores podem ser divididos em dois grupos distintos:

  1. 1) Propriedades essenciais – são aquelas que qualquer indicador de Programa deve apresentar e sempre devem ser consideradas como critérios de escolha, independente da fase do ciclo de gestão em que se encontra o Programa (Planejamento, Execução, Avaliação etc.).

São elas: a) Validade – capacidade de representar a realidade que se deseja medir e modificar; b) Confiabilidade e simplicidade – fácil obtenção, construção, manutenção, comunicação e entendimento pelo público em geral, interno ou externo.

  1. 2) Propriedades complementares: a) Sensibilidade – capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas; b) Desagregabilidade – capacidade de representação regionalizada de grupos sociodemográficos, considerando que a dimensão territorial se apresenta como um componente essencial na implementação de políticas públicas; c) Economicidade – capacidade do indicador de ser obtido a custos módicos; d) Estabilidade – capacidade de estabelecimento de séries históricas estáveis que permitam monitoramentos e comparações; e) Mensurabilidade e auditabilidade.

A metodologia a ser utilizada para o monitoramento nacional e avaliação dos atributos da atenção primária à saúde, levou em consideração: 1) Os novos desafios da Secretaria de Atenção Primária à Saúde (SAPS) e em particular os desafios de ampliação do acesso da população às unidades de saúde da família e de fortalecimento da clínica e do trabalho em equipe; 2) A seleção de indicadores de processo e de resultados conforme definido na portaria que institui o Programa Previne Brasil2121 Brasil. Ministério da Saúde (MS). Portaria nº 2.979, de 12 de novembro de 2019. Institui o Programa Previne Brasil, que estabelece novo modelo de financiamento de custeio da Atenção Primária à Saúde no âmbito do Sistema Único de Saúde, por meio da alteração da Portaria de Consolidação nº 6/GM/MS, de 28 de setembro de 2017. Diário Oficial da União; 2019., art. 12-D que estabelece que para o pagamento por desempenho deverão ser observadas as seguintes categorias de indicadores: I - processo e resultados intermediários das equipes, II - resultados em saúde, e III - globais de APS. E ainda, em seu parágrafo único que os indicadores deverão considerar ainda a relevância clínica e epidemiológica, disponibilidade, simplicidade, baixo custo de obtenção, adaptabilidade, estabilidade, rastreabilidade e representatividade; 3) Indicadores que tenham relação direta com os objetivos pretendidos como o de fortalecimento da clínica e do trabalho em equipe; 4) Indicadores que para seu cálculo possuam origem dos dados conhecida tendo como fonte sistemas de informação de base nacional; 5) Discussão e consenso entre os 3 níveis de gestão para escolha dos indicadores: federal, estadual e municipal.

O novo modelo de Avaliação da Atenção Primária da SAPS

Através do Decreto nº 9.795, de 17 de maio de 2019, foi alterada a estrutura do Ministério da Saúde e criada a Secretaria de Atenção Primária à Saúde2222 Reis JG, Harzheim E, Nachif MCA, Freitas JC, D'Avila O, Hauser L, Martins C, Pedebos LA, Pinto LFS. Criação da Secretaria de Atenção Primária à Saúde e suas implicações para o SUS. Cien Saude Colet 2019; 24(9):3457-3462..

Para cumprir com suas competências e compromissos que buscam enfrentar desafios de ordem estruturante, dentre os quais: (i) a ampliação do acesso da população às unidades de saúde da família, (ii) a definição de um novo modelo de financiamento baseado em resultados em saúde e eficiência, (iii) a definição de um novo modelo de provimento e formação de médicos de família e comunidade para áreas remotas, (iv) o fortalecimento da clínica e do trabalho em equipe multiprofissional, e (v) a ampliação da informatização das unidades básicas de saúde e do uso do prontuário eletrônico; a Secretaria de Atenção Primária à Saúde do Ministério da Saúde, seguindo as experiências internacionais, iniciou a construção de um novo modelo avaliativo que fosse capaz de induzir um processo de melhoria de resultados em saúde da população, de orientar maior eficiência no investimento público e na qualidade do serviço prestado, de aumentar transparência dos processos de monitoramento e avaliação junto aos gestores e profissionais, e de instituir um período contínuo e ininterrupto para o monitoramento dos resultados de todas as equipes de saúde.

Para a construção deste modelo foram revisados diversos métodos de avaliação internacionais2323 Campbell S, Reeves D, Kontopantelis E, Middleton E, Sibbald B, Roland M. Quality of primary care in England with the introduction of pay for performance. N Engl J Med 2007; 357(2):181-190.

24 Campbell S, MacDonald R, Lester H. The experience of pay for performance in English family practice: a qualitative study, Ann Fam Med 2008; 6(3):228-234.

25 Mason A, Walker S, Claxton K, Cookson R, Fenwick E, Sculpher M. The GMS quality and outcomes framework: are the quality and outcomes framework (QOF) indicators a cost-effective use of NHS resources? York: Centre for Health Economics, University of York; 2008.
-2626 Damberg CL, Raube K, Teleki SS, Dela Cruz E. Taking stock of pay for performance: a candid assessment from the front lines. Health Aff 2009; 28(2):517-525., com foco nos sistemas universais de saúde com melhores resultados e maior similaridade organizacional com o brasileiro, originando um Modelo de Avaliação próprio (Quadro 1). Entretanto, a provisão de serviços de saúde por municípios não é uma prática comum no mundo – aliás, em poucos países o município é considerado um ente federado, normalmente não possuindo liberdade financeira e administrativa plena como no Brasil.

Quadro 1
Síntese do modelo de avaliação para a APS - Brasil, Ministério da Saúde - 2019.

Como uma das estratégias, optou-se em focar no uso de dados secundários principalmente, mas não exclusivamente, do Sistema de Informação em Saúde da Atenção Básica (SISAB). Tal sistema foi constituído em 2013 para substituir o Sistema de Informação da Atenção Básica (SIAB) tendo como principal vantagem a capacidade de transmitir dados individualizados, em contraposição aos dados unicamente agregados do sistema anterior. Ainda que nos municípios os cadastros pudessem estar devidamente organizados de maneira individual, as bases federais do SIAB não comportavam esse tipo de armazenamento, não havendo identificação inequívoca do cidadão e sendo apenas armazenados os quantitativos, já que à época de sua construção o poder computacional, armazenamento e a estrutura de transmissão de dados disponíveis eram compatíveis com um modelo desagregado. O SISAB pode ser alimentado tanto pelos sistemas ofertados pelo Ministério da Saúde – eSUS PEC, sistema de prontuário eletrônico, e CDS, modelo de digitação de dados a partir do registro manual em fichas de papel – quanto por qualquer sistema proprietário/comercial que se conecte ao centralizador e transmissor de dados, também fornecido pelo MS. O uso do SISAB nesse processo avaliativo possibilita uma grande abrangência, pelo fato de as equipes de saúde já encaminharem dados periodicamente, dada a obrigatoriedade legal para financiamento das equipes pelo Ministério da Saúde. Nesse sentido, o Decreto Presidencial nº 9.723/2019 adiciona importante elemento para higienização da base de dados e facilitação do registro inequívoco do cidadão ao considerar o CPF como identificador a ser incluída em todas as bases de dados federais2727 Brasil. Decreto nº 9.723, de 11 de março de 2019. Altera o Decreto nº 9.094, de 17 de julho de 2017, o Decreto nº 8.936, de 19 de dezembro de 2016, e o Decreto nº 9.492, de 5 setembro de 2018, para instituir o Cadastro de Pessoas Físicas - CPF como instrumento suficiente e substitutivo da apresentação de outros documentos do cidadão no exercício de obrigações e direitos ou na obtenção de benefícios e regulamentar dispositivos da Lei nº 13.460, de 26 de junho de 2017. Diário Oficial da União 2019; 12 mar., algo que já vinha acontecendo como elemento vinculante do Cartão Nacional de Saúde (CNS) mas passa a ser impulsionado.

Contudo, para a concretização do uso do SISAB nesse modelo, havia a necessidade de aprimorar o processo de crítica dos dados enviados que possibilitasse: 1) uma alimentação de dados mais próxima aos diferentes tipos de equipes de saúde existentes, considerando uma maior variação na constituição dessas do que aquelas definidas em portarias do MS; e 2) informar melhor aos gestores municipais as inconsistências ou erros de registro realizados nos sistemas de prontuário eletrônico utilizados, propiciando o entendimento dos problemas e possíveis correções.

O primeiro ponto se dá principalmente pelas regras atuais do Sistema do Cadastro Nacional de Estabelecimentos de Saúde (SCNES), que força a mudança no modelo de equipe a partir da constituição momentânea, e não no processo de trabalho. Como exemplo, em não havendo um profissional enfermeiro alocado na equipe, todos os demais profissionais precisam ser removidos desta e alocados diretamente na unidade, mesmo que o processo de trabalho se mantenha como estava anteriormente, apenas desfalcado pela ausência temporária de um profissional. Como consequência, o Ministério da Saúde não recebe a produção desta equipe e se torna impossível o cálculo de indicadores nesta granularidade, já que a produção dos profissionais passará a ser contabilizada apenas na unidade.

Desse modo, o novo modelo deve ter como balizador a capacidade das equipes de ofertar acesso à população. Conforme dados da Agência Nacional de Saúde Suplementar (ANS) reforçados pelos encontrados na Pesquisa Nacional de Saúde (PNS-2013)2828 Instituto Brasileiro de Geografia e Estatística (IBGE). Pesquisa Nacional de Saúde 2013. Rio de Janeiro: IBGE; 2014., cerca de 3 a cada 4 brasileiros depende exclusivamente do SUS como plano de saúde para as atividades assistenciais diretas dos serviços de saúde. No entanto, pouco mais de 90 milhões de brasileiros, à época de escrita deste artigo, estavam devidamente cadastrados nas bases nacionais da atenção primária (SISAB). É provável que haja uma parte da população que seja assistida mesmo que o cadastro não esteja correto, mas considerando que o pior cenário encontrado está justamente nos maiores municípios, não se pode considerar a falta de aparato tecnológico ou conectividade como fator determinante. Unidades da federação como São Paulo, Rio de Janeiro e Distrito Federal, os três maiores PIBs per capita do país, figuram entre as 5 com menor proporção de cadastros no SISAB em relação a população total. Ao se descontar a população coberta pela saúde suplementar, apenas São Paulo melhora a situação, mas continua mesmo assim na metade inferior do ranking.

A relação cadastral é importante para medir a quantidade de pessoas que estão sob responsabilidade da APS em algum momento no território. Posteriormente a fase de incentivo ao cadastro, pretende-se estudar após quanto tempo o cadastro pode ser considerado inativo a partir do momento que o usuário da APS não receba qualquer tipo de atendimento pela equipe de saúde.

Os usuários “ativos” passariam desta forma, então, a compor o cadastro real de pessoas de uma determinada equipe, cuja responsabilidade é a garantia do cuidado longitudinal, integral e coordenado dentro da rede de atenção à saúde. É este processo que se pretende utilizar como base para a adscrição populacional às equipes, com momento de transição entre o quantitativo de cadastros e a população ativa. Importante destacar que isso não interfere na referência do território, nem nas ações populacionais de base territorial realizadas pelas equipes, mas certamente incentivará ajustes em locais onde a população não faz uso do serviço de saúde local, promovendo maior equilíbrio no trabalho das equipes. Além disso, dará ao cidadão a opção de escolha do seu provedor de atenção primária, resgatando o livre-arbítrio como princípio maior da vida em sociedade na interação das pessoas com o SUS. Atualmente, ao envidar esforços para que o centro dos sistemas de saúde sejam as pessoas, a livre escolha do provedor de APS é um dos indicadores selecionados pela Organização para a Cooperação e Desenvolvimento Econômico para medir este objetivo.

Seleção dos Indicadores

Complementarmente, se iniciará um processo regular, contínuo e qualificado de monitoramento e avaliação de indicadores que auxiliam a monitorar pontos importantes, mas ainda deficitários da APS, considerando as possibilidades atuais da estrutura dos bancos de dados. Entre estes estarão elementos de cuidado materno-infantil, doenças evitáveis, internações sensíveis à APS e cuidado de doenças crônicas, elementos nos quais intervenções de baixo custo, mas de importante capacitação técnica geram enormes impactos no sistema de saúde e na vida da população em geral. Os indicadores selecionados terão como base sua relevância clínica e epidemiológica; indicadores de processo e resultados intermediários das ESF; indicadores de resultados em saúde; e indicadores globais de APS. Para esse conjunto de indicadores o monitoramento será quadrimestral (mesma periodicidade de outros instrumentos de gestão do SUS), com granularidade a nível da equipe, com metas graduais que consideram o estágio atual de cada equipe de saúde e valores ponderados correspondentes à dificuldade de alcance do indicador.

A princípio foram selecionados e pactuados na 10ª Reunião Ordinária da Comissão Intergestores Tripartite (CIT)2929 Conselho Nacional de Secretarias Municipais de Saúde (CONASEMS). CIT: aprovada portaria que institui indicadores para pagamento do desempenho da AB [página na Internet]. 2019 [acessado 2019 Dez 03]. Disponível em: conasems.org.br/cit-aprovada-portaria-que-institui-indicadores-para-pagamento-do-desempenho-da-ab/
conasems.org.br/cit-aprovada-portaria-qu...
sete indicadores para o ano de 2020, (Quadro 2), relacionados ao pagamento por desempenho, enquanto outros indicadores estão sendo discutidos e avaliados para utilização nos anos de 2021 e 2022, conforme previsto na Portaria GM/MS nº 3.222, de 10 de dezembro de 20193030 Brasil. Ministério da Saúde (MS). Portaria nº 3.222, de 10 de dezembro de 2019. Dispõe sobre os indicadores do pagamento por desempenho, no âmbito do Programa Previne Brasil. Diário Oficial da União 2019; 11 dez..

Quadro 2
Indicadores relacionados ao pagamento por desempenho da APS - Brasil, Ministério da Saúde - 2020.

Aos indicadores de desempenho serão atribuídas notas na comparação com a situação atual do município, acompanhada quadrimestralmente, e comparada com a meta estipulada pactuada entre os entes federados, mas sempre acima dos valores observados com vistas a melhorar os resultados. Os indicadores relacionados de monitoramento não gerarão repasse aos municípios, mas auxiliarão o entendimento dos resultados obtidos nos indicadores de desempenho, ou por serem causas ou consequências destes, ou por estarem intimamente relacionados. A seleção de indicadores considerou o modelo de base de dados atual do SISAB de tal modo que a maioria pode ser calculada em uma série histórica recente até o nível equipe – o mais desagregado possível.

Importante mencionar também a criação de painéis informacionais que serão disponibilizados para o uso de gestores e profissionais de saúde para o acompanhamento mensal e contínuo dos indicadores de saúde e da base cadastral de cada equipe.

Avaliação na perspectiva da Pessoa

Ressalta-se ainda, o uso de instrumentos de avaliação da qualidade assistencial e experiência do paciente (em pesquisas de base populacional), com reconhecimento e validação internacional e nacional, como o Primary Care Assessment Tool (PCATool)3131 Harzheim E, Goncalves MR, D'Avila OP, Hauser L, Pinto LF. Estudos de PCATool no Brasil. In: Mendonça MHM, Matta GC, Gondim R, Giovanella L, organizadores. Atenção primária à saúde no Brasil: conceitos, práticas e pesquisa. Rio de Janeiro: Editora Fiocruz; 2018. p. 493-525., o Patient-Doctor Relationship Questionnaire (PDRQ-9)3232 Wollmann L, Hauser L, Mengue SS, Agostinho MR, Roman R, Feltz-Cornelis CMVD, Harzheim E. Adaptação transcultural do instrumento Patient-Doctor Relationship Questionnaire (PDRQ-9) no Brasil. Rev Saude Publica 2018; 52:71., questionário que avalia a relação médico-paciente na perspectiva do paciente no contexto da APS e o Net Promoter Score (NPS)3333 Reichheld FF. The One Number You Need to Grow. Harvard Business Review 2003 81(12):1-12., que já vem sendo utilizado em várias áreas, inclusive na saúde privada, como a forma mais simples de avaliar a experiência e fidelidade dos clientes. Esses instrumentos e seus indicadores globais serão incorporados em 2022 no grupo de indicadores de monitoramento rotineiro do Ministério da Saúde.

Pagamento por desempenho

A experiência internacional demonstra que o pagamento por desempenho, baseado em resultados, melhora o registro de usuários no sistema de informações, reduz falhas de tratamento; melhora o controle de doenças crônicas (pressão arterial controlada, hemoglobina glicada controlada), melhora nas ações de rastreamento (HIV, exame de colo de útero, depressão) e melhora a prescrição de medicamentos e reduz as internações de emergência para condições incentivadas3434 Forbes LJ, Marchand C, Doran T, Peckham S. O papel do Quadro de Qualidade e Resultados no atendimento de condições de longo prazo: uma revisão sistemática. J Royal College General Practitioners 2017; 67(664 ):e775-e84.

35 Mendelson A, Kondo K, Damberg C, Low A, Motúapuaka M, Freeman M, O'Neil M, Relevo R, Kansagara D. The effects of pay-forperformance programs on health, health care use, and processes of care: a systematic review. Ann Intern Med 2017; 166(5):341-353.

36 Suthar AB, Nagata JM, Nsanzimana S, Bärnighausen T, Negussie EK, Doherty MC. Financiamento baseado em desempenho para melhorar a prestação de serviços de HIV/AIDS: uma revisão sistemática. BMC Health Serv Res 2017; 17:6.

37 Campbell SM, Reeves D, Kontopantelis E, Sibbald B, Roland M. Effects of pay for performance on the quality of primary care in England. N Engl J Med 2009; 361(4):368-378.

38 Fleetcroft R, Cookson R. Do the incentive payments in the new NHS contract for primary care reflect likely population health gaines? J Health Serv Res Policy 2006; 11(1):27-31.

39 Portugal. Portaria nº 301/2008. Regula os critérios e condições para a atribuição de incentivos institucionais e financeiros às unidades USF e aos profissionais que as integram, com fundamento em melhorias de produtividade, eficiência, efetividade e qualidade dos cuidados prestados. Diário da República 2008; 18 abr.

40 Soranz D, Pinto LF, Camacho LAB. Análise dos atributos dos cuidados primários em saúde utilizando os prontuários eletrônicos na cidade do Rio de Janeiro. Cien Saude Colet 2017; 22(3):819-830.
-4141 Ryan AM, Krinsky S, Kontopantelis E, Doran T. Long-term evidence for the eff ect of pay-for-performance in primary care on mortality in the UK: a population study. Lancet 2016; 388(10041):268-274..

Para êxito desse modelo é fundamental conseguir medir o desempenho alcançado utilizando métricas que sejam claras, factíveis para a realidade local e públicas. Idealmente, devem ser indicadores precisos e oportunos ao critério de desempenho desejado, sensíveis a variações de empenho das equipes e resistentes à manipulação ou fraude4242 Casin C, Chi Y-L, Smith P, Borowitz M, Thomson S. Paying for Performance in Health Care: Implications for health system performance and accountability. Genebra: European Observatory on Health Systems and Policies Series; 2014.,4343 Roland M, Guthrie B, Thomé DC. Primary Medical Care in the United Kingdom. J Am Board Fam Med 2012; 25(Supl. 1):S6-S11..

Além disso, acordos de governança eficazes são um pré-requisito essencial para o sucesso de qualquer programa e necessitam de sustentação principalmente na sua fase de implantação para seu êxito. Nesse sentido, equipes técnicas da SAPS irão apoiar os municípios com maiores dificuldades de alcançar um bom desempenho seja para a melhoria da gestão da clínica como em todo processo de trabalho das equipes.

Nesse novo modelo de pagamento por desempenho da APS brasileira a participação dos municípios é de caráter obrigatório incluindo, dessa forma, a totalidade de equipes vinculadas a serviços de APS.

Considerações finais

O novo modelo avaliativo para a APS proposto pelo Ministério da Saúde busca incluir o monitoramento e avaliação na base do processo de financiamento. Além disso, propõe-se a ser mais simples, transparente e contínuo do que o modelo adotado atualmente, com um conjunto sucinto de indicadores de introdução crescente e complexidade progressiva, dando aos gestores e profissionais de saúde tempo para adaptação. Para tanto, uma série de mudanças nas bases de dados e sistemas de capitação estão sendo realizadas, gerando maior capacidade de análise de dados em todos os níveis de gestão.

Este modelo é baseado em experiências internacionais de APS, notadamente Reino Unido e Portugal, observados seus acertos e erros percebidos ao longo de décadas, incorporando a necessidade já bem demonstrada de incentivar financeiramente a manutenção de uma base cadastral de usuários ativa como balizador do sistema, minimizando o risco de efeitos indesejados advindos da seleção de determinados indicadores. Dessa forma o Brasil passa a incorporar às diretrizes da APS o que há de mais concreto em avaliação da APS no mundo, avançando de maneira segura e devidamente estruturada, sempre com o cidadão no foco do sistema e prezando pela eficiência no gasto público.

Referências

  • 1
    World Health Organization (WHO). The World Health Report 2008. Primary Health Care, now more than ever Genebra: WHO; 2008.
  • 2
    Starfield B, Shi L, Macinko J. Contribution of primary care to health systems and health. Milbank Q 2005; 83(3):457-502.
  • 3
    Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia Brasília: UNESCO, MS; 2002.
  • 4
    Schafer WL, Boerma WG, Kringos DS, De Maeseneer J, Gress S, Heinemann S, Rotar-Pavlic D, Seghieri C, Svab I, Van den Berg MJ, Vainieri M, Westert GP, Willems S, Groenewegen PP. QUALICOPC, a multi-country study evaluating quality, costs and equity in primary care. BMC Fam Pract 2011; 12:115.
  • 5
    Brasil. Portaria GM nº 2.203, de 5 de novembro de 1996. Aprova, nos termos do texto anexo a esta Portaria, a NOB 1/96, a qual redefine o modelo de gestão do Sistema Único de Saúde, constituindo, por conseguinte, instrumento imprescindível à viabilização da atenção integral à saúde da população e ao disciplinamento das relações entre as três esferas de gestão do Sistema. Diário Oficial da União; 1996.
  • 6
    Brasil. Ministério da Saúde (MS). Portaria nº 3.925, de 13 de novembro de 1998. Aprova o Manual para Organização da Atenção Básica no Sistema Único de Saúde e outras resoluções. Diário Oficial da União; 2019.
  • 7
    Feitosa RMM, Paulino AA, Lima Júnior JOS, Oliveira KKD, Freitas RJM, Silva WF. Mudanças ofertadas pelo Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica. Saude Soc 2016; 25(3):821-829.
  • 8
    Brasil. Tribunal de Contas da União. Saúde/Tribunal de Contas da União Brasília: TCU; 2014. (Relatório Sistêmico de Fiscalização).
  • 9
    Ney MS, Pierantoni CR, Lapão LV. Sistemas de avaliação profissional e contratualização da gestão na Atenção Primária à Saúde em Portugal. Saude Debate 2015; 39(104):43-55.
  • 10
    Shread S. A creature of its time: the critical history of the creation of the British NHS. Michael Quaterly 2011; 8:428-441.
  • 11
    Cueto M. The Origins of Primary Health Care and Selective Primary Health Care. J Am Public Health Assoc 2004; 94(11):1864-1874.
  • 12
    Saltman RB, Dubois HFW. The historical and social base of social health insurance systems. In: Saltman RB, Busse R, Figueras J, editores. Social health insurance systems in western Europe Genebra: Open University Press, 2004. p. 21-32.
  • 13
    Araujo GBF, Miranda LO, Nolêto IRSG, Aguiar WJL, Moreira AM, Freitas DRJ. Comparação entre o sistema de saúde brasileiro e o sistema de saúde português: análise geral. Sanare 2017; 16(02):14-21.
  • 14
    Organisation for Ecconomic Co-operation and Development (OECD). Policy shaping and policy making: the governance of inclusive growth Paris: OECD; 2015.
  • 15
    Moore M. Creating Public Value: Strategic Management in Government Cambridge: Harvard University Press; 1995.
  • 16
    Brasil. Casa Civil. Avaliação de políticas públicas: guia prático de análise ex post Volume 2. Brasília: Casa Civil da Presidência da República; 2018.
  • 17
    Rede Interagencial de Informação para a Saúde (RIPSA). Indicadores básicos para a saúde no Brasil: conceitos e aplicações 2ª ed. Brasília: OPAS; 2008.
  • 18
    Bonnefoy C, Armijo M. Indicadores de desempeño en el sector público Santiago do Chile: ILPES; 2005.
  • 19
    Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais Brasília: Revista do Serviço Público; 2005.
  • 20
    Jannuzzi PM. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações 2ª ed. Campinas: Alínea Editora; 2009.
  • 21
    Brasil. Ministério da Saúde (MS). Portaria nº 2.979, de 12 de novembro de 2019. Institui o Programa Previne Brasil, que estabelece novo modelo de financiamento de custeio da Atenção Primária à Saúde no âmbito do Sistema Único de Saúde, por meio da alteração da Portaria de Consolidação nº 6/GM/MS, de 28 de setembro de 2017. Diário Oficial da União; 2019.
  • 22
    Reis JG, Harzheim E, Nachif MCA, Freitas JC, D'Avila O, Hauser L, Martins C, Pedebos LA, Pinto LFS. Criação da Secretaria de Atenção Primária à Saúde e suas implicações para o SUS. Cien Saude Colet 2019; 24(9):3457-3462.
  • 23
    Campbell S, Reeves D, Kontopantelis E, Middleton E, Sibbald B, Roland M. Quality of primary care in England with the introduction of pay for performance. N Engl J Med 2007; 357(2):181-190.
  • 24
    Campbell S, MacDonald R, Lester H. The experience of pay for performance in English family practice: a qualitative study, Ann Fam Med 2008; 6(3):228-234.
  • 25
    Mason A, Walker S, Claxton K, Cookson R, Fenwick E, Sculpher M. The GMS quality and outcomes framework: are the quality and outcomes framework (QOF) indicators a cost-effective use of NHS resources? York: Centre for Health Economics, University of York; 2008.
  • 26
    Damberg CL, Raube K, Teleki SS, Dela Cruz E. Taking stock of pay for performance: a candid assessment from the front lines. Health Aff 2009; 28(2):517-525.
  • 27
    Brasil. Decreto nº 9.723, de 11 de março de 2019. Altera o Decreto nº 9.094, de 17 de julho de 2017, o Decreto nº 8.936, de 19 de dezembro de 2016, e o Decreto nº 9.492, de 5 setembro de 2018, para instituir o Cadastro de Pessoas Físicas - CPF como instrumento suficiente e substitutivo da apresentação de outros documentos do cidadão no exercício de obrigações e direitos ou na obtenção de benefícios e regulamentar dispositivos da Lei nº 13.460, de 26 de junho de 2017. Diário Oficial da União 2019; 12 mar.
  • 28
    Instituto Brasileiro de Geografia e Estatística (IBGE). Pesquisa Nacional de Saúde 2013 Rio de Janeiro: IBGE; 2014.
  • 29
    Conselho Nacional de Secretarias Municipais de Saúde (CONASEMS). CIT: aprovada portaria que institui indicadores para pagamento do desempenho da AB [página na Internet]. 2019 [acessado 2019 Dez 03]. Disponível em: conasems.org.br/cit-aprovada-portaria-que-institui-indicadores-para-pagamento-do-desempenho-da-ab/
    » conasems.org.br/cit-aprovada-portaria-que-institui-indicadores-para-pagamento-do-desempenho-da-ab/
  • 30
    Brasil. Ministério da Saúde (MS). Portaria nº 3.222, de 10 de dezembro de 2019. Dispõe sobre os indicadores do pagamento por desempenho, no âmbito do Programa Previne Brasil. Diário Oficial da União 2019; 11 dez.
  • 31
    Harzheim E, Goncalves MR, D'Avila OP, Hauser L, Pinto LF. Estudos de PCATool no Brasil. In: Mendonça MHM, Matta GC, Gondim R, Giovanella L, organizadores. Atenção primária à saúde no Brasil: conceitos, práticas e pesquisa Rio de Janeiro: Editora Fiocruz; 2018. p. 493-525.
  • 32
    Wollmann L, Hauser L, Mengue SS, Agostinho MR, Roman R, Feltz-Cornelis CMVD, Harzheim E. Adaptação transcultural do instrumento Patient-Doctor Relationship Questionnaire (PDRQ-9) no Brasil. Rev Saude Publica 2018; 52:71.
  • 33
    Reichheld FF. The One Number You Need to Grow. Harvard Business Review 2003 81(12):1-12.
  • 34
    Forbes LJ, Marchand C, Doran T, Peckham S. O papel do Quadro de Qualidade e Resultados no atendimento de condições de longo prazo: uma revisão sistemática. J Royal College General Practitioners 2017; 67(664 ):e775-e84.
  • 35
    Mendelson A, Kondo K, Damberg C, Low A, Motúapuaka M, Freeman M, O'Neil M, Relevo R, Kansagara D. The effects of pay-forperformance programs on health, health care use, and processes of care: a systematic review. Ann Intern Med 2017; 166(5):341-353.
  • 36
    Suthar AB, Nagata JM, Nsanzimana S, Bärnighausen T, Negussie EK, Doherty MC. Financiamento baseado em desempenho para melhorar a prestação de serviços de HIV/AIDS: uma revisão sistemática. BMC Health Serv Res 2017; 17:6.
  • 37
    Campbell SM, Reeves D, Kontopantelis E, Sibbald B, Roland M. Effects of pay for performance on the quality of primary care in England. N Engl J Med 2009; 361(4):368-378.
  • 38
    Fleetcroft R, Cookson R. Do the incentive payments in the new NHS contract for primary care reflect likely population health gaines? J Health Serv Res Policy 2006; 11(1):27-31.
  • 39
    Portugal. Portaria nº 301/2008. Regula os critérios e condições para a atribuição de incentivos institucionais e financeiros às unidades USF e aos profissionais que as integram, com fundamento em melhorias de produtividade, eficiência, efetividade e qualidade dos cuidados prestados. Diário da República 2008; 18 abr.
  • 40
    Soranz D, Pinto LF, Camacho LAB. Análise dos atributos dos cuidados primários em saúde utilizando os prontuários eletrônicos na cidade do Rio de Janeiro. Cien Saude Colet 2017; 22(3):819-830.
  • 41
    Ryan AM, Krinsky S, Kontopantelis E, Doran T. Long-term evidence for the eff ect of pay-for-performance in primary care on mortality in the UK: a population study. Lancet 2016; 388(10041):268-274.
  • 42
    Casin C, Chi Y-L, Smith P, Borowitz M, Thomson S. Paying for Performance in Health Care: Implications for health system performance and accountability Genebra: European Observatory on Health Systems and Policies Series; 2014.
  • 43
    Roland M, Guthrie B, Thomé DC. Primary Medical Care in the United Kingdom. J Am Board Fam Med 2012; 25(Supl. 1):S6-S11.

Datas de Publicação

  • Publicação nesta coleção
    06 Abr 2020
  • Data do Fascículo
    Mar 2020

Histórico

  • Recebido
    31 Out 2019
  • Aceito
    20 Dez 2019
  • Publicado
    22 Dez 2019
ABRASCO - Associação Brasileira de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: revscol@fiocruz.br