Sistema de agendamento online: uma ferramenta do PEC e-SUS APS para facilitar o acesso à Atenção Primária no Brasil

Lucas Postal Ianka Cristina Celuppi Geovana dos Santos Lima Mariano Felisberto Thaísa Cardoso Lacerda Raul Sidnei Wazlawick Eduardo Monguilhott Dalmarco Sobre os autores

Resumo

A existência de barreiras nos serviços de demanda agendada resulta no elevado índice de absenteísmo. O objetivo deste manuscrito é apresentar as principais características do Sistema de Agendamento Online da estratégia e-SUS APS no Brasil. O Sistema de Agendamento Online desenvolvido pelo Laboratório Bridge da Universidade Federal de Santa Catarina, o qual também desenvolve o sistema de Prontuário Eletrônico do Cidadão (PEC e-SUS APS), e permite o agendamento de consultas através do aplicativo Conecte SUS Cidadão. O PEC e-SUS APS possui, entre outros, o módulo de agenda do profissional onde são realizadas as marcações e cancelamentos de consultas, permitindo a visualização de seus horários e disponibilidades. Embora o uso de sistemas de agendamento online seja capaz de fornecer benefícios, infelizmente eles têm sido pouco explorados na APS. Os principais motivos estão relacionados com a falta de informação e capacitação dos profissionais sobre o sistema e os impactos nos serviços prestados pelos estabelecimentos de saúde da APS. A fim de garantir a maior adoção e utilização do Sistema de Agendamento Online, é necessário ampliar a divulgação do sistema de modo a instituí-lo na rotina dos serviços como um instrumento facilitador do acesso à APS.

Palavras-chave
Registros Eletrônicos de Saúde; Aplicativos Móveis; Agendamento de Consultas; Atenção Primária à Saúde; Sistema Único de Saúde

Introdução

O Sistema Único de Saúde (SUS) foi instituído pela Constituição Federal de 1988 e está fundamentado nos princípios da universalidade do acesso, integralidade do cuidado, equidade, descentralização político-administrativa e hierarquização dos serviços de saúde11 Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.. A descentralização para os entes municipais acabou por responsabilizá-los pela oferta de serviços de saúde à população, bem como pela articulação com diferentes setores e entes governamentais para a estruturação da Rede de Atenção à Saúde (RAS). Com a mudança do modelo de cuidado instituído com o SUS, buscou-se primeiramente fortalecer e ampliar a cobertura da Atenção Primária à Saúde (APS), que é considerada porta de entrada prioritária para os usuários e ordenadora da RAS. Segundo Starfield22 Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília: UNESCO, MS; 2002., a APS é caracterizada por quatro atributos principais: atenção ao primeiro contato, longitudinalidade, integralidade e coordenação do cuidado.

Os serviços de APS no Brasil se materializam no espaço físico das Unidades Básicas de Saúde (UBS), onde trabalham equipes multidisciplinares compostas de médico, enfermeiro, odontólogo, técnico de enfermagem, agente comunitário de saúde, dentre outros profissionais que integram a equipe ampliada de saúde33 Brasil. Ministério da Saúde (MS). Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2017; 22 set.. O fluxo de acolhimento ao usuário pode ocorrer de duas maneiras distintas: atendimento de demanda espontânea ou agendamento de consultas.

O atendimento dos pacientes através da demanda espontânea acolhe os usuários que apresentam alguma doença em fase aguda e precisam de atendimento no dia, enquanto o agendamento de consultas é indicado principalmente para situações de acompanhamento clínico do usuário, a longo prazo, como avaliação de exames, renovação de receituário médico, ou outra situação que não apresente agudização da condição de saúde44 Brasil. Ministério da Saúde (MS). Cadernos de Atenção Básica: acolhimento à demanda espontânea. Brasília: MS; 2013..

O gerenciamento dos agendamentos é um desafio enfrentado em todo o mundo. Na América do Sul o índice de absenteísmo é de em média 27%55 Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.. O absenteísmo, uma palavra de origem latina (absens) que significa estar fora/ausente, é utilizada para relatar uma situação que acontece corriqueiramente nas UBS. Situação que é prejudicial para o profissional de saúde e para o cidadão. Para o profissional gera perda de tempo, diminuição da eficiência e aumento no uso de recursos66 Capko J. The price you pay for missed appointments. J Med Pract Manage 2007; 22(6):368.. Para o cidadão causa insatisfação devido à demora para ter o contato com o profissional e redução na qualidade do atendimento, o que pode dificultar o acesso de outros usuários e levar ao agravamento de doenças77 Husain-Gambles M, Neal RD, Dempsey O, Lawlor DA, Hodgson J. Missed appointments in primary care: questionnaire and focus group study of health professionals. Br J Gen Pract 2004; 54:108-113..

No Brasil este é um desafio enfrentado diariamente pelo SUS para a efetiva operacionalização da APS. O índice de absenteísmo de cidadãos também é alto nesse modelo de atendimento. Silveira et al.88 Silveira GS, Ferreira PR, Silveira DS, Siqueira FCV. Prevalência de absenteísmo em consultas médicas em unidade básica de saúde do sul do Brasil. Rev Bras Med Fam Comunidade 2019; 13(40):1-7. realizaram um estudo em uma UBS de Pelotas (RS) e constataram o índice de 19,2% de prevalência de absenteísmo. Outro estudo realizado por Ferreira e Espírito Santo99 Ferreira J, Espírito Santo W. Os percursos da cura: abordagem antropológica sobre os itinerários terapêuticos dos moradores do complexo de favelas de Manguinhos, Rio de Janeiro. Physis 2012; 22(1):179-198., em uma comunidade da cidade do Rio de Janeiro, mostrou uma taxa de absenteísmo de 48%. Este cenário provavelmente ocorre na grande maioria dos municípios brasileiros e acaba por dificultar a organização das agendas dos profissionais de saúde, o que impacta negativamente na qualidade do atendimento prestado aos cidadãos que necessitam de consultas na APS1010 Parente DH, Pinto MB, Barber JC. A pre-post comparison of service operational efficiency and patient satisfaction under open access scheduling. Health Care Manage Rev 2005; 30(3):220-228.,1111 Murray M, Tantau C. Same-day appointments: exploding the access paradigm. Fam Pract Manag 2000; 7(8):45-50..

Estudos evidenciam os principais motivos para o não comparecimento dos usuários nas consultas agendadas, como esquecimento, agendamento para horários inoportunos, falta e/ou falha de comunicação entre paciente e unidade de saúde, agendamentos marcados com semanas ou meses de antecedência e dificuldade de acesso ao serviço de saúde55 Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.,99 Ferreira J, Espírito Santo W. Os percursos da cura: abordagem antropológica sobre os itinerários terapêuticos dos moradores do complexo de favelas de Manguinhos, Rio de Janeiro. Physis 2012; 22(1):179-198.,1212 Bittar OJNV, Magalhães A, Martines CM, Felizola NBG, Falcão LHB. Absenteísmo em atendimento ambulatorial de especialidades no estado de São Paulo. BEPA. Bol Epidemiol Pau 2016; 13(152):19-32.

13 Kaplan-Lewis E, Percac-Lima S. No-Show to Primary Care Appointments: Why Patients Do Not Come. J Prim Care Community Health 2013; 4(4):251-255.

14 Lee VJ, Earnest A, Chen MI, Krishnan B. Predictors of failed attendances in a multi-specialty outpatient centre using electronic databases. BMC Health Serv Res 2005; 5:51-58.

15 Ho C, Lau H. Minimizing total cost in scheduling outpatient appointments. Manage Sci 1992; 38(12):1750-1764.

16 EscorelI S, GiovanellaI L, MendonçaI MHM, Senna MCM. O Programa de Saúde da Família e a construção de um novo modelo para a atenção básica no Brasil. Rev Panam Salud Publica 2007; 21(2):164-176.
-1717 Silva Júnior ES, Medina MG, Aquino R, Fonseca ACF, Vilasbôas ALQ. Acessibilidade geográfica à atenção primária à saúde em distrito sanitário do município de Salvador, Bahia. Rev Bras Saude Mater Infant 2010; 10(1):S49-S60..

O cenário atual da APS no Brasil é caracterizado pela formação de filas para conseguir atendimento nos serviços de saúde, o que causa prejuízo ao acesso dos usuários, que precisam chegar muito cedo ou até mesmo pernoitar para conseguir uma ficha de atendimento1818 Lima SAV, Silva MRF, Carvalho EMF, Cesse EAP, Brito ESV, Braga JPR. Elementos que influenciam o acesso à atenção primária na perspectiva dos profissionais e dos usuários de uma rede de serviços de saúde do Recife. Physis 2015; 25(2):635-656.. Cidadãos com dificuldades de agendar consultas devido a limitações de mobilidade ou com horários de trabalho conflitantes com os horários disponíveis pelas UBS desistem de fazer o acompanhamento com o profissional de saúde. Por consequência, acabam por ter seus quadros clínicos agravados e não criam vínculo com a equipe de saúde. Assim, a possibilidade de agendamento de consultas de modo não presencial pode ser considerada um facilitador de acesso aos serviços99 Ferreira J, Espírito Santo W. Os percursos da cura: abordagem antropológica sobre os itinerários terapêuticos dos moradores do complexo de favelas de Manguinhos, Rio de Janeiro. Physis 2012; 22(1):179-198.,1818 Lima SAV, Silva MRF, Carvalho EMF, Cesse EAP, Brito ESV, Braga JPR. Elementos que influenciam o acesso à atenção primária na perspectiva dos profissionais e dos usuários de uma rede de serviços de saúde do Recife. Physis 2015; 25(2):635-656..

A satisfação dos usuários em relação ao acesso aos serviços de APS pode estar relacionada com a sua capacidade de reservar um espaço na agenda no momento mais oportuno para si mesmo1919 Zhao P, Lavoie J, Lavoie BJ, Simões E. Web-Based Medical Appointment Systems: A Systematic Review. J Med Internet Res 2017; 19(4):e134.. Estudos indicam que o agendamento de consultas que atende as necessidades do usuário tende a aumentar o acesso aos serviços de saúde, otimizar o acompanhamento das condições clínicas, melhorar a qualidade, humanizar o atendimento e reduzir custos ao sistema de saúde2020 Turkcan A, Zeng B, Muthuraman K, Lawley M. Sequential clinical scheduling with service criteria. Eur J Oper Res 2011; 214(3):780-795.,2121 Brasil. Ministério da Saúde (MS). Secretaria de Atenção à Saúde, Política Nacional de Humanização da Saúde. Documento Base. 4ª ed. Brasília: MS; 2007.. Em 2007 já se apontava a necessidade de um sistema de agendamento que favorecesse a distribuição equânime dos pacientes entre as vagas de agendamento e demanda espontânea, como uma interessante maneira de solucionar este problema, ou pelo menos mitigá-lo significativamente2222 Souza CFM. A percepção dos usuários da UBS Cedro-Alvorada sobre o acolhimento de demandas de pronto-atendimento e de acompanhamento no PSF da UBS Cedro [monografia]. Porto Alegre: Universidade Federal do Rio Grande do Sul; 2007..

A literatura apresenta diversos aplicativos utilizados para o agendamento de consultas médicas2323 Boksmati N, Butler-Henderson K, Anderson K, Sahama T. The effectiveness of SMS reminders on appointment attendance: a meta-analysis. J Med Syst 2016; 40(4):90.

24 Silow-Carroll S, Smith B. Clinical management apps: creating partnerships between providers and patients. Issue Brief (Commonw Fund) 2013; 30(30):1-10.

25 Din IU, Khan NF. Mobile-Based Appointment System for Remote Patients. In: Umair S, Shah MY. Mobile Devices and Smart Gadgets in Human Rights. Pennsylvania: IGI Global; 2019. p. 153-170.
-2626 Chao P, Lee V, Yamamoto A. A way to minimize patient paperwork prior to appointments, including medical history and consent to retrieve patient records from other providers [Internet]. 2017 [acessado 2020 ago 21]. Disponível em: http://vanessa-lee.com/wp-content/uploads/2018/01/OnBoardID-Business-Plan.pdf.
http://vanessa-lee.com/wp-content/upload...
. Pesquisas apontam que 64% dos cidadãos preferem receber notificações/lembretes em seu celular para lembrar seus compromissos2727 Nwosu BU. A "No-Show" Medical Reminders Preference among College Level Adults: A Closer Look into Social Media Messaging System [tese]. Irvine: Brandman University; 2017.. As abordagens encontradas são implementadas tanto em sistemas públicos quanto privados e em serviços de diferentes níveis de atenção, algumas delas são utilizadas no SUS2828 Pinto JR, Carneiro MGD. Avaliação do agendamento online de consultas médicas especializadas através da central de regulação do SUS. Saude Colet 2012; 9(58):123-128.. Porém, nenhuma iniciativa apresenta o objetivo de favorecer um canal digital de comunicação entre os usuários do SUS e os serviços de APS.

Nesse contexto, o sistema público brasileiro precisa repensar as formas de organização do trabalho para facilitar o acesso dos usuários, seja por um sistema de agendamento, oferta de cuidados em horários alternativos, visitas domiciliares ou outros métodos2929 Kringos DS, Boerma WGW, Hutchinson A, Zee JVD, Groenewegen PP. The breadth of primary care: a systematic literature review of its core dimensions. BMC Health Serv Res 2010; 10:65.. A partir desse contexto, questiona-se: Quais estratégias podem facilitar o acesso dos usuários aos serviços de saúde de APS no Brasil? Assim, o objetivo deste manuscrito é apresentar o sistema de agendamento online recentemente implementado no sistema de Prontuário Eletrônico do Cidadão da Atenção Primária à Saúde (PEC e-SUS APS) como uma estratégia para a redução do absenteísmo e melhoria do acesso à APS no Brasil.

Sistema de agendamento online na Atenção Primária à Saúde

O sistema de agendamento online na APS está disponível através do sistema PEC e-SUS APS e funciona de maneira integrada com o aplicativo Conecte SUS Cidadão, estabelecendo um canal de comunicação automatizado entre os estabelecimentos de saúde e os cidadãos, oferecendo ferramentas às UBS para enfrentar os desafios postos.

Sistema PEC e-SUS APS

O PEC e-SUS APS contém um prontuário estruturado de acordo com o modelo de Registro Clínico Orientado à Problemas (RCOP)3030 Cantale CR. História clínica orientada a problemas [Internet]. Los Angeles: Universidade do Sul da Califórnia; 2003 [acessado 2020 ago 21]. Disponível em: https://www.academia.edu/28950514/HISTORIA_CLINICA_ORIENTADA_A_PROBLEMAS.
https://www.academia.edu/28950514/HISTOR...
, contemplando as etapas Subjetivo, Objetivo, Avaliação e Plano (SOAP), conforme mostra a Figura 1. Os dados apresentados são fictícios e foram gerados utilizando a versão 4.0.9 de treinamento disponível no endereço eletrônico oficial do Ministério da Saúde (MS)3131 Brasil. Ministério da Saúde (MS). Secretaria de Atenção Primária à Saúde. Manual de Uso do Sistema com Prontuário Eletrônico do Cidadão PEC v3.2 [Internet]. Brasília: MS; 2020 [acessado 2020 abr 10]. Disponível em: http://aps.saude.gov.br/ape/esus/download.
http://aps.saude.gov.br/ape/esus/downloa...
.

Figura 1
Tela para registro de atendimento individual do PEC e-SUS APS.

Além da funcionalidade de prontuário eletrônico, o PEC também possui outras ferramentas para auxiliar no gerenciamento e organização das atividades realizadas na APS, como geração de relatórios, cadastro de profissionais, envio e recebimento de dados clínicos, lista de atendimento e agenda profissional. O módulo de agenda profissional permite que os profissionais registrem a marcação/cancelamento de consultas e outros compromissos no sistema, de modo a permitir a visualização de seus horários e disponibilidade. O módulo de agenda profissional se integra com o aplicativo Conecte SUS Cidadão através de um sistema de agendamento online.

A integração com o sistema de Agendamento Online é estabelecida por meio de uma funcionalidade disponível no PEC, a qual é responsável por ativar ou desativar o uso deste sistema, conforme mostram as Figuras 2 e 3. Quando o sistema estiver ativo no PEC, informações sobre marcação e/ou cancelamento de consultas serão enviados para o Agendamento Online. O sistema de agendamento, por sua vez, irá notificar os respectivos cidadãos por meio do Conecte SUS Cidadão, permitindo a comunicação entre os usuários e os profissionais da equipe de saúde.

Figura 2
Telas para ativação do Agendamento Online.

Figura 3
Telas para configuração de agenda online do profissional.

Aplicativo Conecte SUS Cidadão

O aplicativo Conecte SUS Cidadão também foi desenvolvido pelo MS e pode ser utilizado em smartphones IOS e Android3232 Brasil. Ministério da Saúde (MS). Aplicativo Conecte SUS Cidadão [Internet]. Brasília: MS; 2020 [acessado 2020 mar 30]. Disponível em: https://www.gov.br/ptbr/apps/meu-digisus.
https://www.gov.br/ptbr/apps/meu-digisus...
. O aplicativo tem o objetivo de permitir que os cidadãos acessem informações pessoais e clínicas contidas em diversos sistemas, como Rede Nacional de Dados em Saúde (RNDS), Sistema de Cadastramento de Usuários do SUS (CADSUS), Cadastro Nacional de Estabelecimentos de Saúde (CNES), Sistema de Informação do Programa Nacional de Imunização (SIPNI) e PEC e-SUS APS. A integração com estes sistemas permite o acesso aos dados de vacinação do cidadão, resultados de exames da COVID-19, histórico de prescrição e retirada de medicamentos, consultas realizadas, histórico de doação de sangue e situação cadastral no sistema nacional de doação de órgãos, que podem ser observados na Figura 4.

Figura 4
Tela inicial e de agendamentos do cidadão do Conecte SUS Cidadão.

Para realizar a marcação de consultas online, o cidadão deve consultar os horários disponíveis na agenda de um profissional, escolher um dia e horário e finalizar a solicitação de agendamento da consulta. Quando o sistema de agendamentos confirmar o agendamento da consulta, o cidadão irá receber uma notificação de confirmação por meio do aplicativo. Além disso, o cidadão irá receber notificações sempre que agendamentos forem cadastrados ou cancelados na unidade de saúde3232 Brasil. Ministério da Saúde (MS). Aplicativo Conecte SUS Cidadão [Internet]. Brasília: MS; 2020 [acessado 2020 mar 30]. Disponível em: https://www.gov.br/ptbr/apps/meu-digisus.
https://www.gov.br/ptbr/apps/meu-digisus...
.

Arquitetura do agendamento online

O serviço de agendamento online, utilizado via sistema PEC e-SUS APS, permite a comunicação automatizada entre os profissionais da UBS e o cidadão através do Conecte SUS Cidadão. O objetivo deste sistema é facilitar o agendamento de consultas via aplicativo, sem que o cidadão precise ir até o estabelecimento de saúde para ser notificado sobre a marcação e cancelamento de consultas.

A Figura 5 descreve a arquitetura do sistema de agendamento online, composta por quatro atores: aplicativo Conecte SUS Cidadão, Servidor de Agendamento Online, Portal e-Gestor e PEC e-SUS APS.

Figura 5
Arquitetura do Sistema de Agendamento Online.

O servidor é o componente central para o funcionamento do sistema, sua função principal é intermediar a comunicação entre o aplicativo Conecte SUS Cidadão e o sistema de PEC e-SUS APS. Este componente também é responsável por armazenar os dados de agendamentos e configurações do serviço, garantindo que as trocas de mensagens ocorram somente entre o aplicativo Conecte SUS Cidadão e instalações PEC habilitadas, o que garante segurança na transmissão e armazenamento dos dados.

O Portal e-Gestor é responsável por ativar ou desativar a funcionalidade de agendamento online e informar o servidor quais instalações do e-SUS APS estão autenticadas e autorizadas a utilizarem este serviço3333 Brasil. Ministério da Saúde (MS). E-Gestor Atenção Básica: informação e gestão da atenção básica [Internet]. Brasília: MS; 2017 [acessado 2020 mar 30]. Disponível em: https://egestorab.saude.gov.br/paginas/login.xhtml.
https://egestorab.saude.gov.br/paginas/l...
. O aplicativo Conecte SUS Cidadão utiliza os serviços de consultar agendamentos, consultar horários disponíveis, cadastrar e atualizar agendamento. Além disso, recebe notificações sobre o cadastro e atualização dos agendamentos do cidadão. Uma vez que o cidadão realiza uma marcação de consulta, o agendamento ainda não está confirmado. A confirmação do agendamento ocorre somente quando o pedido é recebido pelo PEC e-SUS APS e o servidor é informado de que não há nenhuma inconsistência com o pedido. Quando o agendamento é confirmado no servidor, ele envia uma notificação de confirmação para o aplicativo Conecte SUS Cidadão.

O sistema PEC e-SUS APS, possui um conjunto de funcionalidades essenciais para garantir a utilização de todos os serviços disponíveis no servidor. Por exemplo, possui a funcionalidade para gerar uma chave para habilitar o serviço, para configurar as agendas dos profissionais e fazer marcação de consultas.

As funcionalidades do sistema de agendamento online, como notificar consultas agendadas presencialmente na UBS e consultas de agendamentos futuros do cidadão a partir do aplicativo Conecte SUS Cidadão, somente podem ser utilizados se o serviço de conexão com o servidor de agendamento online for ativado pelo instalador do PEC e-SUS APS. Além de ativar a conexão com o servidor, para o cidadão realizar o cadastro de um agendamento a partir do aplicativo Conecte SUS Cidadão, é necessário que o município/UBS e cidadão atendam às seguintes condições:

  • O cidadão precisa estar previamente cadastrado em um estabelecimento de saúde e estar vinculado a uma equipe de referência, a qual é responsável pelo acompanhamento deste cidadão;

  • A equipe de referência precisa ter habilitado os dias e horários disponíveis para que os cidadãos possam fazer o agendamento online;

  • É possível solicitar um agendamento para um prazo máximo de trinta dias a contar a partir do dia atual mais dois.

Estatísticas de uso do agendamento online

Para mensurar o uso da ferramenta de agendamento online disponível no sistema PEC e-SUS APS foram realizadas duas pesquisas. A primeira, através do Sistema Eletrônico do Serviço de Informação ao Cidadão (e-SIC)3434 Brasil. Ministério da Transparência. Controla-doria-Geral da União. E-SIC: Sistema Eletrônico do Serviço de Informações ao Cidadão [Internet]. Brasília: Ministério da Transparência; 2020 [acessado 2020 jul 15]. Disponível em: https://esic.cgu.gov.br/sistema/site/index.aspx.
https://esic.cgu.gov.br/sistema/site/ind...
, com o objetivo de obter dados quantitativos presentes na base de dados do servidor de agendamento online. A segunda, uma pesquisa do tipo survey, foi direcionada aos profissionais dos estabelecimentos de saúde com o objetivo de compreender a visão destes profissionais sobre o sistema de agendamento online do PEC e-SUS APS.

Na pesquisa feita na base de dados do sistema de agendamento online foram contabilizados dados registrados desde 2018 até o mês de junho de 2020, inclusive. Foram solicitadas, ao e-SIC, 11 informações quantitativas, conforme apresenta o Quadro 1. As informações estão organizadas em três categorias: 1) agendamentos de consulta; 2) instalações que ativaram o serviço; 3) profissionais com agendas online cadastradas.

Quadro 1
Informações sobre o uso da ferramenta de agendamento online.

Foi constatado que poucos cidadãos fizeram uso do sistema de agendamento online. Somente 789 agendamentos foram registrados através do aplicativo. Destes agendamentos, 250 foram cancelados pelo cidadão. Estes agendamentos foram realizados em 42 instalações do sistema PEC e-SUS APS. A maioria absoluta dos agendamentos (3.294.471) são realizados presencialmente na UBS.

Em relação à categoria 2, foi identificada a existência de 4.038 chaves, sendo 3.243 inativas e 795 chaves ativas. Das 795 chaves ativas, 39% estão associadas a uma instalação do sistema PEC e-SUS APS e 61% não foram associadas a nenhuma instalação, ou seja, o processo de ativação do sistema de agendamento online não foi concluído para estas chaves.

Estratificando as informações no nível do profissional de saúde, foram identificados 430 profissionais com agendamento online. Porém, permanecem ativos 209 profissionais aptos a receberem agendamentos online a partir do aplicativo Conecte SUS Cidadão. Ou seja, profissionais com agendamento online ativo e com horários disponíveis somam 205 e totalizam 7.648 horários disponíveis semanalmente para agendamentos online.

A pesquisa realizada através de um questionário online do tipo survey foi enviada para 36 profissionais, os quais atuam na gestão de diferentes municípios que utilizam o sistema PEC e-SUS APS. No total, recebemos 12 respostas. Metade dos profissionais informou que não conhece o sistema de agendamento online da APS. Dos profissionais que conhecem o sistema de agendamento online, apenas 2 ativaram o seu uso no PEC e-SUS APS. Nenhum município configurou a agenda online de profissionais, para permitir que cidadãos façam marcação de consultas pelo aplicativo Conecte SUS Cidadão.

Os profissionais foram questionados se o uso do sistema de agendamento online pode ajudar a diminuir o número de faltas. Apenas 16,67% dos profissionais acreditam que o uso do sistema de agendamento online pode contribuir para a redução no número de faltas, 33,33% acreditam que não contribui e 50% não responderam a esta pergunta.

Discussão

A formação de filas à procura de atendimento nos serviços de saúde oferecidos pela APS, infelizmente, é uma regra em todo território nacional. Este cenário é agravado pela dificuldade enfrentada pelos cidadãos para agendar consultas devido a limitações para se deslocar ao estabelecimento de saúde e pela escassez de horários disponibilizados pelas UBS para realizar agendamentos de consultas. A oferta de vagas para demandas agendadas ainda é prejudicada pelo alto índice de absenteísmo, 27% em média na América do Sul55 Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.. A consequência disso é o desperdício de tempo dos profissionais, repetição de agendamentos e aumento de fila na demanda espontânea.

Este cenário não é exclusivo do Brasil, pesquisadores apresentam propostas para facilitar o acesso dos cidadãos aos serviços de saúde, principalmente por meio da redução do índice de absenteísmo nas demandas agendadas55 Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.. Atualmente, as práticas mais recorrentes são a programação de acesso em aberto ou a utilização de lembretes.

A programação de acesso avançado consiste em manter a maior parte dos dias da agenda dos profissionais com horários livres, para permitir a criação de agendamentos no mesmo dia. Essa abordagem, também conhecida como advanced access foi avaliada em diversos estudos que demonstraram redução significativa do índice de faltas1010 Parente DH, Pinto MB, Barber JC. A pre-post comparison of service operational efficiency and patient satisfaction under open access scheduling. Health Care Manage Rev 2005; 30(3):220-228.,1111 Murray M, Tantau C. Same-day appointments: exploding the access paradigm. Fam Pract Manag 2000; 7(8):45-50.,3535 Bundy DG, Randolph GD, Murray M, Anderson J, Margolis PA. Open access in primary care: results of a North Carolina pilot project. Pediatrics 2005; 116(1):82-87.,3636 O'Connor ME, Matthews BS, Gao D. Effect of open access scheduling on missed appointments, immunizations, and continuity of care for infant well-child care visits. Arch Pediatr Adolesc Med 2006; 160(9):889-893..

O uso de lembretes é uma abordagem amplamente discutida na literatura para mitigar o risco de falta devido ao esquecimento, que pode representar até 66% dos motivos de absenteísmo1313 Kaplan-Lewis E, Percac-Lima S. No-Show to Primary Care Appointments: Why Patients Do Not Come. J Prim Care Community Health 2013; 4(4):251-255.. Os lembretes são notificações enviadas com antecedência ao cidadão, lembrando a data e horário do agendamento, que podem ser realizados através de diferentes meios de comunicação, como chamadas telefônicas, mensagens de texto SMS e via aplicativos para celular.

Este método de comunicação por lembretes apresenta evidências consistentes na redução da taxa de absenteísmo3737 McLean SM, Booth A, Gee M, Salway S, Cobb M, Bhanbhro S, Nancarrow SA. Appointment reminder systems are effective but not optimal: results of a systematic review and evidence synthesis employing realist principles. Physiotherapy 2015; 101:e980-e981.

38 Perron NJ, Dao MD, Righini NC, Humair J, Broers B, Narring F, Haller F, Gaspoz J. Text-messaging versus telephone reminders to reduce missed appointments in an academic primary care clinic: a randomized controlled trial. BMC Health Serv Res 2013; 13(1):125.

39 Stubbs ND, Geraci SA, Stephenson PL, Jones DB, Sanders S. Methods to reduce outpatient non-attendance. Am J Med Sci 2012; 344(3):211-219.
-4040 Parikh A, Gupta K, Wilson AC, Fields K, Cosgrove NM, Kostis JB. The effectiveness of outpatient appointment reminder systems in reducing no-show rates. Am J Med 2010; 123(6):542-548.. Quando comparadas as diferentes possibilidades, percebe-se que as ligações telefônicas apresentam um impacto maior que as mensagens de texto SMS4141 Chen Z, Fang L, Chen L, Dai H. Comparison of an SMS text messaging and phone reminder to improve attendance at a health promotion center: a randomized controlled trial. J Zhejiang Univ Sci B 2008; 9(1):34-38.,4242 Leong KC, Chen WS, Leong KW, Mastura I, Mimi O, Sheikh MA, Zailinawati AH, Ng CJ, Phua KL, Teng CL. The use of text messaging to improve attendance in primary care: a randomized controlled trial. Fam Pract 2006; 23(6):699-705.. Por outro lado, os lembretes por mensagem de texto apresentaram melhor custo-benefício3838 Perron NJ, Dao MD, Righini NC, Humair J, Broers B, Narring F, Haller F, Gaspoz J. Text-messaging versus telephone reminders to reduce missed appointments in an academic primary care clinic: a randomized controlled trial. BMC Health Serv Res 2013; 13(1):125.,4343 Costa TM, Salomão PL, Martha AS, Pisa IT, Sigulem D. The impact of short message service text messages sent as appointment reminders to patients' cell phones at outpatient clinics in São Paulo, Brazil. Int J Med Inform 2010; 79(1):65-70.,4444 Gurol-Urganci I, Jongh T, Vodopivec-Jamsek V, Atun R, Car J. Mobile phone messaging reminders for attendance at healthcare appointments. Cochrane Database Syst Rev 2013; 12:CD007458.. Além disso, o uso de lembretes também aumenta a taxa de cancelamento e reagendamento das consultas3737 McLean SM, Booth A, Gee M, Salway S, Cobb M, Bhanbhro S, Nancarrow SA. Appointment reminder systems are effective but not optimal: results of a systematic review and evidence synthesis employing realist principles. Physiotherapy 2015; 101:e980-e981..

O sistema de Agendamento Online presente no PEC e-SUS APS e integrado ao aplicativo Conecte SUS Cidadão pode gerar benefícios. Zhao et al.1919 Zhao P, Lavoie J, Lavoie BJ, Simões E. Web-Based Medical Appointment Systems: A Systematic Review. J Med Internet Res 2017; 19(4):e134. relatam que a redução do absenteísmo pode estar associada à melhoria do acesso à informação e ao sentimento de responsabilidade por parte dos cidadãos através do gerenciamento de suas próprias consultas, permitindo ao cidadão realizar o agendamento, cancelamento ou consulta a agendamentos marcados sem precisar se deslocar até o estabelecimento de saúde1919 Zhao P, Lavoie J, Lavoie BJ, Simões E. Web-Based Medical Appointment Systems: A Systematic Review. J Med Internet Res 2017; 19(4):e134..

Apesar dos benefícios descritos na literatura, o sistema de agendamento online no PEC e-SUS APS é pouco utilizado pelos profissionais de saúde. Existem aproximadamente 48 mil profissionais realizando atendimentos individuais através do sistema PEC e-SUS APS. Deste total, somente 205 têm horários disponíveis para o agendamento online, representando 0,42% dos profissionais. Além disso, existem 310 instalações do sistema PEC e-SUS APS com o agendamento online ativo. Entretanto, pelo menos 33,87% das instalações que ativaram o sistema de agendamento online não configuraram nenhum horário para o sistema de agendamento online.

A principal razão para esta baixa adesão de sistemas de agendamento online é a dificuldade de alterar os protocolos de trabalho já estabelecidos nas unidades de saúde1919 Zhao P, Lavoie J, Lavoie BJ, Simões E. Web-Based Medical Appointment Systems: A Systematic Review. J Med Internet Res 2017; 19(4):e134.. Também há o receio de que a dificuldade para fazer a triagem dos pacientes possa ocasionar a oferta de serviço inadequado, como por exemplo, um paciente que precisa de um atendimento de urgência pode agendar uma consulta em uma unidade de atendimento primário. Outro motivo é o uso abusivo e desorientado da ferramenta por parte dos cidadãos, gerando insegurança aos gestores e perda do controle do sistema de agendamento online.

Esses fatores também foram informados pelos profissionais da APS que participaram do survey sobre o uso de sistemas de agendamento online, os quais mencionaram a necessidade de readequar o protocolo de trabalho dos estabelecimentos de saúde. Os profissionais apresentaram ainda outros fatores impeditivos para a adoção do uso de sistemas de agendamento online. Um deles é o risco de reduzir o acesso de cidadãos mais vulneráveis ao sistema de saúde. Outros fatores recorrentes são o desconhecimento do sistema e a falta de informações sobre como ele deve ser utilizado e quais os riscos envolvidos. Alguns profissionais alertaram para a necessidade de fazer a atualização cadastral dos cidadãos e também melhorias na infraestrutura dos estabelecimentos de saúde.

A redução do índice de faltas não comunicadas gera um aumento na oferta de vagas disponíveis para a população. Com mais vagas disponíveis o tempo de espera por uma consulta diminui, resultando em melhoria da qualidade do serviço oferecido e na satisfação dos usuários do sistema de saúde55 Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.,77 Husain-Gambles M, Neal RD, Dempsey O, Lawlor DA, Hodgson J. Missed appointments in primary care: questionnaire and focus group study of health professionals. Br J Gen Pract 2004; 54:108-113.,1414 Lee VJ, Earnest A, Chen MI, Krishnan B. Predictors of failed attendances in a multi-specialty outpatient centre using electronic databases. BMC Health Serv Res 2005; 5:51-58.,1515 Ho C, Lau H. Minimizing total cost in scheduling outpatient appointments. Manage Sci 1992; 38(12):1750-1764..

Embora inúmeros autores apresentem vantagens que permitem reduzir o número de faltas em consultas agendadas, 33,33% dos profissionais que responderam o survey afirmaram que o fato de existir um sistema de agendamento online não interfere na redução do número de absenteísmo. As justificativas apresentadas foram a falta de comprometimento por parte do cidadão, o tempo de espera e a incerteza da confirmação da consulta. Este fato evidencia a falta de divulgação e desconhecimento do sistema, uma vez que ele apresenta serviço de notificação de consultas justamente para que o cidadão possa ter certeza de que o agendamento está confirmado e evitando que o agendamento seja esquecido pelo cidadão.

Para mitigar alguns destes fatores e garantir o melhor uso possível do sistema de agendamento, foram implementadas regras com o objetivo de impedir que os cidadãos realizem marcações de consultas de forma inadequada. Por exemplo, o sistema permite que somente cidadãos com cadastro e vínculo em uma equipe de um estabelecimento de saúde possam fazer o agendamento de consultas a partir do aplicativo Conecte SUS Cidadão.

O Ministério da Saúde atualizou a política de financiamento da APS em 2020, de forma a exigir que todos os cidadãos estejam vinculados a uma equipe. Dessa forma, a quantidade de cidadãos aptos a utilizar o agendamento online será ampliada. Para evitar que um cidadão sobrecarregue a agenda dos profissionais com múltiplos agendamentos o sistema impede que o cidadão realize agendamentos com antecedência maior que 30 dias. Além disso, o cidadão pode agendar consultas apenas para os profissionais da sua equipe. Para garantir que os profissionais de saúde mantenham o controle sobre as suas agendas, o aplicativo Conecte SUS Cidadão apresenta para os cidadãos apenas os horários que foram disponibilizados pelo provedor de saúde.

Entretanto, identificam-se algumas ações necessárias para garantir a adoção e utilização efetiva do sistema de agendamento online. Uma delas é a divulgação das ferramentas entre os gestores municipais, profissionais de saúde e cidadãos usuários do SUS. Além disso, é fundamental capacitá-los para o uso das funcionalidades disponibilizadas, de modo que fique claro como utilizá-las e como elas podem ser adaptadas de acordo com o contexto de cada município.

Considerações finais

Este artigo apresentou o Sistema de Agendamento Online de consultas fornecido gratuitamente pelo Ministério da Saúde e integrado aos sistemas PEC E-SUS APS e Conecte SUS Cidadão. Embora o uso de sistemas de agendamento online seja capaz de fornecer benefícios tanto para o cidadão quanto para os profissionais de saúde, eles têm sido pouco explorados na APS. Os principais motivos estão relacionados com a falta de informação e capacitação dos profissionais sobre o funcionamento deste sistema e seus impactos nos serviços prestados pelos estabelecimentos de saúde da APS.

A partir da análise da literatura sobre o uso de sistemas de agendamento online, considera-se que o uso das funcionalidades disponibilizadas no sistema apresentado neste estudo pode facilitar o acesso aos serviços de APS no Brasil. Para isso, destaca-se a necessidade de avançar na divulgação do sistema e instrumentalizar os profissionais de saúde e usuários do SUS para o seu uso.

Agradecimentos

Agradecemos o Ministério da Saúde, o qual financiou esta pesquisa como parte integrante do Projeto e-SUS APS Etapa 4.

Referências

  • 1
    Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.
  • 2
    Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília: UNESCO, MS; 2002.
  • 3
    Brasil. Ministério da Saúde (MS). Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS). Diário Oficial da União 2017; 22 set.
  • 4
    Brasil. Ministério da Saúde (MS). Cadernos de Atenção Básica: acolhimento à demanda espontânea. Brasília: MS; 2013.
  • 5
    Dantas LF, Fleck JL, Oliveira FLC, Hamacher S. No-shows in appointment scheduling-a systematic literature review. Health Policy 2018; 122(4):412-421.
  • 6
    Capko J. The price you pay for missed appointments. J Med Pract Manage 2007; 22(6):368.
  • 7
    Husain-Gambles M, Neal RD, Dempsey O, Lawlor DA, Hodgson J. Missed appointments in primary care: questionnaire and focus group study of health professionals. Br J Gen Pract 2004; 54:108-113.
  • 8
    Silveira GS, Ferreira PR, Silveira DS, Siqueira FCV. Prevalência de absenteísmo em consultas médicas em unidade básica de saúde do sul do Brasil. Rev Bras Med Fam Comunidade 2019; 13(40):1-7.
  • 9
    Ferreira J, Espírito Santo W. Os percursos da cura: abordagem antropológica sobre os itinerários terapêuticos dos moradores do complexo de favelas de Manguinhos, Rio de Janeiro. Physis 2012; 22(1):179-198.
  • 10
    Parente DH, Pinto MB, Barber JC. A pre-post comparison of service operational efficiency and patient satisfaction under open access scheduling. Health Care Manage Rev 2005; 30(3):220-228.
  • 11
    Murray M, Tantau C. Same-day appointments: exploding the access paradigm. Fam Pract Manag 2000; 7(8):45-50.
  • 12
    Bittar OJNV, Magalhães A, Martines CM, Felizola NBG, Falcão LHB. Absenteísmo em atendimento ambulatorial de especialidades no estado de São Paulo. BEPA. Bol Epidemiol Pau 2016; 13(152):19-32.
  • 13
    Kaplan-Lewis E, Percac-Lima S. No-Show to Primary Care Appointments: Why Patients Do Not Come. J Prim Care Community Health 2013; 4(4):251-255.
  • 14
    Lee VJ, Earnest A, Chen MI, Krishnan B. Predictors of failed attendances in a multi-specialty outpatient centre using electronic databases. BMC Health Serv Res 2005; 5:51-58.
  • 15
    Ho C, Lau H. Minimizing total cost in scheduling outpatient appointments. Manage Sci 1992; 38(12):1750-1764.
  • 16
    EscorelI S, GiovanellaI L, MendonçaI MHM, Senna MCM. O Programa de Saúde da Família e a construção de um novo modelo para a atenção básica no Brasil. Rev Panam Salud Publica 2007; 21(2):164-176.
  • 17
    Silva Júnior ES, Medina MG, Aquino R, Fonseca ACF, Vilasbôas ALQ. Acessibilidade geográfica à atenção primária à saúde em distrito sanitário do município de Salvador, Bahia. Rev Bras Saude Mater Infant 2010; 10(1):S49-S60.
  • 18
    Lima SAV, Silva MRF, Carvalho EMF, Cesse EAP, Brito ESV, Braga JPR. Elementos que influenciam o acesso à atenção primária na perspectiva dos profissionais e dos usuários de uma rede de serviços de saúde do Recife. Physis 2015; 25(2):635-656.
  • 19
    Zhao P, Lavoie J, Lavoie BJ, Simões E. Web-Based Medical Appointment Systems: A Systematic Review. J Med Internet Res 2017; 19(4):e134.
  • 20
    Turkcan A, Zeng B, Muthuraman K, Lawley M. Sequential clinical scheduling with service criteria. Eur J Oper Res 2011; 214(3):780-795.
  • 21
    Brasil. Ministério da Saúde (MS). Secretaria de Atenção à Saúde, Política Nacional de Humanização da Saúde. Documento Base. 4ª ed. Brasília: MS; 2007.
  • 22
    Souza CFM. A percepção dos usuários da UBS Cedro-Alvorada sobre o acolhimento de demandas de pronto-atendimento e de acompanhamento no PSF da UBS Cedro [monografia]. Porto Alegre: Universidade Federal do Rio Grande do Sul; 2007.
  • 23
    Boksmati N, Butler-Henderson K, Anderson K, Sahama T. The effectiveness of SMS reminders on appointment attendance: a meta-analysis. J Med Syst 2016; 40(4):90.
  • 24
    Silow-Carroll S, Smith B. Clinical management apps: creating partnerships between providers and patients. Issue Brief (Commonw Fund) 2013; 30(30):1-10.
  • 25
    Din IU, Khan NF. Mobile-Based Appointment System for Remote Patients. In: Umair S, Shah MY. Mobile Devices and Smart Gadgets in Human Rights. Pennsylvania: IGI Global; 2019. p. 153-170.
  • 26
    Chao P, Lee V, Yamamoto A. A way to minimize patient paperwork prior to appointments, including medical history and consent to retrieve patient records from other providers [Internet]. 2017 [acessado 2020 ago 21]. Disponível em: http://vanessa-lee.com/wp-content/uploads/2018/01/OnBoardID-Business-Plan.pdf
    » http://vanessa-lee.com/wp-content/uploads/2018/01/OnBoardID-Business-Plan.pdf
  • 27
    Nwosu BU. A "No-Show" Medical Reminders Preference among College Level Adults: A Closer Look into Social Media Messaging System [tese]. Irvine: Brandman University; 2017.
  • 28
    Pinto JR, Carneiro MGD. Avaliação do agendamento online de consultas médicas especializadas através da central de regulação do SUS. Saude Colet 2012; 9(58):123-128.
  • 29
    Kringos DS, Boerma WGW, Hutchinson A, Zee JVD, Groenewegen PP. The breadth of primary care: a systematic literature review of its core dimensions. BMC Health Serv Res 2010; 10:65.
  • 30
    Cantale CR. História clínica orientada a problemas [Internet]. Los Angeles: Universidade do Sul da Califórnia; 2003 [acessado 2020 ago 21]. Disponível em: https://www.academia.edu/28950514/HISTORIA_CLINICA_ORIENTADA_A_PROBLEMAS
    » https://www.academia.edu/28950514/HISTORIA_CLINICA_ORIENTADA_A_PROBLEMAS
  • 31
    Brasil. Ministério da Saúde (MS). Secretaria de Atenção Primária à Saúde. Manual de Uso do Sistema com Prontuário Eletrônico do Cidadão PEC v3.2 [Internet]. Brasília: MS; 2020 [acessado 2020 abr 10]. Disponível em: http://aps.saude.gov.br/ape/esus/download
    » http://aps.saude.gov.br/ape/esus/download
  • 32
    Brasil. Ministério da Saúde (MS). Aplicativo Conecte SUS Cidadão [Internet]. Brasília: MS; 2020 [acessado 2020 mar 30]. Disponível em: https://www.gov.br/ptbr/apps/meu-digisus
    » https://www.gov.br/ptbr/apps/meu-digisus
  • 33
    Brasil. Ministério da Saúde (MS). E-Gestor Atenção Básica: informação e gestão da atenção básica [Internet]. Brasília: MS; 2017 [acessado 2020 mar 30]. Disponível em: https://egestorab.saude.gov.br/paginas/login.xhtml
    » https://egestorab.saude.gov.br/paginas/login.xhtml
  • 34
    Brasil. Ministério da Transparência. Controla-doria-Geral da União. E-SIC: Sistema Eletrônico do Serviço de Informações ao Cidadão [Internet]. Brasília: Ministério da Transparência; 2020 [acessado 2020 jul 15]. Disponível em: https://esic.cgu.gov.br/sistema/site/index.aspx
    » https://esic.cgu.gov.br/sistema/site/index.aspx
  • 35
    Bundy DG, Randolph GD, Murray M, Anderson J, Margolis PA. Open access in primary care: results of a North Carolina pilot project. Pediatrics 2005; 116(1):82-87.
  • 36
    O'Connor ME, Matthews BS, Gao D. Effect of open access scheduling on missed appointments, immunizations, and continuity of care for infant well-child care visits. Arch Pediatr Adolesc Med 2006; 160(9):889-893.
  • 37
    McLean SM, Booth A, Gee M, Salway S, Cobb M, Bhanbhro S, Nancarrow SA. Appointment reminder systems are effective but not optimal: results of a systematic review and evidence synthesis employing realist principles. Physiotherapy 2015; 101:e980-e981.
  • 38
    Perron NJ, Dao MD, Righini NC, Humair J, Broers B, Narring F, Haller F, Gaspoz J. Text-messaging versus telephone reminders to reduce missed appointments in an academic primary care clinic: a randomized controlled trial. BMC Health Serv Res 2013; 13(1):125.
  • 39
    Stubbs ND, Geraci SA, Stephenson PL, Jones DB, Sanders S. Methods to reduce outpatient non-attendance. Am J Med Sci 2012; 344(3):211-219.
  • 40
    Parikh A, Gupta K, Wilson AC, Fields K, Cosgrove NM, Kostis JB. The effectiveness of outpatient appointment reminder systems in reducing no-show rates. Am J Med 2010; 123(6):542-548.
  • 41
    Chen Z, Fang L, Chen L, Dai H. Comparison of an SMS text messaging and phone reminder to improve attendance at a health promotion center: a randomized controlled trial. J Zhejiang Univ Sci B 2008; 9(1):34-38.
  • 42
    Leong KC, Chen WS, Leong KW, Mastura I, Mimi O, Sheikh MA, Zailinawati AH, Ng CJ, Phua KL, Teng CL. The use of text messaging to improve attendance in primary care: a randomized controlled trial. Fam Pract 2006; 23(6):699-705.
  • 43
    Costa TM, Salomão PL, Martha AS, Pisa IT, Sigulem D. The impact of short message service text messages sent as appointment reminders to patients' cell phones at outpatient clinics in São Paulo, Brazil. Int J Med Inform 2010; 79(1):65-70.
  • 44
    Gurol-Urganci I, Jongh T, Vodopivec-Jamsek V, Atun R, Car J. Mobile phone messaging reminders for attendance at healthcare appointments. Cochrane Database Syst Rev 2013; 12:CD007458.

Datas de Publicação

  • Publicação nesta coleção
    02 Jul 2021
  • Data do Fascículo
    Jun 2021

Histórico

  • Recebido
    08 Out 2020
  • Aceito
    25 Jan 2021
  • Publicado
    27 Jan 2021
ABRASCO - Associação Brasileira de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: revscol@fiocruz.br