Resumos

Introdução

A demanda por indicadores para acompanhamento de realidades sociais e para avaliação e monitoramento de políticas públicas torna-se cada vez maior. No Brasil, a democratização e o maior controle social de ações governamentais e do uso de verbas públicas, além da profissionalização da gestão do Estado, geram crescentes demandas por análises padronizadas e objetivas de mudanças ocorridas devido a uma intervenção (programa, projeto ou ação), ou mesmo para o acompanhamento de certa situação problemática (epidemias, pobreza, desigualdade, violência, etc.)¹1. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Cien Saude Colet 2006; 11(3):705-711.

2. Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10(Supl. 1):s229-s333. ^{- 3}3. Jannuzzi PM. Indicadores Sociais no Brasil. 3ª Edição. Campinas: Editora Alínea; 2006..

Grosso modo, os indicadores se alinham a dois propósitos convergentes: o de monitoramento da realidade social a fim de identificar as prioridades para o investimento em políticas públicas e o de avaliação e/ou monitoramento das intervenções realizadas ou em curso³3. Jannuzzi PM. Indicadores Sociais no Brasil. 3ª Edição. Campinas: Editora Alínea; 2006.. Seu uso pode ser amplamente disseminado e acompanhado periodicamente pela sociedade, como o Índice de Desenvolvimento Humano, Produto Interno Bruto (PIB) per capita, o percentual de famílias com rendimento per capita abaixo da linha de pobreza, entre outros. Certos indicadores podem ser usados para comparação do desenvolvimento dos países, gerando ganhos ou perdas secundárias quanto à credibilidade dos governos em prover e sustentar tais conquistas.

Indicadores são parâmetros de análise que buscam expressar de forma sintética e delimitada certa realidade sem, no entanto, esgotar todas as suas facetas. Podem se destinar a aferir tanto dimensões individuais como coletivas e servem de medida ou forma de apreciação, direta ou indireta de um evento, situação, conceito, processo ou condição, constituindo seus meios de verificação⁴4. Niremberg O, Brawerman J, Ruiz V. Evaluar para la transformación. Buenos Aires: Paidós; 2005. ^{, 5}5. Minayo MCS. Construção de Indicadores Qualitativos para Avaliação de Mudanças. Rev Bras Educ Med 2009; 33(Supl. 1):83-91.. Constituem dimensões quantitativa ou qualitativa, dotadas de significado social, usadas para substituir, quantificar ou operacionalizar um conceito social abstrato, que represente interesse teórico ou programático²2. Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10(Supl. 1):s229-s333.. São elos entre uma dada teoria social e as evidências dos fenômenos observados. Constituem recurso metodológico que, ancorados em base empírica, traduz aspecto da realidade social ou sobre as mudanças que estão se efetivando⁶6. Assis SG, Deslandes SF, Minayo MCS, Santos MC. Definição de objetivos e construção de indicadores visando à triangulação. In: Minayo MCS, Assis SG, Souza ER, organizadoras. Avaliação por triangulação de métodos - abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005. p. 105-132..

Um bom indicador deve ser claro e conciso, além de possuir as seguintes propriedades: 1) validade: capacidade de traduzir fielmente o fenômeno; 2) confiabilidade: qualidade das informações aferidas por dado indicador; 3) relevância social: pertinência diante da agenda de discussão política e social; 4) sensibilidade: capacidade de refletir mudanças importantes se as condições que afetam a dimensão social referida se alteram; 5) especificidade: capacidade de refletir alterações da dimensão de interesse do estudo; 6) inteligibilidade: transparência quanto à metodologia de construção do indicador; 7) comunicabilidade: grau de entendimento; 8) factibilidade de obtenção: possibilidade de execução, disponibilidade de dados e os custos que demanda; 9) periodicidade: capacidade de ser atualizado periodicamente a custos razoáveis; 10) desagregabilidade: possibilidade de ser amplamente desagregável em termos geográficos, sociodemográficos e socioeconômicos; 11) historicidade: disponibilidade de séries históricas normalizadas sob a mesma forma de medida para possibilitar comparações no tempo; 12) pactuação: fruto de acordos entre quem os utilizará (grupos ou instituições) e as agências que o empregarão para comparações nacionais e internacionais; e, 13) visibilidade: possibilidade de acesso disseminado aos dados, permitindo o controle social das instituições e das políticas públicas²2. Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10(Supl. 1):s229-s333. ^{, 5}5. Minayo MCS. Construção de Indicadores Qualitativos para Avaliação de Mudanças. Rev Bras Educ Med 2009; 33(Supl. 1):83-91. ^{, 7}7. UNAIDS. An Introduction to triangulation. Monitoring and Evaluation Fundamentals Series. [acessado 2013 dez 27] [cerca de 80p.]. Disponível em: http://www.unaids. org/en/media/unaids/contentassets/documents/ document/2010/10_4-Intro-to-triangulation-MEF.pdf
Disponível em: http://www.unaids. ... .

Há consenso de que é muito raro obter um indicador capaz de reunir todos estes atributos³3. Jannuzzi PM. Indicadores Sociais no Brasil. 3ª Edição. Campinas: Editora Alínea; 2006. ^{, 5}5. Minayo MCS. Construção de Indicadores Qualitativos para Avaliação de Mudanças. Rev Bras Educ Med 2009; 33(Supl. 1):83-91.. É preciso ponderar sobre os propósitos, os recursos e quem utilizará o indicador. Entretanto, na prática, a disponibilidade dos dados é condição excludente para o uso de qualquer indicador⁶6. Assis SG, Deslandes SF, Minayo MCS, Santos MC. Definição de objetivos e construção de indicadores visando à triangulação. In: Minayo MCS, Assis SG, Souza ER, organizadoras. Avaliação por triangulação de métodos - abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005. p. 105-132.. A validade do indicador é outra qualidade de destaque, afinal é fundamental saber se o indicador traduz o indicando (o conceito em foco). A confiabilidade dos dados também é apontada como elemento decisório, bem como sua inteligibilidade³3. Jannuzzi PM. Indicadores Sociais no Brasil. 3ª Edição. Campinas: Editora Alínea; 2006..

A análise e o monitoramento de uma situação social ou das formas de intervenção empregadas, usualmente envolvem processos dinâmicos e não lineares, trazendo o desafio de traduzir realidades complexas⁵5. Minayo MCS. Construção de Indicadores Qualitativos para Avaliação de Mudanças. Rev Bras Educ Med 2009; 33(Supl. 1):83-91.. Assim, raramente um único indicador seria suficientemente abrangente e inclusivo para conduzir este processo investigativo.

Um conjunto de indicadores, ou sistema de indicadores, elencados em torno de determinado propósito, tema ou aspecto específico da realidade, busca minimizar as dificuldades que são intrínsecas ao exercício de redução desta realidade aos seus aspectos mais substantivos, significativos e estratégicos. Os índices, ou indicadores compostos, também buscam ultrapassar os limites do emprego isolado de um indicador.

Dessa forma, um sistema de indicadores pode ser mais abrangente por extrair informações diversificadas, apresentando distintos aspectos de uma realidade. Todavia, se utilizados sem o resgate de contextos histórico e social donde emergiram tais dados, sem o confronto da ação dos sujeitos, podem promover o reducionismo de questões complexas e a reificação das medidas e do aparato técnico⁶6. Assis SG, Deslandes SF, Minayo MCS, Santos MC. Definição de objetivos e construção de indicadores visando à triangulação. In: Minayo MCS, Assis SG, Souza ER, organizadoras. Avaliação por triangulação de métodos - abordagem de programas sociais. Rio de Janeiro: Editora Fiocruz; 2005. p. 105-132. .

Há poucos exemplos no que concerne a indicadores e índices já testados e operacionalizados que tratem as situações de violência contra crianças e adolescentes e focalizem a análise de intervenções realizadas para seu enfrentamento. Os índices mais conhecidos (Índice de Vulnerabilidade Juvenil, Índice de Homicídios na Adolescência e Índice de Bem-Estar Juvenil) se dedicam a aferir vivências violentas e as situações de risco e vulnerabilidade a estes agravos. A despeito de constituir um grave problema de saúde pública global⁸8. Kickbusch I, Berger C. Diplomacia da Saúde Global. R Eletr de Com Inf Inov Saúde; 2010; 4(1):19-24. e de estar na agenda dos movimentos globais por saúde⁹9. Sodre F. A agenda global dos movimentos sociais. Cien Saude Colet 2011; 6(3):1781-1791., a violência ainda carece de ferramentas para seu monitoramento social.

Quando se trata de indicadores que visam a análise avaliativa das ações públicas, as opções são mais restritas já que estes geralmente são produzidos para a avaliação de alguma política pública específica. Um exemplo é o conjunto de indicadores para a avaliação do Plano Nacional de Enfrentamento da Violência Sexual contra Crianças e Adolescentes que abrangem 53 indicadores, distribuídos em seis dimensões (análise de situação; mobilização e articulação; defesa e responsabilização; atendimento; protagonismo juvenil e prevenção)¹⁰10. Brasil . Ministério da Justiça (MJ). Secretaria de Estado dos Direitos Humanos. Departamento da Criança e do Adolescente . Plano Nacional de Enfrentamento da Violência Sexual Infanto-Juvenil. Brasília: MJ; 2002..

Neste artigo apresentamos a análise do desempenho metodológico de um sistema composto por 41 indicadores, construídos em 2007, em parceria com o Fundo das Nações Unidas para a Infância (UNICEF) para apoiar o monitoramento e as análises avaliativas da atuação dos governos municipais de centros urbanos no enfrentamento da violência intrafamiliar e exploração sexual de crianças e adolescentes¹¹11. Deslandes SF, Mendes CHF. Quem avalia, atua melhor! Guia para análise avaliativa dos municípios no enfrentamento da violência intrafamiliar e exploração sexual de crianças e adolescentes. [Guia]. Rio de Janeiro, Brasília: Fiocruz, Secretaria de Direitos Humanos; 2011.. Estes indicadores foram elaborados a partir de métodos participativos, envolvendo sucessivas consultas a especialistas de todos o país, tendo por base um conjunto amplo de normativas nacionais vigentes¹²12. Deslandes SF, Mendes CHF, Pires TO, Campos DS. Use of the Nominal Group Technique and the Delphi Method to draw up evaluation indicators for strategies to deal with violence against children and adolescents in Brazil. Rev Bras Saude Mate. Infant 2010; 10(Supl. 1):29-37.. Os indicadores abordam a atuação de diversos setores governamentais, com especial destaque para atuação do setor saúde. No período entre 2009 a 2011, com apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Secretaria Nacional de Direitos Humanos da Presidência da República, este sistema de indicadores foi testado em duas pesquisas realizadas em três municípios do RJ: Rio de Janeiro¹³13. Deslandes SF, Mendes CHF, Lima JS, Campos DS. Teste de indicadores de avaliação do enfrentamento municipal à violência contra crianças e adolescentes: o caso do Rio de Janeiro. [Relatório de pesquisa]. Rio de Janeiro: Fiocruz, 2011., São Gonçalo e Belford Roxo¹⁴14. Deslandes SF, Niskier R, Sento-Sé T, Silva CM, Mendes CH, Lima J, Campos DS, Zamberlan FX, Marceli A, Ferreira ATS, Carvalho SCS. Capacitação da rede municipal de São Gonçalo e Belford Roxo para construção de diagnóstico de enfrentamento das violências contra crianças e adolescentes. Relatório de pesquisa. Rio de Janeiro: Fiocruz; 2011..

Metodologia

O estudo constitui uma revisão crítica, de natureza descritiva-discursiva, alinhada à análise de precisão de instrumentos de produção e compilação de dados de pesquisas avaliativas. A análise de precisão diz respeito ao exame da capacidade técni ca no que concerne à transmissão das informações adequadas sobre as características que expressam o mérito e a relevância do foco de atenção¹⁵15. Letichevsky AC, Vellasco MMBR, Tanscheti R, Souza RC. La Categoría precisión en la meta-evaluación: aspectos prácticos y teóricos en un nuevo enfoque. Ensaio: Aval Pol Públ Educ 2005; 13(47):255-268..

Cada indicador foi analisado pelos critérios de validade, confiabilidade, sensibilidade, comunicabilidade, relevância social e factibilidade de obtenção³3. Jannuzzi PM. Indicadores Sociais no Brasil. 3ª Edição. Campinas: Editora Alínea; 2006..

Os indicadores foram dispostos em cinco eixos, que abrangem iniciativas do campo da promoção e prevenção; da atenção a crianças, adolescentes e suas famílias em situação de violência; do fortalecimento do sistema de garantia de direitos; da notificação e qualidade do registro; e da responsabilização dos autores de violências. Sendo este último de caráter complementar no sistema de indicadores, já que cabe à gestão estadual, mas sendo esperada do gestor municipal a articulação política necessária para a implantação destas ações.

Cada indicador foi analisado individualmente, a partir da comparação dos resultados das pesquisas em três cidades (Rio de Janeiro, Belford Roxo e São Gonçalo). As situações críticas foram exemplificadas e problematizadas a luz dos contextos institucionais locais onde os dados foram produzidos.

As duas pesquisas utilizadas como fonte de dados¹³13. Deslandes SF, Mendes CHF, Lima JS, Campos DS. Teste de indicadores de avaliação do enfrentamento municipal à violência contra crianças e adolescentes: o caso do Rio de Janeiro. [Relatório de pesquisa]. Rio de Janeiro: Fiocruz, 2011. ^{, 14}14. Deslandes SF, Niskier R, Sento-Sé T, Silva CM, Mendes CH, Lima J, Campos DS, Zamberlan FX, Marceli A, Ferreira ATS, Carvalho SCS. Capacitação da rede municipal de São Gonçalo e Belford Roxo para construção de diagnóstico de enfrentamento das violências contra crianças e adolescentes. Relatório de pesquisa. Rio de Janeiro: Fiocruz; 2011. foram aprovadas por Comitê de Ética em Pesquisa.

O critério de factibilidade de obtenção de dados foi decisivo para a eliminação de indicadores. Aqueles que perderam sua atualidade e capacidade discriminatória devido a mudanças de atribuições institucionais definidas pelas políticas públicas também foram eliminados.

Para os indicadores que apresentaram problemas de confiabilidade, comunicabilidade ou validade, mas que mantinham a propriedade de relevância social foram elaboradas propostas de revisão.

Os resultados apresentados constituem o consenso obtido pela triangulação da análise entre dois observadores independentes¹⁶16. Mathison S. Why triangulate?. Educational Research 1988; 17(2):13-17..

O foco da análise privilegiou os indicadores que revelaram problemas de desempenho e aqueles que foram revisados. Aqueles que tiveram bom desempenho foram apenas citados, mas não foram objeto de reflexão. Ao final é apresentado o conjunto de indicadores revisados e de bom desempenho (Quadro 1).

Resultados

Eixo 1: Promoção de relações familiares e comunitárias protetoras e prevenção da violência

Este eixo possui indicadores voltados para dois focos: análise da consolidação de políticas públicas municipais para a prevenção e enfrentamento da violência; e, avaliação da cobertura das iniciativas e do investimento na capacitação de profissionais do setor público, visando à identificação e prevenção da violência intrafamiliar e da exploração sexual infanto-juvenil.

O eixo, composto originalmente por nove indicadores, os quais apresentaram a maior proporção com dificuldades de desempenho (seis - 67%), quer por problemas relacionados à factibilidade de acesso aos dados, quer pela necessidade de clareza em termos de sua redação (comunicabilidade deficiente) ou por terem se mostrado restritos aos propósitos de análise (baixa validade).

O indicador "Existência de Plano Municipal de Prevenção da Violência" teve bom desempenho quanto à disponibilidade e facilidade de acesso aos dados, mas pouca validade. O indicador mostrou-se restrito, já que foi formulado com base na normativa que dispõe sobre a estrutura da Rede Nacional de Prevenção da Violência e Promoção da Saúde e a implantação de Núcleos de Prevenção à Violência em Estados e Municípios, sendo a construção do Plano uma atribuição do Núcleo prevista na Portaria MS/GM Nº 936 de 19/05/04¹⁷17. Brasil. Portaria MS/GM nº 936, de 19 de maio de 2004. Estruturação da Rede Nacional de Prevenção da Violência e Promoção da Saúde e a Implantação e Implementação de Núcleos de Prevenção da Vio lência em Estados e Municípios. Diário Oficial da União 2004; 20 maio..

Ao ser aplicado, verificou-se que nenhuma das cidades dispunha do Plano, apesar de duas delas (Rio de Janeiro e Belford Roxo) terem o Núcleo, o primeiro instaurado e o segundo em fase inicial de implantação. Buscou-se então conhecer se havia nos municípios algum outro voltado para crianças e adolescentes em situação de violência intrafamiliar e/ou abuso e exploração sexual, ampliando-se a perspectiva original.

A análise das realidades locais demonstrou iniciativas para a construção de um plano. No Rio de Janeiro, a Comissão de Enfrentamento da Violência Sexual conduziu a construção de um plano aprovado em 2009 pelo Conselho Municipal de Direitos da Criança e do Adolescente, mas não promulgado. Em Belford Roxo havia o Plano Operativo Local (POL) de Enfrentamento da Violência Sexual Infanto-Juvenil, construído segundo a metodologia do Programa Ações Integradas e Referenciais de Enfrentamento da Violência Sexual contra Crianças e Adolescentes (PAIR), ainda que com foco exclusivo na violência sexual.

Ficou clara a necessidade de ampliar o reconhecimento de iniciativas voltadas a construir, pactuar, publicar e implantar planos voltados para o enfrentamento da violência intrafamiliar e da violência sexual.

Assim, ampliou-se o escopo do indicador: a) de plano específico para a prevenção para um de enfrentamento da violência contra crianças e adolescentes; b) de plano restrito à atuação dos Núcleos do setor Saúde, para qualquer âmbito da ação governamental.

A partir desta argumentação o indicador foi revisado e propõe-se nova redação para Existência de Plano Municipal de Enfrentamento das Violências contra Crianças e Adolescentes.

O indicador "Existência de diagnóstico realizado pelo Núcleo de Prevenção de Acidentes e Violências sobre a situação da violência contra crianças e adolescentes no município", assim como o anterior, estava condicionado à atuação do Núcleo e, mesmo nos dois municípios que possuíam este, não haviam realizado o diagnóstico.

Apesar de boa factibilidade de obtenção aos dados e confiabilidade, o indicador demonstrou baixa validade em traduzir o investimento em produzir diagnósticos estratégicos para o planejamento de ações municipais, entendendo-se a necessidade de ampliar sua abrangência. Revista sua redação sua enunciação passou para Existência de diagnóstico sobre a situação da violência contra crianças e adolescentes.

O indicador "Existência de ações interseto riais governamentais para adoção de modos de viver familiares e comunitários não violentos e promotores de uma cultura de paz" foi pautado pela Política Nacional de Redução de Morbimortalidade por Acidentes e Violências quando postula que "estados e municípios deverão realizar ações sistemáticas de sensibilização para prevenção de acidentes e de violências, adequados à cultura local"¹⁸18. Brasil. Portaria MS/GM nº 737, de 16 de maio de 2001. Política nacional de redução da morbimortalidade por acidentes e violências. Diário Oficial da União 2001; 18 maio.. No entanto, sua aplicação se mostrou crítica quanto à confiabilidade e factibilidade, já que em nenhum dos municípios houve disponibilidade dos dados e para nenhuma das iniciativas mencionadas havia informação exata sobre a sua distribuição geográfica. Em geral, as secretarias municipais não possuíam informações sobre as iniciativas existentes, dado que na perspectiva de descentralização administrativas por distritos e/ou áreas programáticas de planejamento, nem todas as iniciativas locais eram reportadas à instância central.

Além disso, o indicador demonstrou aspectos relativos à comunicabilidade, pois havia falta de clareza de termos como a "adoção de modos de viver familiares e comunitários não violentos e promotores de uma cultura de paz", que recebeu diversas interpretações. Sendo assim, este indicador foi reprovado na análise.

Sobre o indicador "Percentual de escolas públicas municipais com ações de prevenção à exploração sexual", um município (Belford Roxo) informou que estava em curso a sensibilização de todas as unidades de ensino por intermédio do PAIR, mas não havia comprovantes sobre as informações. Nos outros dois municípios não foi possível caracterizar se as atividades informadas abrangiam realmente ações de prevenção à exploração sexual.

A análise dos argumentos dos interlocutores institucionais mostrou a necessidade de ampliar sua sensibilidade, permitindo detectar quaisquer iniciativas de prevenção à violência sexual. Sendo assim, o indicador apresentou problemas de confiabilidade e sensibilidade.

Considerando o papel estratégico deste indicador e sua alta relevância social, propõe-se sua reformulação para Percentual de escolas públicas municipais com programas ou projetos propostos pela gestão municipal que trabalhem a prevenção da violência sexual.

Esta nova redação fixa o foco na gestão central e não em ações difusas, permitindo potencialmente maior factibilidade de obtenção dos dados e confiabilidade. Amplia ainda a redação para o conceito de violência sexual, incluindo abuso sexual.

O indicador "Percentual de profissionais da rede municipal de Educação capacitados para a prevenção da violência intrafamiliar contra crian ças e adolescentes e promoção de ambientes protetores" visa avaliar a cobertura e o investimento na capacitação de profissionais deste setor.

Apesar de ter havido investimentos neste sentido, as secretarias municipais não sabiam informar quantos profissionais foram efetivamente capacitados, tampouco sabiam indicar as iniciativas de gestão junto aos territórios. Apresentou ainda problemas ligados à questão de compreensão do conceito de "promoção de ambientes protetores".

A adoção de estratégias de formação, que envolvem agentes multiplicadores, também acabou por dificultar uma aferição objetiva da administração central pela falta de critérios de acompanhamento.

Sendo assim, este indicador mostrou-se pouco viável para ser aplicado em estudos futuros e foi retirado do sistema.

O indicador "Percentual de profissionais dos Centros de Referência de Assistência Social (CRAS) capacitados para identificar famílias em situação de vulnerabilidade e risco de violência intrafamiliar" foca as iniciativas formativas dos profissionais do campo da Assistência Social, dado seu papel na atuação diante da violência¹⁹19. Brasil. Ministério do Desenvolvimento Social e Combate à Fome (MDS). Norma Operacional Básica de Recursos Humanos do SUAS - NOB-RH/SUAS. Ministério do Desenvolvimento Social e Combate à Fome. Secretaria de Assistência Social. Conselho Nacional de Assistência Social. Resolução CNAS no 01, 2007; 25 jan.. Retrata ainda orientação de identificação de vulnerabilidades familiares segundo preconiza o Plano Nacional de Promoção, Proteção e Defesa do Direito de Crianças e Adolescentes à Convivência Familiar e Comunitária²⁰20. Brasil . Ministério do Desenvolvimento Social e Combate à Fome. Secretaria Especial dos Direitos Humanos . Plano Nacional de Promoção, Proteção e Defesa do Direito de Crianças e Adolescentes à Convivência Fami liar e Comunitária. Brasília: MDS, SEDH; 2006..

Nos três municípios este indicador mostrou-se de difícil aplicação pela falta de dados necessários ao seu cálculo. Mesmo nos casos em que havia relatos de iniciativas existentes, o registro não era sistematizado. Assim, não foi possível a aplicação do indicador e ele foi retirado do sistema de indicadores.

Eixo 2. Atenção a crianças e adolescentes em situação de violência intrafamiliar e exploração sexual e aos seus familiares

Neste eixo, o principal parâmetro avaliativo foi a oferta de cuidados adequados e suficientes a crianças, adolescentes e os seus familiares, com prioridade para as políticas de Saúde e Assistência Social que abordam a atenção numa perspectiva integral. Seus 14 indicadores tratam da organização da rede de atendimento para a efetiva oferta de cuidados e analisam a qualificação e a capacitação de profissionais para o atendimento.

Este, que é o maior dentre os cinco eixos, apresentou cinco indicadores com aspectos críticos na sua aplicação ou precisando ser revistos. Os problemas se referem em especial à falta de sistematização das informações institucionais e de uma insipiente cultura de valorização da memória dos processos de trabalho.

Sobre o indicador "Existência de unidade de programa de acolhimento institucional para crianças e adolescentes em situação de exploração sexual que se encontram sem referência familiar e/ou em situação de ameaça" nenhum dos municípios estudados possuía unidade específica para crianças e adolescentes nessa situação de violação de direitos. Nestes casos elas seriam encaminhadas às unidades de acolhimento institucional da rede. Desta forma, verificou-se que a validade do indicador em aferir as ofertas de abrigamento especializadas apresentava limitações.

Entendendo que é fundamental que se garanta o acesso ao acolhimento institucional, considerando os agravantes de falta de referência familiar e/ou situação de ameaça, propõe-se a revisão do indicador para Existência de unidade de acolhimento institucional que receba crianças e adolescentes em situação de exploração sexual que se encontram sem referência familiar e/ou em situação de ameaça.

O indicador "Percentual de unidades do Sistema Único de Saúde (SUS) que realizam atendimento a crianças e adolescentes em situação de violência intrafamiliar" não apresentou problemas quanto à factibilidade de obtenção de dados. Todavia, mostrou-se com nulo poder de discriminar diferenças entre municípios, já que nas três cidades foi argumentado que, por orientação do Ministério da Saúde, todos os estabelecimentos de saúde devem prestar atendimento a crianças e adolescentes nesta situação, não valendo a lógica de unidades de referência. Desta forma o indicador foi retirado.

Quanto ao indicador "Percentual de bairros e comunidades atendidos pelos Centros de Referência Especializados de Assistência Social (CREAS) que realizam atendimento diferenciado a criança e adolescente em situação de abuso e exploração sexual", em 2009, as atribuições dos serviços do Sistema Único da Assistência Social (SUAS) foram revistas a partir da Tipificação Nacional de Serviços Socioassistenciais²¹21. Brasil . Ministério do Desenvolvimento Social e Combate à Fome(MDS) . Orientação técnicas: Serviços de Acolhimento para crianças e adolescentes. Brasília: Ministério do Desenvolvimento Social e Combate à Fome; 2009.. Segundo esta orientação, os serviços especializados de atendimento às pessoas em situação de violência sexual foram substituídos pelas ações do Serviço de Proteção e Atendimento Especializado às Famílias e aos Indivíduos, que compõem um dos Serviços de Proteção Social Especial de Média Complexidade, que deve atender pessoas em qualquer situação de violação de direitos. Assim, o indicador perdeu sua validade e poder discriminatório, sendo eliminado.

O indicador "Percentual de Centros de Referência Especializado de Assistência Social (CREAS) que realizam atendimento ao familiar autor de violência intrafamiliar contra criança e adolescente" também perdeu sua capacidade discricionária pelo mesmo motivo do anterior, pois não cabe mais ao serviço específico do SUAS a atribuição de atendimento do familiar autor. Sendo assim, foi retirado do sistema de indicadores.

Sobre o "Percentual de profissionais que atuam em serviços de referência do Sistema Único de Saúde (SUS) para o atendimento a crianças e adolescentes em situação de violência intrafamiliar e abuso sexual capacitados para identificação, atenção, acompanhamento e encaminhamento adequado das vítimas e seus familiares", a falta de registro acerca das capacitações realizadas para os profissionais da rede foi uma constante nos três municípios, não só no setor Saúde, mas também na Assistência Social e na Educação. Sabe-se que diversas atividades formativas foram empreendidas, todavia sem registro adequado quanto aos participantes, o que inviabilizou o cálculo do indicador.

À medida que as iniciativas de descentralização ocorrem, com atividades de formação sendo planejadas e executadas pelas próprias unidades das redes de Saúde, Assistência Social e Educação, maior o desconhecimento da gestão central sobre as necessidades de ofertas formativas, o que gera problema de factibilidade de obtenção de dados. Portanto, este também foi retirado.

Eixo 3. Garantia dos direitos das crianças e adolescentes em situação de violência intrafamiliar e exploração sexual

A legislação brasileira estabelece, sob a perspectiva dos direitos humanos e da proteção integral, um conjunto de garantias para crianças e adolescentes. Para o cumprimento é preciso de meios para implantação integrada do Sistema de Garantia de Direitos de Crianças e Adolescentes (SGD) em cada município.

Os indicadores do eixo 3 avaliam as ações governamentais municipais de fortalecimento do SGD para atuar em situações de violência intrafamiliar e exploração sexual. Eles retratam o investimento municipal na consolidação de políticas públicas e subsidiam a avaliação das condições ofertadas pelo poder público municipal para criação e funcionamento de Conselhos Tutelares a partir de parâmetros do Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA)²²22. Brasil . Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA) . Resolução nº 75. Parâmetros para Criação e Funcionamento dos Conselhos Tutelares. Brasília: CONANDA; 2001..

Este eixo apresentou um indicador com problema relacionado à confiabilidade dos dados e outro revisto, visando melhorar sua comunicabilidade. Além disso, um dos indicadores teve sua fórmula de cálculo atualizada de acordo com a legislação vigente.

O ponto crítico do indicador "Percentual de conselheiros tutelares capacitados para atuarem em situações de violência intrafamiliar e exploração sexual" foi a baixa confiabilidade, já que a informação acerca da capacitação de conselheiros foi controversa entre os próprios informantes e carecia de comprovação que qualificasse os dados. Na aplicação deste indicador também se refletiu a falta de cuidado com os registros institucionais e o acompanhamento do trabalho junto aos Conselhos Tutelares. Confirmou-se nos municípios que a capacitação dos conselheiros estava muitas das vezes vinculada à iniciativa e aos recursos destes.

Dada sua inequívoca relevância, deslocou-se o foco do indicador de indivíduos capacitados para a realização regular de atividade formativa pelo gestor municipal. Sendo assim, propõe a revisão do indicador para Realização pela gestão municipal de capacitação para conselheiros tutelares, a cada novo mandato, voltada para o atendimento de crianças e adolescentes em situação violência intrafamiliar e violência sexual.

Visando melhorar a comunicabilidade do indicador "Existência de política municipal articulada a outras esferas de governo para o enfrentamento da exploração sexual, considerando prevenção, atendimento, reinserção familiar e repressão" sua redação foi simplificada para Existência de política municipal para o enfrentamento da exploração sexual.

O indicador "Taxa de Conselhos Tutelares por habitantes do município" teve sua fórmula de cálculo atualizada em função da mudança de parâmetro apresentada pelo CONANDA que mudou a relação de nº de Conselhos Tutelares por habitantes de 200 mil para 100 mil²³23. Brasil . Conselho Nacional dos Direitos da Criança e do Adolescente (CONANDA) . Resolução nº 139. Estabelece parâmetros para criação e funcionamento dos Conselhos dos Tutelares. Brasília: CONANDA; 2011..

Eixo 4. Qualificação do registro e notificação de violência intrafamiliar e exploração sexual de crianças e adolescentes

Os seis indicadores do Eixo 4 auxiliam a análise do investimento municipal no apoio e no provimento de recursos para Conselhos Tutelares e secretarias municipais de Saúde, Educação e Assistência Social para produção, qualificação e análise de informações sobre violência intrafamiliar e exploração sexual de crianças e adolescentes.

Não se verificou neste conjunto de indicadores quaisquer problemas a respeito da comunicabilidade. Quanto à factibilidade de obtenção dos dados, apresentou dificuldades em apenas um dos indicadores, "Percentual de notificações/comunicações de violência intrafamiliar e exploração sexual aos Conselhos Tutelares, segundo origem governamental (Saúde, Educação e Assistência Social)".

Os Conselhos Tutelares não possuíam sistematização do registro dos atendimentos e/ou casos investigados e/ou acompanhados. Apesar de haver a informação, esta se encontrava em estado bruto, sem qualquer sistematização, isto é, indisponível, a não ser que fosse realizada pesquisa em cada prontuário.

Além da ausência de dados dos Conselhos Tutelares, as secretarias municipais também não dispunham de informações sobre as comunicações e/ou notificações no que se refere ao efetivo encaminhamento aos Conselhos Tutelares.

Os indicadores do eixo 5, Responsabilização dos autores de violência intrafamiliar e exploração sexual contra crianças e adolescentes, não apresentaram qualquer dificuldade em sua aplicação.

Todos os indicadores que não apresentaram problemas de desempenho segundo os critérios analíticos adotados e os que foram reformulados estão listados no Quadro 1.

Discussão

A principal dificuldade na aplicação do sistema de indicadores demonstrou ser a falta de dados para seu cálculo e para a comprovação (factibilidade), assim como a pouca qualidade dos registros institucionais (confiabilidade).

Considerando-se que a informação é matéria prima para o conhecimento e insumo essencial para a tomada de decisão da gestão²⁴24. Monteiro NA, Falsarella OM. Um modelo de gestão da informação para aprendizagem organizacio nal em projetos empresariais. Perspect ciênc inf 2007; 12(2):81-97., chama atenção a falta de uma cultura institucional de valorização dos registros e da memória relacionada aos processos de trabalho das secretarias municipais de Saúde, Assistência Social e Educação. A precariedade da informação sobre as ações de capacitação oferecidas e realizadas para os profissionais das redes locais teve especial destaque.

A necessidade de capacitação profissional para identificar, notificar e acompanhar crianças e adolescentes em situações de violência é largamente reconhecida, quer pelas políticas setoriais¹⁸18. Brasil. Portaria MS/GM nº 737, de 16 de maio de 2001. Política nacional de redução da morbimortalidade por acidentes e violências. Diário Oficial da União 2001; 18 maio. ^{, 19}19. Brasil. Ministério do Desenvolvimento Social e Combate à Fome (MDS). Norma Operacional Básica de Recursos Humanos do SUAS - NOB-RH/SUAS. Ministério do Desenvolvimento Social e Combate à Fome. Secretaria de Assistência Social. Conselho Nacional de Assistência Social. Resolução CNAS no 01, 2007; 25 jan. ^{, 25}25. Brasil. Portaria MS/GM nº 687, de 30 de março de 2006. Aprova a Política Nacional de Promoção da Saúde. Diário Oficial da União 2006; 31 mar.

26. Brasil. Decreto no 5.948, de 26 outubro de 2006. Aprova a Política Nacional de Enfrentamento ao Tráfico de Pessoas e institui Grupo de Trabalho Interministerial com o objetivo de elaborar proposta do Plano Nacional de Enfrentamento ao Tráfico de Pessoas - PNETP. Diário Oficial da União 2006; 27 out. ^{- 27}27. Brasil . Ministério da Saúde (MS) . Prevenção e tratamento dos agravos resultantes da violência sexual contra mulheres e adolescentes: norma técnica. Brasília: MS; 2011., quer por pesquisas que consultam os próprios profissionais da rede pública²⁸28. Almeida SFC, Santos MCAB dos, Rossi TMF. Representações sociais de professores do ensino fundamental sobre violência intrafamiliar. Psic Teor e Pesq 2006; 22(3):277-286. ^{, 29}29. Vieira EM, Perdona GCS, Almeida AM, Nakano AMS, Santos MA, Daltoso D, Ferrante FG. Conhecimento e atitudes dos profissionais de saúde em relação à violência de gênero. Rev Bras Epidemiol 2009; 12(4):566-577.. Os estudos nos três municípios indicaram a existência de ações, todavia a falta de sistematização das informações sobre a periodicidade de oferta e a capacidade de cobertura inviabilizou a análise da magnitude do que foi realizado e dos investimentos ainda necessários.

A retirada dos indicadores sobre capacitação profissional em função da lacuna de dados atinge um eixo transversal do sistema de indicadores discutido neste texto e sugere um impacto sobre esta temática, uma vez que os indicadores revelam o investimento realizado ou não pelo gestor sobre o capital humano. Sua ausência pode repercutir na falta de indicadores indutores destas ações.

Alguns indicadores também se mostraram pouco sensíveis, por focar uma forma específica de violência, ou mesmo pela vinculação setorial ou institucional explícita em sua redação. Ampliar a abrangência das ações realizadas mostra-se como alternativa mais inclusiva e forma mais efetiva de captar as iniciativas da gestão municipal para o enfrentamento da violência. Permite ainda alinhar indicadores às dimensões de ação viáveis num mandato de gestão, o que é desejável para o propósito de análise da atuação governamental³⁰30. Torres HG, Ferreira MP, Dini NP. Indicadores so ciais: por que construir novos indicadores como o IPRS. São Paulo Perspec 2003; 17(3-4):80-90..

A mudança de legislação e de orientações para a organização de serviços da rede levou à eliminação ou revisão alguns indicadores. Isto corrobora a necessidade de análise periódica de indicadores dada a natureza dinâmica da realidade social⁷7. UNAIDS. An Introduction to triangulation. Monitoring and Evaluation Fundamentals Series. [acessado 2013 dez 27] [cerca de 80p.]. Disponível em: http://www.unaids. org/en/media/unaids/contentassets/documents/ document/2010/10_4-Intro-to-triangulation-MEF.pdf
Disponível em: http://www.unaids. ... . Afinal, os indicadores são ferramentas de análise, constructos analíticos que precisam ser atualizados para manter sua acurácia e validade⁴4. Niremberg O, Brawerman J, Ruiz V. Evaluar para la transformación. Buenos Aires: Paidós; 2005. ^{, 5}5. Minayo MCS. Construção de Indicadores Qualitativos para Avaliação de Mudanças. Rev Bras Educ Med 2009; 33(Supl. 1):83-91..

Por fim, defendemos que o aperfeiçoamento de um sistema de indicadores sobre a atuação governamental municipal para o enfrentamento das violências interfamiliares e exploração sexual de crianças e adolescentes, pactuado a partir de consenso entre operadores do SGD, testado e operacionalizado em pesquisas empíricas, tem significativa relevância e papel estratégico para: a) apoiar gestores no monitoramento de suas ações; b) subsidiar o controle social por parte dos diversos atores; c) apoiar pesquisas sobre o tema; d) permitir análises comparativas entre distintas realidades regionais.

Referências

Datas de Publicação

Histórico