Inovação, qualidade e quantidade: escolha dois

Cláudia Medina Coeli Marilia Sá Carvalho Luciana Dias de Lima

Inovação, qualidade e quantidade são atributos importantes na avaliação da produção científica de pesquisadores, grupos de pesquisa e programas de pós-graduação. Alcançar excelência simultaneamente nas três dimensões é impraticável. Uma produção científica inovadora e de qualidade não será volumosa, uma vez que novas ideias demandam tempo para serem adequadamente testadas. Por outro lado, é possível manter uma produção volumosa e de qualidade por meio da aplicação repetida de protocolos padronizados, mas ela não será inovadora, uma vez que protocolos rígidos são adequados apenas a poucos tipos de perguntas de investigação. Por fim, testar muitas hipóteses inovadoras em curto espaço de tempo inviabiliza a execução de pesquisas com o rigor metodológico necessário, e, em alguns casos extremos, estimula a adoção de práticas indesejadas como a fraude e a fabricação de dados.

Os processos de avaliação que priorizam a publicação de grandes volumes de artigos em revistas de elevado fator de impacto têm induzido pesquisadores a escolherem os trinômios alto volume/alta inovação/baixa qualidade, e alto volume/alta qualidade/baixa inovação. Em Micromotives and Macrobehavior11. Schelling TC. Micromotives and macrobehavior. Revised edition. New York: W. W. Norton & Company; 2006., Schelling defende a tese de que indivíduos adotam comportamentos para atingir objetivos pessoais de acordo com as suas preferências e, adicionalmente, que estes comportamentos e preferências são influenciados pelos comportamentos e preferências dos outros indivíduos. Para o autor, o sucesso de um indivíduo em se adaptar ao seu ambiente social não garante que o ambiente social criado seja satisfatório para si e para os demais indivíduos que coletivamente o construíram. Anderson et al. 22. Anderson MS, Martinson BC, De Vries R. Normative dissonance in science: results from a national survey of U.S. scientists. J Empir Res Hum Res Ethics 2007; 2:3-14. identificaram, em um inquérito realizado com pesquisadores americanos, uma dissonância entre a crença do que seria um comportamento ideal a ser adotado pelos pesquisadores e a percepção de como os outros pesquisadores de fato se comportam. Para os autores, essa dissonância é prejudicial, pois gera desgaste e alienação, além de favorecer a adoção de comportamentos que fogem ao padrão idealizado.

A insatisfação com o sistema atual de avaliação da produção científica, e suas consequências indesejadas, tem sido explicitada por meio de uma série de manifestos como a The San Francisco Declaration on Research Assessment (DORA) (http://am.ascb.org/do ra/), o The Leiden Manifesto for Research Metrics (http://www.leidenmanifesto.org/), e a The Lancet REWARD (REduce research Waste And Reward Diligence) (http://www.thelan cet.com/campaigns/efficiency). Em todas as iniciativas apontadas, uma série de ações são propostas, visando a modificar a forma como a avaliação da produção científica deve ser conduzida. Na área de Saúde Coletiva no Brasil, o debate sobre a necessidade de se adotar novos modelos de avaliação de pesquisadores e programas de pós-graduação vem ganhando destaque no contexto recente. CSP tem buscado contribuir com esse debate a partir da publicação de editoriais e artigos sobre o tema.

Em uma série de artigos publicados no Lancet ligados a REWARD, estimou-se que 85% dos recursos aplicados em pesquisa podem ser considerados desperdício 33. Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, et al. How to increase value and reduce waste when research priorities are set. Lancet 2014; 383:156-65., em função de estudos mal desenvolvidos, desde a etapa de desenho até a análise dos dados 44. Ioannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet 2014; 383:166-75.. Revisões sistemáticas, que deveriam sintetizar as evidências, com frequência não cumprem este papel adequadamente porque fazem a síntese de pesquisas de baixa qualidade 55. Roberts I, Ker K. How systematic reviews cause research waste. Lancet 2015; 386:1536.. Por fim, a qualidade do texto submetido à publicação também é motivo de preocupação 66. Carvalho MS, Travassos C, Coeli CM. Um bom texto. Cad Saúde Pública 2013; 29:1701-3..

Em 2015, ultrapassamos a marca de mais de dois mil artigos submetidos a CSP. Como editoras, nos sentimos honradas em receber tantas submissões. Entretanto, nos causa preocupação o fato de recusarmos, sem encaminhar para revisão por pares, cerca de 70% dos artigos submetidos. Baixa relevância, pouca originalidade e inadequação metodológica constituem os principais motivos dessa recusa inicial. Em parte dos casos, recursos aplicados com o financiamento de pesquisa podem estar sendo desperdiçados. Os custos envolvidos na publicação representam apenas uma fração dos recursos destinados ao financiamento de pesquisas. Em CSP, preservamos a gratuidade da publicação para autores, mas todo artigo processado, seja ele aceito ou recusado, tem um custo e um gasto público associados. A adoção de critérios estritos para a publicação de artigos em CSP visa a não somente manter a qualidade dos conteúdos publicados, mas também evitar o desperdício de recursos nos processos de revisão por pares, editoração e publicação.

O problema do desperdício na produção científica deve ser encarado não com cortes lineares de orçamento, mas com a adoção de critérios adequados para a avaliação de pesquisadores, projetos e produtos científicos. Entretanto, evitar o desperdício também passa pelas escolhas que, como pesquisadores e autores, fazemos.

Cláudia Medina Coeli
Marilia Sá Carvalho
Luciana Dias de Lima
Editoras

  • 1
    Schelling TC. Micromotives and macrobehavior. Revised edition. New York: W. W. Norton & Company; 2006.
  • 2
    Anderson MS, Martinson BC, De Vries R. Normative dissonance in science: results from a national survey of U.S. scientists. J Empir Res Hum Res Ethics 2007; 2:3-14.
  • 3
    Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, et al. How to increase value and reduce waste when research priorities are set. Lancet 2014; 383:156-65.
  • 4
    Ioannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, et al. Increasing value and reducing waste in research design, conduct, and analysis. Lancet 2014; 383:166-75.
  • 5
    Roberts I, Ker K. How systematic reviews cause research waste. Lancet 2015; 386:1536.
  • 6
    Carvalho MS, Travassos C, Coeli CM. Um bom texto. Cad Saúde Pública 2013; 29:1701-3.

Datas de Publicação

  • Publicação nesta coleção
    16 Fev 2016
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br