Salud y Fármacos is an international non-profit organization that promotes access and the appropriate use of pharmaceuticals among the Spanish-speaking population.

Novidades sobre a Covid

As primeiras pesquisas sobre a COVID-19 estão cheias de métodos ruins e resultados de baixa qualidade – um problema para a ciência que a pandemia piorou, mas não criou

(Early COVID-19 research is riddled with poor methods and low-quality results − a problem for science the pandemic worsened but didn’t create)
Dennis M. Gorman
The Conversation, 23 de fevereiro de 2024
https://theconversation.com/early-covid-19-research-is-riddled-with-poor-methods-and-low-quality-results-a-problem-for-science-the-pandemic-worsened-but-didnt-create-220635
Traduzido por Salud y Fármacos, publicado em Boletim Fármacos: Ensaios Clínicos 2024; 2 (3)

Tags: medicina baseada em evidências, integridade da ciência, validade científica na saúde, qualidade de periódicos médicos, escrutínio de artigos científicos, pesquisar no meio de uma pandemia, avaliar a eficácia de medicamentos, avaliar a segurança de medicamentos, pandemia covid, resposta à pandemia covid

No início da pandemia de COVID-19, os pesquisadores inundaram os periódicos com estudos sobre o então novo coronavírus. Muitas publicações simplificaram o processo de revisão por pares para os artigos sobre a COVID-19, mantendo as taxas de aceitação relativamente altas. O suposto era que quem fazia as políticas e o público seriam capazes de identificar pesquisas válidas e úteis entre um volume muito grande de informações rapidamente disseminadas.

Porém, na minha revisão de 74 artigos sobre a COVID-19 publicados em 2020 nos 15 principais periódicos generalistas de saúde pública listados no Google Scholar, verifiquei que muitos destes estudos utilizaram métodos de qualidade ruim. Várias outras revisões de estudos publicados em periódicos médicos também mostraram que boa parte da pesquisa inicial sobre a COVID-19 utilizou métodos de pesquisa de baixa qualidade.

Alguns destes artigos foram citados muitas vezes. Por exemplo, a publicação de saúde pública mais citada listada no Google Scholar utilizou dados de uma amostra de 1,120 pessoas, principalmente jovens mulheres com um bom nível de educação, recrutadas majoritariamente nas redes sociais durante três dias. Descobertas baseadas numa amostra de conveniência pequena e auto-selecionada não podem ser generalizadas a uma população maior. Uma vez que os pesquisadores efetuaram mais de 500 análises dos dados, muitos dos resultados estatisticamente significativos são, provavelmente, por acaso. Porém, este estudo foi citado mais de 11.000 vezes.

Um artigo muito citado significa que muitas pessoas o mencionaram em seus próprios trabalhos. Mas um número grande de citações não está diretamente relacionado com a qualidade da pesquisa, já que os pesquisadores e os periódicos podem manipular essas métricas. Um número grande de citações de pesquisas de qualidade ruim aumenta a possibilidade de estarem sendo utilizadas evidências inadequadas para informar as políticas, o que piora ainda mais a confiança do público na ciência.

A Metodologia importa

Sou um pesquisador na área de saúde pública com um interesse de longa data na qualidade e integridade das pesquisas. Este interesse reside na minha crença de que a ciência tem ajudado a resolver importantes problemas sociais e de saúde pública. Diferentemente do movimento anti-ciência que espalha desinformação sobre medidas de saúde pública bem-sucedidas como as vacinas, acredito que a crítica racional é fundamental para a ciência.

A qualidade e a integridade da pesquisa dependem consideravelmente de seus métodos. Cada tipo de estudo desenhado deve possuir determinadas características para fornecer informações válidas e úteis.

Por exemplo, os pesquisadores sabem há décadas que, para estudos que avaliam a eficácia de uma intervenção, um grupo de controle é necessário para saber se os efeitos observados podem ser atribuídos à intervenção.

As revisões sistemáticas que agrupam dados de estudos existentes devem descrever a forma como os pesquisadores identificaram quais estudos iam incluir, como avaliaram a sua qualidade, como extraíram os dados e como pré-registaram os seus protocolos. Estas características são necessárias para assegurar que a revisão abrangerá todas as evidências disponíveis e indicar ao leitor quais dos estudos merecem atenção e quais não.

Certos tipos de estudos, tais como formulários únicos de amostras de conveniência que não são representativas da população alvo, recolhem e analisam os dados de uma forma que não permite aos pesquisadores determinarem se uma variável causou um determinado resultado.

Todos os desenhos de estudo têm normas que os pesquisadores podem consultar. Mas o cumprimento de normas torna a pesquisa mais lenta. Ter um grupo de controle duplica a quantidade de dados que precisam ser coletados, e identificar e revisar minuciosamente todos os estudos sobre um determinado tópico demora mais tempo do que analisar superficialmente alguns. As amostras representativas são mais difíceis de gerar do que as amostras por conveniência, coletar dados em dois momentos é mais trabalhoso do que coletar todos ao mesmo tempo.

Estudos comparando artigos sobre a COVID-19 com artigos não relacionados com a COVID-19 publicados nos mesmos periódicos concluíram que os artigos sobre a COVID-19 tendiam a ter métodos de qualidade inferior e eram menos prováveis de aderir às normas de relatório do que os artigos não relacionados com a COVID-19. Os artigos sobre a COVID-19 raramente tinham hipóteses e planos pré-determinados sobre a forma como iriam comunicar os seus resultados ou analisar os dados. Isto significava que não havia garantias contra a manipulação dos dados para encontrar resultados “estatisticamente significativos” que pudessem ser reportados seletivamente.

Estes problemas metodológicos foram provavelmente negligenciados no processo de revisão por pares consideravelmente encurtado dos artigos sobre a COVID-19. Um estudo estimou que o tempo médio entre o envio e a aprovação de 686 artigos sobre a COVID-19 foi de 13 dias, em comparação com 110 dias em 539 artigos pré-pandêmicos dos mesmos periódicos. Em meu estudo, descobri que dois periódicos online que publicaram um volume muito elevado de artigos fracos metodologicamente sobre a COVID-19 tiveram um processo de revisão por pares de cerca de três semanas.

Cultura do publicar ou perecer

Estes problemas de controle de qualidade já estavam presentes antes da pandemia de COVID-19. A pandemia simplesmente os levou ao extremo.

Os periódicos tendem a favorecer resultados positivos e “novos”, ou seja, resultados que mostram uma conexão estatística entre variáveis que supostamente identificam algo anteriormente desconhecido. Como a pandemia foi, em muitos aspectos, uma novidade, proporcionou a alguns pesquisadores a oportunidade de fazer afirmações ousadas sobre como a COVID-19 se espalharia, quais seriam os seus efeitos na saúde mental, como poderia ser prevenida e como poderia ser tratada.

Muitos pesquisadores sentem-se pressionados a publicar artigos para que avancem em suas carreiras. Os acadêmicos trabalham num sistema de incentivos de “publicar ou perecer” há décadas em que o número de artigos que publicam faz parte das métricas utilizadas para avaliar o emprego, a promoção e a permanência. A inundação de informações de qualidade mista sobre a COVID-19 deu a oportunidade de aumentar a quantidade de publicações e impulsionar as métricas de citação, uma vez que os periódicos buscavam e revisavam rapidamente os artigos sobre a COVID-19, que tinham mais chances de serem citados do que os artigos não relacionados à COVID.

As publicações online também contribuíram para a deterioração da qualidade das pesquisas. A publicação acadêmica tradicional era limitada na quantidade de artigos que podia gerar, porque os periódicos eram embalados e impressos num documento físico, normalmente produzido apenas uma vez por mês. Em contrapartida, alguns dos mega-periódicos publicam milhares de artigos por mês. Estudos de baixa qualidade rejeitados por periódicos conhecidos podem ainda encontrar um meio disposto a publicar mediante o pagamento de uma taxa.

Crítica Saudável

Criticar a qualidade das pesquisas publicadas é muito arriscado. Pode ser mal interpretado como uma forma de jogar gasolina na fogueira da anticiência. A minha resposta é que uma abordagem crítica e racional da produção de conhecimento é de fato, fundamental para a prática da ciência e também o funcionamento de uma sociedade aberta e capaz de resolver problemas complexos como uma pandemia mundial.

A publicação de um grande volume de desinformação disfarçada de ciência durante uma pandemia obscurece o conhecimento verdadeiro e útil. Na pior das hipóteses, isto pode levar a más práticas e políticas de saúde pública.

A ciência feita corretamente produz informação que permite aos pesquisadores e os decisores políticos compreenderem melhor o mundo e testarem ideias sobre como o melhorar. Isto envolve examinar criteriosamente a qualidade dos desenhos de um estudo, os métodos estatísticos, a reprodutibilidade e a transparência, e não o número de vezes que foi citado ou mencionado no twitter.

A ciência depende de uma abordagem lenta, cuidadosa e meticulosa da coleta, análise e apresentação de dados, especialmente se pretende fornecer informações para a adoção de políticas de saúde pública eficazes. Do mesmo modo, é improvável que se proceda a uma revisão cuidadosa e meticulosa por parte dos pares com artigos que aparecem impressos apenas três semanas depois de terem sido enviados para revisão. As disciplinas que recompensam a quantidade de pesquisa em detrimento da qualidade também têm menos probabilidade de proteger a integridade científica durante crises.

A ciência rigorosa requer cuidado e atenção, não pressa. A saúde pública se baseia em grande parte em disciplinas que estão passando por crises de replicação, como a psicologia, a ciência biomédica e a biologia. É semelhante a estas disciplinas em termos da sua estrutura de incentivos, dos desenhos dos estudos e dos métodos analíticos, também da sua desatenção a métodos transparentes e à replicação. Grande parte da pesquisa sobre a COVID-19 na saúde pública mostra que sofre de semelhantes métodos de qualidade ruim.

Reexaminar a forma como a disciplina recompensa os seus acadêmicos e avalia os seus estudos pode ajudar ela a se preparar melhor para a próxima crise de saúde pública.

Referências

  1. Else, H. How a torrent of COVID science changed research publishing — in seven charts. Nature. 2020; 588(7839), 553. https://doi.org/10.1038/d41586-020-03564-y
  2. Gorman, D. M. COVID-19 publications in top-ranked public health journals during the first phase of the pandemic. Quantitative Science Studies. May 01, 2023. 4(2), 535–546. https://doi.org/10.1162/qss_a_00257
  3. Raynaud, M., Zhang, H., Louis, K., et al. COVID-19-related medical research: a meta-research and critical appraisal. BMC Medical Research Methodology. January 04, 2021. 21(1). https://doi.org/10.1186/s12874-020-01190-w
  4. Jung, R. G., Di Santo, P., Clifford, C., Prosperi-Porta, G., Skanes, S., Hung, A., Parlow, S., Visintini, S., Ramirez, F. D., Simard, T., & Hibbert, B. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021. 12(1). https://doi.org/10.1038/s41467-021-21220-5
  5. Zdravkovic, M., Berger-Estilita, J., Zdravkovic, B., & Berger, D. Scientific quality of COVID-19 and SARS CoV-2 publications in the highest impact medical journals during the early phase of the pandemic: A case control study. PloS One. November 5, 2020; 15(11), e0241826. https://doi.org/10.1371/journal.pone.0241826
  6. Wang, C., Pan, R., Wan, X., et al. Immediate Psychological Responses and Associated Factors during the Initial Stage of the 2019 Coronavirus Disease (COVID-19) Epidemic among the General Population in China. International Journal of Environmental Research and Public Health. March 06, 2020; 17(5), 1729. https://doi.org/10.3390/ijerph17051729
  7. International Journal of Environmental Research and Public Health – Google Scholar Metrics. (n.d.). https://scholar.google.com/citations?hl=en&vq=med_publichealth&view_op=list_hcore&venue=kEa56xlDDN8J.2023
  8. Edwards, M. A., & Roy, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science. January 01, 2017; 34(1), 51–61. https://doi.org/10.1089/ees.2016.0223
  9. Dennis M. Gorman. (n.d.). https://scholar.google.com/citations?user=X1o1PaQAAAAJ&hl=en
  10. Apetrei, C. Misinformation is a common thread between the COVID-19 and HIV/AIDS pandemics – with deadly consequences. The Conversation. August 24, 2022. https://theconversation.com/misinformation-is-a-common-thread-between-the-covid-19-and-hiv-aids-pandemics-with-deadly-consequences-187968
  11. Campbell, D. T., & Stanley, J. C. Experimental and Quasi-Experiment Al Designs for Research. Simon Fraser University. (n.d.). https://www.sfu.ca/~palys/Campbell&Stanley-1959-Exptl&QuasiExptlDesignsForResearch.pdf
  12. Godby, M. E. Control group | Definition, Examples, & Facts. Encyclopedia Britannica. August 1, 2016. https://www.britannica.com/science/control-group
  13. Kolaski, K., Logan, L. R., & Ioannidis, J. P. A. Principles for good scholarship in systematic reviews. Developmental Medicine & Child Neurology. August 01, 2023. 66(4), 415–421. https://doi.org/10.1111/dmcn.15719
  14. Hammerton, G., & Munafò, M. R. Causal inference with observational data: the need for triangulation of evidence. Psychological Medicine. March 08, 2021. 51(4), 563–578. https://doi.org/10.1017/s0033291720005127
  15. EQUATOR Network | Enhancing the QUAlity and transparency of health research. (n.d.). https://www.equator-network.org/
  16. Jung, R. G., Di Santo, P., Clifford, C., et al. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021b; 12(1). https://doi.org/10.1038/s41467-021-21220-5
  17. Quinn, T. J., Burton, J. K., Carter, B., et al. Following the science? Comparison of methodological and reporting quality of covid-19 and other research from the first wave of the pandemic. BMC Medicine. February 23, 2021. 19(1). https://doi.org/10.1186/s12916-021-01920-x
  18. Zdravkovic, M., Berger-Estilita, J., Zdravkovic, B., & Berger, D. Scientific quality of COVID-19 and SARS CoV-2 publications in the highest impact medical journals during the early phase of the pandemic: A case control study. PloS One. November 05, 2020. 15(11), e0241826. https://doi.org/10.1371/journal.pone.0241826
  19. Erasmus, A., Holman, B., & Ioannidis, J. P. A. Data-dredging bias. BMJ Evidence-based Medicine. 2021; 27(4), 209–211. https://doi.org/10.1136/bmjebm-2020-111584
  20. Palayew, A., Norgaard, O., Safreed-Harmon, K., Andersen, T. H., et al. Pandemic publishing poses a new COVID-19 challenge. Nature Human Behaviour. June 23, 2020; 4(7), 666–669. https://doi.org/10.1038/s41562-020-0911-0
  21. Horbach, S. P. J. M. Pandemic publishing: Medical journals strongly speed up their publication process for COVID-19. Quantitative Science Studies. August 01, 2020; 1(3), 1056–1067. https://doi.org/10.1162/qss_a_00076
  22. Jung, R. G., Di Santo, P., Clifford, C., Prosperi-Porta, G., Skanes, S., Hung, A., Parlow, S., Visintini, S., Ramirez, F. D., Simard, T., & Hibbert, B. Methodological quality of COVID-19 clinical research. Nature Communications. February 11, 2021c; 12(1). https://doi.org/10.1038/s41467-021-21220-5
  23. Gorman, D. M. COVID-19 publications in top-ranked public health journals during the first phase of the pandemic. Quantitative Science Studies. May 01, 2023b; 4(2), 535–546. https://doi.org/10.1162/qss_a_00257
  24. Fanelli, D. “Positive” results increase down the hierarchy of the sciences. PloS One. April 07, 2010. 5(4), e10068. https://doi.org/10.1371/journal.pone.0010068
  25. Edwards, M. A., & Roy, S. Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science. January 01, 2017b; 34(1), 51–61. https://doi.org/10.1089/ees.2016.0223
  26. Nosek, B. A., Spies, J. R., & Motyl, M. Scientific utopia. Perspectives on Psychological Science. November 07, 2021. 7(6), 615–631. https://doi.org/10.1177/1745691612459058
  27. Apetrei, C. Misinformation is a common thread between the COVID-19 and HIV/AIDS pandemics – with deadly consequences. The Conversation. August 24, 2022b. https://theconversation.com/misinformation-is-a-common-thread-between-the-covid-19-and-hiv-aids-pandemics-with-deadly-consequences-187968
  28. Gorman, D. M. The rise of a mega‐journal in public health publishing. Learned Publishing. August 10, 2023; 36(4), 712–719. https://doi.org/10.1002/leap.156
  29. Ioannidis, J. P. A., Pezzullo, A. M., & Boccia, S. The rapid growth of Mega-Journals. JAMA. March 20, 2023; 329(15), 1253. https://doi.org/10.1001/jama.2023.3212
  30. Ormerod, R. J. The history and ideas of critical rationalism: the philosophy of Karl Popper and its implications for OR. Journal of the Operational Research Society. December 21, 2017; 60(4), 441–460. https://doi.org/10.1057/palgrave.jors.2602573
  31. West, J. D., & Bergstrom, C. T. (2021). Misinformation in and about science. Proceedings of the National Academy of Sciences of the United States of America. April 9, 2021; 118(15). https://doi.org/10.1073/pnas.1912444117
  32. Ioannidis, J. P. A. How to make more published research true. PLoS Medicine. October 21, 2014; 11(10), e1001747. https://doi.org/10.1371/journal.pmed.1001747
  33. Van Calster, B., Wynants, L., & Riley, R. D. Methodology over metrics: current scientific standards are a disservice to patients and society. Journal of Clinical Epidemology. May 30, 2021. https://www.jclinepi.com/article/S0895-4356(21)00170-0/fulltext
  34. Chiolero, A., Tancredi, S., & Ioannidis, J. P. A. Slow data public health. European Journal of Epidemiology. October 03, 2023; 38(12), 1219–1225. https://doi.org/10.1007/s10654-023-01049-6
  35. Nuzzo, R. How scientists fool themselves – and how they can stop. Nature. October 07, 2015; 526(7572), 182–185. https://doi.org/10.1038/526182a
  36. An open, Large-Scale, collaborative effort to estimate the reproducibility of psychological science. Perspectives on Psychological Science. November 07, 2012; 7(6), 657–660. https://doi.org/10.1177/1745691612462588
  37. Ioannidis, J. P. A. Why most published research findings are false. PLoS Medicine. August 30, 2005; 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
  38. Hardwicke, T. E., Serghiou, S., Janiaud, P., Danchev, V., Crüwell, S., Goodman, S. N., & Ioannidis, J. P. Calibrating the scientific ecosystem through Meta-Research. Annual Review of Statistics and Its Application. November 01, 2019; 7(1), 11–37. https://doi.org/10.1146/annurev-statistics-031219-041104
creado el 15 de Agosto de 2024