Integridade da Ciência

O desafio de garantir a integridade da pesquisa biomédica é enorme. O NIH lançou luz sobre essa questão com a publicação Leading In Gold Standard Science – An NIH Implementation Plan, mas a conscientização e as soluções propostas têm aparecido com maior frequência na literatura nos últimos anos. Os Drs. Bauchner e Rivara publicaram recentemente dois artigos (na literatura médica tradicional) identificando os desafios mais urgentes e sugerindo onde provavelmente estão as soluções [1, 2].

Aqui, eles expandem esses artigos e oferecem mais detalhes sobre as soluções. Considero particularmente instrutiva a discussão sobre a replicabilidade e a reprodutibilidade da pesquisa. Este artigo é um pouco mais longo do que o habitual, mas achei que o tema justificava o espaço. (Adam Cifu)

Muito mudou na última década em relação à integridade da pesquisa. Enormes quantidades de dados estão agora disponíveis por meio de prontuários eletrônicos, grandes estudos de coorte e acordos de compartilhamento de dados. A IA está agora disseminada na medicina, incluindo seu uso na descoberta científica, na análise de dados e até mesmo na redação de manuscritos. Somado às consequências não intencionais do acesso aberto (open access) e ao crescimento dos periódicos predatórios, manter a integridade da pesquisa está se tornando cada vez mais desafiador. De fato, o aumento no número de retratações, as evidências de exploração excessiva de dados (data dredging) e a politização das evidências têm contribuído para o ceticismo do público em relação à ciência. [3-5].

A integridade da pesquisa é um conceito amplo e “refere-se a todos os fatores que sustentam as boas práticas de pesquisa e promovem confiança e credibilidade no processo de pesquisa” [6]. Ela inclui os conceitos de honestidade, transparência, responsabilidade, respeito e rigor. Também é importante compreender a má conduta em pesquisa e a má conduta científica. A má conduta em pesquisa é geralmente definida como fabricação, falsificação e plágio, sendo de responsabilidade dos autores. A má conduta científica é um termo mais amplo que inclui a má conduta em pesquisa, mas também abrange questões como revisão por pares inadequada, que levou a milhares de retratações, conflitos de interesse não declarados, ausência de registro de ensaios clínicos randomizados, disputas de autoria e falha na publicação dos resultados de um ensaio clínico randomizado (RCT). Diferentemente da má conduta em pesquisa, que diz respeito especificamente aos autores, a revisão por pares inadequada é responsabilidade dos editores. Para algumas das outras questões, como conflitos de interesse não declarados ou disputas de autoria, podem surgir divergências de opinião, sendo frequentemente necessária a participação de terceiros para resolver esses problemas.

Dada a importância de manter a integridade da pesquisa em um momento em que o público é confrontado com informações incorretas (misinformation) e desinformação (disinformation) e parece menos confiante na ciência, as seguintes recomendações podem ser úteis para fortalecer a integridade da pesquisa.

1. Estudos clínicos observacionais cujo objetivo seja demonstrar uma associação causal entre uma exposição e um desfecho, como estudos de emulação de ensaios (trial emulation studies), devem ser registrados antes da coleta de dados. Assim como ocorre com os RCTs, o registro impedirá a exploração excessiva de dados (data dredging) e contribuirá para a reprodutibilidade dos estudos.
2. A IA deve auxiliar os seres humanos na revisão inicial por pares. Evidências emergentes indicam que a IA é eficaz e potencialmente superior à revisão por pares realizada por humanos [7]. Mais especificamente, uma publicação recente sugere que a IA pode avaliar a adesão às diretrizes CONSORT de relato [8]. A IA deve atuar como complemento da revisão por pares humana, verificando o registro de RCTs e metanálises, possivelmente avaliando a adesão às diretrizes de relato, como CONSORT, PRISMA e STROBE, além de revisar métodos e análises estatísticas. O tempo dirá se a IA será capaz de verificar a precisão das Referências, identificar manipulação de imagens e emitir uma opinião sobre a originalidade dos trabalhos. As preocupações relacionadas à confidencialidade dos dados precisam ser resolvidas.
3. Replicação e reprodutibilidade são questões complexas, e não existe um consenso amplo sobre seus significados. Por exemplo, Nosek e Errington rejeitam a definição tradicional de replicação — repetir um experimento e obter os mesmos resultados — e, em vez disso, acreditam que “replicação é um estudo para o qual qualquer resultado seria considerado uma evidência diagnóstica acerca de uma afirmação proveniente de pesquisas anteriores” [9]. Recentemente, o NIH definiu ambos os conceitos [10]:

   Replicabilidade é “a capacidade de realizar o mesmo experimento ou estudo utilizando os mesmos métodos e condições para alcançar o mesmo resultado.”

   Reprodutibilidade é “a capacidade de pesquisadores independentes testarem uma hipótese por meio de múltiplos métodos e obterem consistentemente resultados que a confirmem ou refutem, garantindo que os achados sejam generalizáveis e robustos em diferentes abordagens.”

   Deve-se fazer uma distinção entre a ciência baseada em laboratório e a pesquisa clínica. Na ciência laboratorial, o objetivo é garantir que o mesmo experimento, quando repetido, produza o mesmo resultado. Isso é diferente e mais complexo na pesquisa clínica. Devido à enorme quantidade de dados atualmente disponível e às inúmeras maneiras pelas quais as análises podem ser conduzidas e as variáveis codificadas, obter resultados idênticos ou semelhantes pode não ser possível, a menos que um pesquisador tenha acesso ao conjunto de dados idêntico e utilize exatamente a mesma abordagem analítica.

   Isso foi recentemente destacado em dois manuscritos diferentes. Wang e colaboradores realizaram uma revisão sistemática de artigos que relatavam a relação entre consumo de carne vermelha e mortalidade e identificaram 70 abordagens analíticas entre as 15 publicações que incluíam 24 diferentes coortes [11]. Em seguida, utilizaram a análise da curva de especificação (specification curve analysis) — uma abordagem analítica que identifica e calcula todas as especificações razoáveis para uma questão de pesquisa — para identificar 1.208 abordagens analíticas. Quando aplicadas ao conjunto de dados do NHANES, 435 análises produziram uma razão de risco (hazard ratio) superior a 1 (implicando aumento da mortalidade) e 773 produziram uma razão de risco inferior a 1.

   Em um estudo semelhante, Silberzahn solicitou que 29 equipes respondessem à pergunta sobre se árbitros de futebol eram mais propensos a aplicar cartões vermelhos a jogadores de pele escura em comparação com jogadores de pele clara [12]. Vinte equipes encontraram essa associação, enquanto nove não a encontraram. As abordagens de distribuição das variáveis incluíram modelos linear, logístico e de Poisson; o número de covariáveis variou de 0 a 7; e as abordagens analíticas incluíram, entre outras, regressão logística, regressão logística bayesiana e regressão Tobit.

   Os manuscritos de Wang e Silberzahn evidenciam a enorme variabilidade dos resultados de estudos observacionais em função das diversas premissas adotadas e das diferentes abordagens analíticas utilizadas.

   Então, onde isso nos deixa em relação à replicação e à reprodutibilidade? Existe amplo consenso de que esses são conceitos importantes, mas ainda não está claro como promovê-los e garantir sua credibilidade. Por exemplo, dos milhões de experimentos publicados todos os anos, quais deveriam ser replicados? A escolha deveria ser aleatória ou “especialistas” deveriam determinar quais são os mais importantes? Se alguém repetir um experimento laboratorial ou tiver acesso aos dados clínicos e à abordagem analítica, mas não conseguir reproduzir o mesmo achado, o que acontece em seguida?

   Considerando que o conjunto predominante de evidências indica que não existe relação entre imunizações e autismo, se um novo estudo encontrar tal relação, em qual evidência se deve acreditar? Tornar os dados públicos ajudará, mas cabe aos pesquisadores deixar claro seu propósito ao repetir um experimento ou reanalisar dados. Na pesquisa clínica, se utilizarem dados semelhantes, Wang e Silberzahn nos mostram que os resultados podem muito bem ser diferentes. Por fim, as recompensas pela replicação e pela reprodutibilidade, incluindo financiamento e reconhecimento acadêmico, estão apenas começando a surgir. A área não ganhará impulso sem esses incentivos.

4. Os periódicos não devem publicar RCTs e metanálises caso não tenha havido registro antes da coleta de dados. Verificar se esses estudos foram registrados e se estão sendo relatados de forma consistente com o registro representa um desafio para todos os periódicos, especialmente aqueles com recursos limitados. Nos próximos anos, a IA tornará esse processo mais fácil. Caso os periódicos publiquem esses estudos, devem exigir que os autores esclareçam por que o estudo não foi registrado.
5. À medida que as agências financiadoras desenvolvem políticas relacionadas à ética em pesquisa, elas devem garantir o cumprimento dessas políticas. Por exemplo, o NIH tem sido pouco rigoroso em assegurar que os resultados dos RCTs que financia sejam divulgados no clinicaltrials.gov. Sua nova política de compartilhamento dos dados subjacentes às publicações precisa ser efetivamente aplicada.
6. Muitos estudos são conduzidos para gerar hipóteses — de fato, isso faz parte do processo científico há séculos. Chegou o momento de sermos mais específicos sobre esse processo, particularmente nas pesquisas que envolvem seres humanos.

   Estudos geradores de hipóteses devem ser identificados como tal, por exemplo, na conclusão do resumo. Isso pode ajudar jornalistas da área da saúde e o público em geral a compreenderem melhor o processo científico.

   Indivíduos e grupos têm se dedicado à integridade da pesquisa há décadas. Por exemplo, pesquisadores independentes (sleuths) revisam manuscritos, com foco especial na manipulação de imagens.

   O Retraction Watch acompanha o número de retratações e estuda, além de emitir opiniões sobre, diversos aspectos da publicação científica (https://retractionwatch.com/).

   O Centro para Ciência Aberta (Center for Open Science) tem o compromisso de aumentar “a abertura, a integridade e a reprodutibilidade da pesquisa” [13].

   O PubPeer permite comentários pós-publicação sobre artigos científicos e frequentemente é o local onde surgem questionamentos sobre manipulação de imagens ou fabricação de dados [14].

   Mais recentemente, o NIH, maior financiador individual de pesquisas biomédicas, resumiu nove princípios da pesquisa científica de padrão-ouro, reconhecendo esforços anteriores e destacando aqueles que serão implementados [15].

   Manter a integridade da pesquisa é mais desafiador do que nunca. É muito improvável que apenas seres humanos sejam capazes de dar conta dessa tarefa, especialmente considerando que mais de 3 milhões de manuscritos são publicados todos os anos (e muitos outros são rejeitados). A quantidade de ciência produzida ultrapassou a capacidade da revisão por pares realizada exclusivamente por humanos. Chegou o momento de adotar uma abordagem mais abrangente — maior clareza quanto ao propósito da pesquisa, isto é, registro de estudos observacionais de coorte, adesão às diretrizes de relato e revisão por pares conduzida conjuntamente por humanos e IA.

Howard Bauchner, MD, é Professor de Pediatria e Saúde Pública na Boston University Chobanian & Avedisian School of Medicine. Também é Pesquisador Visitante na National University of Singapore. O Dr. Bauchner foi editor-chefe do JAMA e da JAMA Network, bem como da revista Archives of Disease in Childhood (Registros de Doenças na Infância).

Dr. Rivara é Professor de Pediatria e Professor Adjunto de Epidemiologia na University of Washington. Foi Editor-Chefe do JAMA Pediatrics (2000–2017) e do JAMA Network Open (2018–2024). Continua atuando como clínico, mentor e pesquisador.