Salud y Fármacos is an international non-profit organization that promotes access and the appropriate use of pharmaceuticals among the Spanish-speaking population.
Salud y Fármacos is an international non-profit organization that promotes access and the appropriate use of pharmaceuticals among the Spanish-speaking population.
A equipe de Ioannidis publicou um artigo interessante no Clinical Journal of Epidemiology [1] criticando a qualidade das revisões sistemáticas e oferecendo recursos para melhorá-las. Trata-se de um artigo muito técnico que deve ser lido por todos aqueles que realizam revisões sistemáticas ou usam seus resultados. A seguir, resumimos apenas os primeiros parágrafos.
O artigo começa afirmando que cada vez mais estão sendo feitas revisões sistemáticas que influenciam a prática clínica, às vezes de forma extremamente útil e, muitas vezes, de forma errônea e enganosa [2]. Vários estudos empíricos levantaram suspeitas ou forneceram evidências de que muitas dessas revisões são falhas, incluindo uma revisão sistemática de 485 estudos publicada no Journal of Clinical Epidemiology [3].
De acordo com os autores, isso se deve ao fato de que muitos dos que realizam revisões sistemáticas têm pouca experiência e treinamento em metodologia. As revisões sistemáticas são vistas como uma maneira fácil de conseguir publicações em periódicos de prestígio, e os supervisores acadêmicos podem adicionar sua autoria sênior sem fazer muito, ou podem nem mesmo estar cientes das expectativas atuais para revisões sistemáticas.
Os que realizam revisões por pares de revisões sistemáticas não conseguem fazer melhorias significativas devido à falta de conhecimento, tempo ou recursos. Ao mesmo tempo, alguns vão para o outro extremo e afirmam que as revisões sistemáticas são um desperdício de recursos e/ou que são quase sempre inconclusivas. É verdade que as revisões sistemáticas, mesmo quando feitas por organizações mais rigorosas, são, em sua maioria, inconclusivas [4], mas isso reflete as evidências disponíveis, não o processo de revisão.
Dada a inegável influência das revisões sistemáticas na literatura científica e na prática clínica, devem ser feitos esforços para melhorar a qualidade das revisões. Muitos grupos tentaram fazer isso, o que resultou em muitas diretrizes, ferramentas de avaliação e listas de verificação [5,6], algumas das quais foram atualizadas (por exemplo, AMSTAR-2 [7] (atualização da AMSTAR [A Measurement Tool to Assess Systematic Reviews]) e PRISMA 2020 [8] (atualização dos Preferred Reporting Items for Systematic Reviews and Meta-Analyses]) e, a julgar pela frequência com que são citadas em revisões publicadas, sua adoção pelos autores parece ser generalizada. No entanto, isso pode refletir em os autores dizendo o que solicitam os perioódicos em quais querem publicar, ou imitando o que os outros fazem (“outros também citam essas ferramentas”) ou algum esforço superficial para fazer com que a revisão sistemática pareça mais “científica”.
De acordo com os autores deste artigo [1], essas ferramentas e diretrizes são frequentemente ignoradas, ou mal utilizadas e mal interpretadas. A incompreensão dessas ferramentas pode levar ao mau uso e à má interpretação. É importante especificar o que cada ferramenta pode (e não pode) fazer e como ela deve (ou não deve) ser usada. É essencial distinguir os elementos que essas ferramentas podem avaliar (ou seja, a integridade dos relatórios, o risco de viés, o rigor metodológico). O uso adequado dessas ferramentas também envolve a compreensão das unidades de análise às quais elas se aplicam e como (por exemplo, pesquisa primária versus secundária). Além disso, a avaliação da certeza geral das evidências incluídas em uma revisão sistemática envolve muitos conceitos e processos básicos [9].
Mesmo quando essas ferramentas são aparentemente usadas de forma adequada, a integridade de sua aplicação pode não ser muito alta. Espera-se que o uso dos padrões de relatório PRISMA melhore a integridade dos relatórios. No entanto, os estudos empíricos realizados até o momento não mostram nenhuma melhoria clara nesse sentido [10,11]. Uma possível explicação é que, embora muitos periódicos afirmem exigir o PRISMA, a precisão das informações apresentadas nas listas de verificação enviadas pelos autores de uma revisão sistemática não é necessariamente verificada. Também seria de se esperar que as revisões sistemáticas recentes que atendem aos padrões AMSTAR-2 [6] e ROBIS (Risk of Bias in Systematic Reviews) [12] demonstrassem maior rigor metodológico e menor risco de viés, respectivamente. Isso ainda não foi pesquisado.
Estudos recentes sugerem que erros e inconsistências na extração de dados são comuns na aplicação dessas ferramentas [13]. Além disso, a interpretação de itens individuais, bem como os cálculos dos escores gerais, podem ser mais variáveis do que o esperado. As metapesquisas sobre essas ferramentas também identificaram que há certos aspectos que deveriam ser incluídos na revisão e que não estão sendo abordados [14,16].
O volume e a variedade de ferramentas atualmente disponíveis e sua crescente complexidade indicam que as pessoas que conduzem, avaliam e usam revisões sistemáticas precisam de mais treinamento. Os autores deste artigo [1] usaram uma abordagem pragmática para desenvolver um guia recentemente publicado sobre as melhores ferramentas e práticas em revisões sistemáticas [17]. Eles se concentraram nas lacunas de conhecimento sugeridas pelos problemas das revisões sistemáticas bem feitas. Essa diretriz concisa [17], por exemplo, resume as ferramentas atualmente recomendadas quanto à sua aplicabilidade a vários tipos de síntese de evidências e as distingue pelos construtos que foram projetados para avaliar.
Referências