Herramientas Útiles

El equipo de Ioannidis ha publicado un interesante artículo en el Clinical Journal of Epidemiology [1] criticando la calidad de las revisiones sistemáticas y ofreciendo recursos para mejorarlas. Se trata de un artículo muy técnico que deberían leer todos los que hacen revisiones sistemáticas o utilizan sus resultados. A continuación, solo resumimos los primeros párrafos.

El artículo empieza diciendo que cada vez se hacen más revisiones sistemáticas que influyen en la práctica clínica, en ocasiones de forma extremadamente útil y a menudo de forma errónea y engañosa [2]. Múltiples estudios empíricos han levantado sospechas o aportado evidencia de que muchas de estas revisiones son deficientes, incluyendo una revisión sistemática de 485 estudios publicada en el Journal of Clinical Epidemiology [3].

Según los autores, esto se debe a que muchos de los que hacen revisiones sistemáticas tienen poca experiencia y formación en metodología. Las revisiones sistemáticas se consideran una forma fácil de conseguir publicaciones en revistas de prestigio, y los supervisores académicos pueden añadir su autoría senior sin hacer gran cosa, o puede que ni siquiera sean conscientes de las expectativas actuales para las revisiones sistemáticas.

Los que realizan la revisión por pares de las revisiones sistemáticas no pueden hacer mejoras significativas por falta de conocimiento, tiempo o recursos. A la vez, algunos se pasan al otro extremo y afirman que las revisiones sistemáticas son un despilfarro de recursos y/o que casi siempre no son concluyentes. Es cierto que las revisiones sistemáticas, incluso cuando las hacen organizaciones más rigurosas, son en su mayoría no concluyentes [4], pero esto refleja la evidencia disponible, no el proceso de revisión.

Dada la innegable influencia de las revisiones sistemáticas en la literatura científica y en la práctica clínica, hay que hacer esfuerzos por mejorar la calidad de las revisiones. Muchos grupos han tratado de hacerlo, lo que ha dado lugar a muchas guías, herramientas de evaluación y listas de verificación [5, 6], algunas de las cuales han sido actualizadas (por ejemplo, AMSTAR-2 [7] (actualización de AMSTAR [A Measurement Tool to Assess Systematic Reviews]) y PRISMA 2020 [8] [actualización de Preferred Reporting Items for Systematic Reviews and Meta-Analyses]) y, a juzgar por la frecuencia con que se citan en las revisiones publicadas, su adopción por parte de los autores parece estar muy extendida. Sin embargo, esto podría reflejar que los autores dicen lo que solicitan las revistas en las que quieren publicar, o imitan lo que hacen otros (“otros también citan estas herramientas”) o algún esfuerzo superficial para hacer que la revisión sistemática parezca más “científica”.

Según los autores de este articulo [1], es frecuente que estas herramientas y guías sean ignoradas, o mal utilizadas e interpretadas. La mala comprensión de estas herramientas puede hacer que se utilicen mal y se hagan interpretaciones erróneas. Es importante especificar qué puede hacer (y qué no puede hacer) cada herramienta y cómo se debe (o no se debe) utilizar. Es esencial distinguir los constructos que estas herramientas pueden evaluar (es decir, exhaustividad de los informes, riesgo de sesgo, rigor metodológico). El uso adecuado de estas herramientas también implica comprender a que unidades de análisis se aplican y cómo (p. ej., investigación primaria frente a secundaria). Además, la evaluación de la certeza general de la evidencia que se incluye en una revisión sistemática implica muchos conceptos y procesos básicos [9].

Incluso cuando estas herramientas se utilizan aparentemente de forma adecuada, la integridad de su aplicación puede no ser muy alta. Se espera que el uso de las normas de presentación de informes PRISMA mejore la exhaustividad de los informes. Sin embargo, los estudios empíricos realizados hasta la fecha no muestran mejoras claras en este sentido [10,11]. Una posible explicación es que, aunque muchas revistas dicen que exigen PRISMA, no se verifica necesariamente la exactitud de la información presentada en las listas de verificación que envían los autores de una revisión sistemática. También cabría esperar que las revisiones sistemáticas recientes que cumplen las normas de AMSTAR-2 [6] y ROBIS (Risk of Bias in Systematic Reviews) [12] demostraran un mayor rigor metodológico y un menor riesgo de sesgo, respectivamente. Esto aún no se ha investigado.

Estudios recientes sugieren que es frecuente que al aplicar estas herramientas se cometan errores de extracción de datos y haya inconsistencias [13]. Además, la interpretación de los ítems individuales, así como los cálculos de las puntuaciones globales, podría ser más variable de lo esperado [14,15]. La metainvestigación sobre estas herramientas también ha identificado que hay ciertos aspectos que se deberían incluir en la revisión que no se están abordando [14,16].

El volumen y la variedad de las herramientas actualmente disponibles, y su creciente complejidad, indican que los que realizan, evalúan y utilizan las revisiones sistemáticas necesitan más formación. Los autores de este artículo [1] utilizaron un enfoque pragmático para elaborar una guía que se publicó recientemente sobre las mejores herramientas y prácticas en las revisiones sistemáticas [17]. Se centraron en las lagunas de conocimiento sugeridas por los problemas de las revisiones sistemáticas que están bien hechas. Esta Guía Concisa [17], por ejemplo, resume las herramientas actualmente recomendadas por su aplicabilidad a varios tipos de síntesis de pruebas y las distingue por los constructos que fueron diseñadas para evaluar.