Una organización internacional sin ánimo de lucro para fomentar el acceso y el uso adecuado de medicamentos entre la población hispano-parlante

Ética

Investigaciones

Las revisiones sistemáticas y los metaanálisis ¿siguen siendo metodologías de investigación útiles? No estamos seguros (Are systematic reviews and meta-analyses still useful research? We are not sure)
Møller MH, Ioannidis JPA, Darmon M
Intensive Care Medicine 2018;44(4):518-522
https://link.springer.com/article/10.1007%2Fs00134-017-5039-y
Traducido por Salud y Fármacos

Cuando se hace una revisión sistemática tradicional y un metaanálisis, se intenta responder a una pregunta clínica o de investigación buscando la mejor evidencia disponible, identificada sistemáticamente, para luego evaluarla críticamente y sintetizarla [1]. Las revisiones sistemáticas se han considerado durante mucho tiempo la metodología con mayor poder para contribuir a una medicina basada en la evidencia, y el número de revisiones sistemáticas publicadas y de metaanálisis ha aumentado significativamente en los últimos 20 años [2]. Hace una década, una evaluación que utilizó criterios estrictos sugirió que se publicaban al menos 2.500 nuevas revisiones sistemáticas cada año [2]. Desde entonces, la tasa de producción ha aumentado aproximadamente 10 veces [3]. Alrededor de un tercio de ellas incluyen síntesis cuantitativas (metaanálisis) [3].

La parte positiva de la revisión sistemática
Las revisiones sistemáticas en teoría ayudan a informar a los médicos e investigadores sobre cuestiones importantes para el paciente, y tratan de proporcionar un informe transparente del balance entre los beneficios y los daños de las conductas en los servicios de salud y de las intervenciones [3]. También proporcionan evidencia equilibrada y transparente para los pacientes, familiares y responsables de la formulación de políticas, y pueden ser el punto de partida para elaborar guías de práctica clínica fiables [4].

Las revisiones sistemáticas y los metaanálisis también se utilizan cada vez más en el contexto de los programas de investigación, donde constituyen el primer paso y se utilizan para identificar y resaltar las incertidumbres y las áreas de investigación sin respuesta para las que se justifica generar conocimiento adicional [5]. Esta valiosa información la utilizan muchos, incluyendo los financiadores que quieren apoyar nuevas investigaciones, y los editores de revistas cuando priorizan los resultados de las investigaciones [2].

Compendiar los datos de ensayos clínicos individuales aumenta el poder estadístico y la precisión de las estimaciones de efecto, ya que los datos de los ensayos individuales a menudo tienen poco poder y un elevado riesgo de errores de tipo 1 y 2 [6]. Esto es especialmente importante cuando se evalúan los eventos adversos, ya que la mayoría de los ensayos individuales tienen capacidad para detectar los beneficios, pero no los eventos adversos [7]. En consecuencia, los metaanálisis pueden revelar importantes asociaciones de eventos adversos que se pueden tener que confirmar en el futuro. Las revisiones sistemáticas y los metaanálisis cuidadosamente realizados también ofrecen la oportunidad única de medir y tratar de comprender el origen de la heterogeneidad y de ofrecer una visión más amplia de la evidencia.

Aspectos negativos de las revisiones sistemáticas
Los principales desafíos y amenazas a la validez e interpretación de las revisiones sistemáticas y los metaanálisis incluyen la falta de rigurosidad y transparencia en la implementación de la revisión y en informar los resultados, la deficiente calidad metodológica de los estudios incluidos, el riesgo de errores aleatorios, la heterogeneidad estadística y clínica no reconocida y no contabilizada, la exploración de los datos haciendo análisis estadísticos no predefinidos y no evaluar la calidad general de la evidencia.

El comportamiento poco sistemático y transparente al hacer la investigación y al informar los resultados de las revisiones sistemáticas sigue siendo frecuente, a pesar del esfuerzo por solicitar el registro cuidadoso de los datos y de la presentación de informes. Muchas revisiones sistemáticas a menudo son defectuosas, redundantes y/o engañosas [3].

El rigor metodológico de muchos ensayos publicados es inadecuado, y la mayoría tienen un alto riesgo de errores sistemáticos (sesgo), lo que a su vez aumenta el riesgo de sobreestimar el beneficio y subestimar el daño [8]. Muchos análisis estadísticos se realizan e informan de manera inadecuada, e incluso los cambian después de la finalización de un ensayo [9]. Los metaanálisis no necesariamente eliminan estos sesgos.

Los metaanálisis corren el riesgo adicional de incluir errores aleatorios debido a las pruebas repetitivas y los hallazgos espurios [10]. Los enfoques de análisis secuencial de los ensayos [11] y otros métodos pueden ayudar a conferir información correcta sobre la incertidumbre en la calidad de los resultados.

Compilar datos de diversas fuentes aumenta el riesgo de heterogeneidad. Aunque la heterogeneidad se puede estimar estadísticamente, los acercamientos actualmente disponibles, como la prueba Q y las estimaciones I2, siguen siendo imperfectos, son débiles para detectar la heterogeneidad y probablemente dan una falsa sensación de tranquilidad cuando no se demuestra que haya heterogeneidad significativa [12].

En general, la calidad de la evidencia de muchas revisiones sistemáticas y metaanálisis es baja debido a los riesgos de sesgo, falta de franqueza, imprecisión, inconsistencia y sesgo de la publicación [13]. Todo ello tiene un impacto significativo en la validez de los hallazgos.

Las revisiones sistemáticas del futuro
Las amenazas a la validez e interpretación de las revisiones sistemáticas son frecuentes, pero todas pueden superarse hasta cierto punto con un diseño y una ejecución cuidadosa de la revisión (Fig. 1). Para aquellos que no se pueden superar (por ejemplo, la mala calidad de los datos primarios), una buena revisión sistemática puede ser útil si se reconoce y se mapean cuidadosamente las limitaciones de la evidencia.

Pregunta

Preguntas relevantes clínica y científicamente

PRISMA

Adherencia a las pautas PRISMA para el diseño e información de resultados

Protocolo

Un protocolo registrado y preferentemente publicado que incluya un plan de análisis estadístico

Búsqueda sistemática

Una estrategia actualizada de búsqueda sistemática y reproducible

Criterios de inclusión y exclusión

Criterios de inclusión y exclusión bien definidos y estrictos

Heterogeneidad

Anticipación cuidadosa de heterogeneidad clínica, estadística, metodológica y de otros tipos

Riesgo de sesgo

Valoración cuidadosa de informes y posibles sesgos

Riesgo de errores aleatorios

Valoración del riesgo de errores aleatorios, por ejemplo, ensayo clínico secuencial (el número de sujetos no se fija de antemano, sino que depende de los resultados que se vayan obteniendo sobre la marcha, TSA en inglés)

Estadísticas

Uso de métodos estadísticos adecuados, por ejemplo, siguiendo el Cochrane Handbook

Calidad de la evidencia

Valoración general de la calidad de la evidencia, por ejemplo, utilizando GRADE

Conclusiones

Conclusiones e inferencias apropiadas y justificadas

Conflictos de interés

No hay conflictos de intereses relevantes que presentar

Las revisiones sistemáticas confiables y los metaanálisis con conclusiones precisas y confiables deben prepararse de forma sistemática y transparente [3]. Los ítems de los informes preferidos para las revisiones sistemáticas y los metaanálisis (PRISMA) proporcionan una guía sobre cómo diseñar [14] e informar una revisión sistemática [2]. Estas pautas, aunque necesarias, podrían no ser suficientes, porque ninguna guía de diseño y de divulgación de resultados puede lograr que un metaanálisis sea útil si para empezar no trata de responder una pregunta útil e importante (Fig. 1).

Las revisiones sistemáticas retrospectivas convencionales se ven limitadas por las limitaciones inherentes de los datos primarios que intentan desenterrar y combinar. Las revisiones sistemáticas de revisiones sistemáticas (visión general de revisiones sistemáticas o revisiones generales) y las redes de metaanálisis ofrecen oportunidades para obtener una visión aún más amplia de la evidencia [15], y cuando se realizan con cuidado, pueden mejorar aún más la utilidad de las síntesis de evidencia. Los metaanálisis de datos de pacientes individuales también se están volviendo cada vez más populares y la disponibilidad cada vez mayor de datos brutos puede convertirlos en el estándar del futuro. En este momento están limitados por la disponibilidad de datos y la necesidad de mayores recursos y esfuerzos. Para avanzar, los metaanálisis deben planificarse y diseñarse prospectivamente. Según esto, merece la pena diseñar la agenda de investigación de múltiples ensayos con la expectativa explícita de que todos los ensayos contribuirán a un metaanálisis que se irá actualizando continuamente. Así se podrán obtener resultados más útiles, ya que se sincronizarán los datos primarios y los metaanálisis.

Conclusión
Una evaluación del panorama de las revisiones sistemáticas que se están haciendo y de los metaanálisis sugiere que muchos de ellos se centran en preguntas sin importancia, muchos son redundantes e innecesarios, una proporción considerable tiene fallas irreparables y, finalmente, solo un 3% de ellos están bien hechos y son clínicamente útiles [3]. Entonces, si analizamos esta literatura en su conjunto, representa mayormente un gasto con poca utilidad. Sin embargo, hay una minoría de revisiones sistemáticas y metaanálisis que pueden ser extremadamente útiles. El principal desafío es cómo mejorar esta minoría y, si es posible, convertirla en la mayoría de las futuras revisiones sistemáticas y metaanálisis.

Referencias

  1. Murad MH, Montori VM, Ioannidis JP, Jaeschke R, Devereaux PJ, Prasad K, Neumann I, Carrasco-Labra A, Agoritsas T, Hatala R, Meade MO, Wyer P, Cook DJ, Guyatt G (2014) How to read a systematic review and meta-analysis and apply the results to patient care: users’ guides to the medical literature. JAMA 312:171–179.
  2. Moher D, Liberati A, Tetzlaff J, Altman DG (2009) Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. BMJ 339:b2535.
  3. Ioannidis JP (2016) The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q 94:485–514.
  4. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, Schunemann HJ (2008) GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 336:924–926.
  5. Scoglio D, Fichera A (2014) Establishing a successful clinical research program. Clin Colon Rectal Surg 27:65–70 6.
  6. Ridgeon EE, Bellomo R, Aberegg SK, Sweeney RM, Varughese RS, Landoni G, Young PJ (2017) Effect sizes in ongoing randomized controlled critical care trials. Crit Care 21:132.
  7. Clarke M, Brice A, Chalmers I (2014) Accumulating research: a systematic account of how cumulative meta-analyses would have provided knowledge, improved health, reduced harm and saved resources. PLoS One 9:e102670.
  8. Savovic J, Jones HE, Altman DG, Harris RJ, Juni P, Pildal J, Als-Nielsen B, Balk EM, Gluud C, Gluud LL, Ioannidis JP, Schulz KF, Beynon R, Welton NJ, Wood L, Moher D, Deeks JJ, Sterne JA (2012) Influence of reported study design characteristics on intervention effect estimates from randomized, controlled trials. Ann Intern Med 157:429–438.
  9. Anand V, Scales DC, Parshuram CS, Kavanagh BP (2014) Registration and design alterations of clinical trials in critical care: a cross-sectional observational study. Intensive Care Med 40:700–722.
  10. Thorlund K, Imberger G, Walsh M, Chu R, Gluud C, Wetterslev J, Guyatt G, Devereaux PJ, Thabane L (2011) The number of patients and events required to limit the risk of overestimation of intervention effects in meta-analysis–a simulation study. PLoS One 6:e25491.
  11. Wetterslev J, Thorlund K, Brok J, Gluud C (2008) Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. J Clin Epidemiol 61:64–75.
  12. Ioannidis JP, Patsopoulos NA, Evangelou E (2007) Uncertainty in heterogeneity estimates in meta-analyses. BMJ 335:914–916
  13. Balshem H, Helfand M, Schunemann HJ, Oxman AD, Kunz R, Brozek J, Vist GE, Falck-Ytter Y, Meerpohl J, Norris S, Guyatt GH (2011) GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol 64:401–406.
  14. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, Shekelle P, Stewart LA, Group PP (2015) Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev 4:1.
  15. Mills EJ, Thorlund K, Ioannidis JP (2013) Demystifying trial networks and network meta-analysis. BMJ 346:f2914.
creado el 4 de Diciembre de 2020