Ensaios Clínicos Questionados

O Dr. Anis Rassi Jr. ajudou no desenho deste ensaio. Ele acabou renunciando à autoria devido a falhas na conduta e na denúncia do ensaio clínico. O JAMA-Cardiology recusou-se a publicar suas preocupações.

Um dos objetivos da Sensible Medicine é dar voz às avaliações críticas que são rejeitadas pelas revistas médicas. Há duas mensagens importantes na avaliação do Dr. Rassi: [1] os erros específicos que esse ensaio poderia induzir no tratamento de pacientes com cardiomiopatia chagásica; mas a mensagem principal é [2] o que isso diz sobre a conduta científica e a publicação.

A primeira seção é a explicação do Dr.. Rassi de suas interações com a revista; a segunda seção é uma lista detalhada de críticas e erros no artigo.

O Ensaio CHAGASICS: Uma falha Preocupante da Revisão por Pares em Uma Importante Revista de cardiologia

(The CHAGASICS Trial: A Disturbing Failure of Peer Review at a Leading Cardiology Journal)
Anis Rassi Jr., MD, PhD, FAHA, FACP, FACP, Diretor Científico do Hospital Anis Rassi, Goiânia, Brasil

Enviei uma carta ao editor sobre o ensaio CHAGASICS, publicado recentemente no JAMA Cardiology [1]. Foi-me recomendado enviar formalmente uma carta ao editor expondo minhas preocupações. Essa carta foi rejeitada pelo editor-chefe.

Isso me impeliu a compartilhar minha análise detalhada do ensaio CHAGASICS e os slides de uma apresentação recente que fiz no Congresso Brasileiro de Arritmias [2]. Meu objetivo é esclarecer a respeito da qualidade dos artigos científicos que estão sendo publicados.

Estou curioso para ver como o JAMA Cardiology abordará os inúmeros erros que deixou passar em seu processo de revisão: Manterão o status quo, desconsiderando as discrepâncias identificadas? Implementarão correções para os diversos erros identificados na revisão por pares após a publicação e se apropriarão das descobertas, ou os autores emitirão uma retratação, atribuindo essas inconsistências substanciais a meros erros tipográficos – podendo até potencialmente eliminar os comentários existentes sobre essas discrepâncias do manuscrito?

Seria preocupante se essas correções fossem feitas sem reconhecer que esses problemas metodológicos foram inicialmente identificados a partir de uma correspondência que a revista se recusou a publicar.

23 de outubro de 2024
Ao Conselho Editorial do JAMA Cardiology,

Escrevo para expressar minhas profundas preocupações com respeito à publicação do ensaio CHAGASICS [1]. O objetivo do ensaio era avaliar o papel dos cardioversores desfibriladores implantáveis (CDI) comparando-os com a amiodarona em pacientes com cardiomiopatia chagásica crônica, porém o ensaio apresenta muitos erros críticos que comprometem seus resultados.

A grande quantidade de falhas metodológicas, erros de cálculo, interpretação errônea da literatura e omissão de dados cruciais é profundamente preocupante. Esses erros são inaceitáveis e levanta sérias questões sobre o processo de revisão por pares que permitiu que esse ensaio fosse publicado em sua forma atual.

1. Poder estatístictico e a natureza de baixa potência do ensaio
   O ensaio foi inicialmente projetado para registrar 1.100 pacientes, o que proporcionou 90% de poder estatístico para detectar uma diferença significativa entre os grupos CDI e amiodarona. Porém, como somente 323 pacientes foram avaliados, o ensaio ficou com poder estatístico muito baixo. Com base nas premissas originais (30% de mortalidade no grupo da amiodarona e uma redução de risco relativo (RRR) de 30% no grupo do CDI), o estudo alcançou apenas 46% de poder estatístico, muito abaixo dos 90% pretendidos. Ao adaptar as expectativas para refletir a realidade do estudo, onde foi observada uma taxa de mortalidade de 38,6% no grupo da amiodarona, e mantendo a mesma RRR de 30% no grupo do CDI, o poder estatístico aumentou ligeiramente para 60%.

   Essa redução drástica no poder estatístico não foi reconhecida adequademente no manuscrito. Uma redução tão grande no poder estatístico limita a capacidade do estudo de detectar diferenças reais entre os grupos. Tendo isso em mente, os resultados relatados, como a redução nas hospitalizações por insuficiência cardíaca em três anos e até mesmo a questionável redução na mortalidade total nos primeiros anos de acompanhamento, são provavelmente o efeito de ruído estatístico.

   As deficiências apresentadas pressupõem que o CHAGASICS tinha a potência adequada — da qual não tinha.

2. Análise da intenção de tratar modificada (Intention-to-Treat, ITT)
   O estudo alterou a análise da ITT original (consulte o documento do desenho [3]) ao adotar uma abordagem da “ITT modificada”, excluindo 15 pacientes do grupo da amiodarona e 24 do grupo do CDI que não receberam as intervenções previstas.

   Essa modificação, particularmente problemática devido ao tamanho reduzido da população do estudo, exacerbou os desequilíbrios nas características iniciais, incluindo a distribuição dos escores Rassi e o gênero masculino. Essas exclusões após a randomização violam os princípios do ITT, que existem para preservar a comparabilidade entre os grupos. Os autores não reconheceram esse desvio significativo da prática padronizada.

3. Cálculo errôneo das porcentagens de uso de medicamentos
   Outro erro notável é o cálculo errôneo das porcentagens de uso de medicamentos no final do monitoramento. Os autores apresentaram erroneamente uma redução no uso de medicamentos para insuficiência cardíaca, quando na realidade seu uso aumentou.

   Esse erro ocorreu porque os autores calcularam as porcentagens com base no número total de pacientes (323) em vez dos valores apropriados dos grupos (157 para CDI e 166 para amiodarona). Por exemplo, o uso de betabloqueadores no final do monitoramento foi reportado como 38,1% no grupo CDI, mas a porcentagem correta, baseada em 123 dos 157 pacientes no grupo CDI, é 78,3%. Esse erro deturpa a interpretação do uso de medicamentos no estudo. Todas as outras porcentagens de medicamentos reportadas no final do monitoramento estão igualmente incorretas.

   A declaração no artigo, “Reconhecemos que, apesar das instruções explícitas do protocolo com relação à terapia médica, o baixo uso de inibidores da enzima de conversão da angiotensina, bloqueadores do receptor da angiotensina II e β-bloqueadores pode ter influenciado os desfechos de morte por IC e internação” (eTabela 7 no Suplemento 2), está incorreta.

   Longe de mostrar uma redução, a utilização de medicamentos aumentou durante o período do estudo, o que se alinha com o curso clínico esperado desses pacientes.

   Como um erro tão básico de aritmética pode passar despercebido pelo autor, coautores, revisores e editores?

4. Relatos questionáveis de internação por insuficiência cardíaca
   O relato de internações por insuficiência cardíaca está repleto de contradições. Os autores relatam uma redução nas internações aos três anos no grupo do CDI, ao mesmo tempo em que relatam um aumento nas mortes por insuficiência cardíaca no mesmo grupo em seis anos. Isso não faz sentido do ponto de vista clínico. Nenhum estudo anterior demonstrou que os CDIs reduzem as internações por insuficiência cardíaca— pelo contrário, os CDIs são frequentemente associados a um aumento de internações devido à progressão da insuficiência cardíaca, especialmente quando se trata de choques frequentes [4]. Além disso, o aumento nas mortes por insuficiência cardíaca somente se tornou aparente após quatro anos, mas os autores inexplicavelmente optaram por analisar os internados por insuficiência cardíaca na marca de três anos, excluindo todos os dados subsequentes.

   Esse registro seletivo não só é enganoso, mas também metodologicamente suspeito. Conforme relatado, questiono se os pacientes foram simplesmente deixados para morrer em casa devido à insuficiência cardíaca, o que explicaria a suposta redução das internações.

5. Inconsistências nos relatos de eventos adversos
   O relatório de eventos adversos relacionados ao CDI contém erros. Na Tabela 3, que informa o número de pacientes que receberam choques apropriados e impróprios de CDI, as somas não batem. Por exemplo, o número total de choques relatados (81) não pode ser contabilizado pelo número de choques apropriados (48) e número impróprios (19). Além disso, o número de pacientes que receberam choques (56) é inconsistente com a soma dos pacientes que receberam choques apropriados e impróprios (40 + 13). As mesmas discrepâncias ocorreram com o relato da terapia de estimulação antitaquicardia.

   Esse não é um pequeno erro. Ele demonstra uma falta fundamental de rigor na divulgação de dados básicos. Como outro erro aritmético óbvio pode ser aprovado na revisão por pares? Isso põe em dúvida a precisão geral dos dados apresentados no estudo.

6. Nenhuma informação sobre o uso de amiodarona no grupo de CDI e minha renúncia à autoria
   Não há menção ao fato de se os pacientes do grupo CDI receberam amiodarona durante o estudo, apesar de ela ser comumente prescrita em conjunto nessas situações. A amiodarona realmente não foi usada ou esses dados foram simplesmente omitidos? A transparência sobre esse assunto é fundamental.

   Se a amiodarona foi usada no grupo do CDI, o cruzamento se torna um grande problema, e a comparação passa a ser entre amiodarona versus amiodarona + CDI, e não apenas CDI versus amiodarona.

   A falta de clareza sobre esse ponto crucial levanta dúvidas significativas sobre a integridade e as conclusões do estudo. Como um dos desenhistas originais do estudo CHAGASICS, tenho conhecimento em primeira mão dos autores do estudo de que a maioria dos pacientes do grupo CDI recebeu amiodarona à medida que o estudo avançava. Esse fato importante, que não consta na publicação, precisa ser esclarecido. Sem isso, a interpretação dos resultados se torna questionável. É fundamental mencionar que, como pesquisador principal, estive envolvido desde o início do estudo até sua conclusão. O objetivo principal do estudo era determinar se o escore Rassi poderia orientar a seleção do tratamento entre CDI e amiodarona para pacientes com cardiomiopatia chagásica, com mortalidade por todas as causas como desfecho primário.

   Dadas as minhas preocupações com relação à apresentação e interpretação planejadas dos resultados do estudo, retirei minha autoria antes do envio do manuscrito ao periódico. Essa decisão foi minha, para garantir que minha crítica não pudesse ser vista como decorrente da minha exclusão do estudo. (Nota do editor: O Dr. Rassi Jr. é o segundo autor do artigo segundo o documento de desenho [3]).

   Também é importante observar que a apresentação dos resultados parece favorecer o escore de Rassi [5] como uma ferramenta útil para orientar o uso do CDI na prevenção primária da doença de Chagas. Porém, o estudo não tem o poder estatístico e o rigor metodológico para apoiar essa conclusão. Isso é particularmente preocupante, já que a validação do escore de Rassi para essa finalidade representaria um grande avanço no campo da gestão da doença de Chagas e poderia influenciar significativamente a tomada de decisão clínica. Fazer tais afirmações sem evidências de apoio adequadas poderia levar a aplicações clínicas impróprias do escore.

7. Eros na Seção de Discussão
   Vários erros críticos na discussão distorcem estudos importantes. Os autores afirmam incorretamente que o ensaio SCD-HeFT teve um acompanhamento de 4,5 meses, quando, na verdade, teve dez vezes essa duração — 45,5 meses [6]. Esse é um erro significativo, pois os resultados de longo prazo do ensaio são fundamentais para entender o impacto dos CDIs na mortalidade. Outro erro: os autores confundem duas meta-análises distintas. A frase “A systematic review and meta-analysis of 13 retrospective studies including 1041 patients” (Uma revisão sistemática e meta-análise de 13 estudos retrospectivos incluindo 1041 pacientes) refere-se à meta-análise conduzida por Rassi et al [7]. Porém, sua declaração subsequente, ”…sugeriu que o implante de CDI, em comparação com a amiodarona, não foi associado a uma taxa de mortalidade por todas as causas mais baixa. A taxa de mortalidade anual relatada foi de 9,7% para o CDI e 9,6% para a amiodarona” refere-se a um estudo diferente, conduzido por Carmo et al. Essa confusão é ridícula e imperdoável, e enfraquece a credibilidade da discussão.
8. Inclusão sem lógica da necessidade de um marcapasso como resultado secundário
   Outra falha crítica no estudo é a inclusão da “necessidade de marca-passo” como resultado secundário, uma decisão que foi imposta pelo primeiro autor. Eu me opus veementemente a essa inclusão porque ela não fazia sentido, já que todos os pacientes do grupo CDI já tinham um marcapasso de reserva como parte do implante do CDI.

   Nenhum estudo prévio incluiu isso como um desfecho significativo, pois é redundante e irrelevante nesse contexto. Além disso, se considerarmos a internação por qualquer motivo, o grupo do CDI teria naturalmente taxas de internação mais altas porque o próprio implante do CDI requer internação hospitalar.

9. Falta de adjudicação de eventos
   O estudo desviou-se de seu protocolo original, que especificava que os eventos clínicos seriam julgados por um comitê independente. Isso não ocorreu, o que é particularmente preocupante, uma vez que os três resultados secundários relatados como favoráveis ao CDI (redução de internados por insuficiência cardíaca, morte súbita cardíaca e necessidade de marca-passo) são subjetivos.

   Em um estudo em aberto, a adjudicação independente é essencial para garantir o relato imparcial de tais resultados.

10. Conclusões enganosas e impróprias
    O estudo não teve potência suficiente para seu desfecho primário de mortalidade por todas causas. Apesar de não ter sido encontrada nenhuma diferença entre o CDI e a amiodarona para a mortalidade total, esse resultado é inconclusivo devido ao risco alto de resultados falsos negativos (erro do Tipo II).

    Embora alguns desfechos secundários sugiram benefícios do CDI (redução de morte súbita cardíaca, internações por insuficiência cardíaca e necessidade de marca-passo), essas descobertas positivas devem ser interpretadas com extrema cautela, dado o baixo poder estatístico do estudo e o aumento do risco de resultados falso-positivos em análises secundárias (erro Tipo I). Seria necessário um estudo maior e com potência adequada para determinar definitivamente o benefício da mortalidade e a confiabilidade dos resultados secundários observados.

    Mesmo deixando de lado a questão do poder estatístico, as conclusões apresentadas pelos autores são problemáticas por várias motivos:

    1. Apesar de o CDI ter reduzido as mortes cardíacas súbitas, essa vantagem foi completamente anulada por um aumento na mortalidade relacionada à insuficiência cardíaca, resultando em nenhum efeito líquido sobre a mortalidade cardiovascular ou geral.
    2. A redução relatada nas internações por insuficiência cardíaca é metodologicamente falha e clinicamente questionável, pois foi relatada somente na marca de 3 anos e não foi abordada no acompanhamento completo de 6 anos.
    3. A terapia com CDI está normalmente associada a taxas de internação mais altas devido a complicações, problemas relacionados ao dispositivo e choques–fatores que não foram suficientemente considerados na análise.
11. Relevância clínica e considerações ao paciente
    Embora o estudo tente demonstrar o potencial benefício dos CDIs, as implicações na prática, conforme derivadas dos dados, são muito menos promissoras. Um paciente que recebe o implante profilático de CDI enfrenta uma probabilidade maior de ser internado, seja pelo próprio implante do CDI ou por complicações relacionadas. Ele também tem 36% de chance de receber um choque angustiante impróprio ou adequado, e é improvável que o CDI evite sua morte como um todo, especialmente por insuficiência cardíaca.

    Ironicamente, evitar o CDI pode resultar em uma morte mais digna por parada cardíaca súbita do que por um declínio prolongado da insuficiência cardíaca, que o CDI não pode evitar. Além disso, quase todos os pacientes do grupo do CDI ainda necessitam de amiodarona (minha própria suposição), o que complica a narrativa da eficácia do CDI apresentada pelos autores.

12. O papel do lobbying para os CDIs no Brasil
    No Brasil, tem havido um forte lobbying em defesa do uso de CDIs na prevenção primária de complicações relacionadas à doença de Chagas.

    Considerando a abordagem dos autores (manipulação da linguagem para distorcer os resultados, destacando os supostos benefícios do tratamento experimental (CDIs), apesar das diferenças estatisticamente não significativas no resultado primário), esse ensaio corre o risco de ser citado seletivamente para apoiar essa iniciativa.

13. Minhas Sugestões para Publicação de Estudos como o do CHAGASICS
    Estudos de baixa potência como o do CHAGASICS ainda podem ser publicados, mas somente se certas regras forem seguidas para garantir credibilidade e rigor científico.
    • Deve-se manter extrema transparência, com exposição clara das limitações do estudo.
    • Deve haver uma ampla discussão sobre o poder estatístico, com destaque para a baixa potência do estudo e suas implicações discutidas abertamente.
    • Nenhuma alegação de eficácia deve ser feita em estudos de baixa potência.
    • Os dados devem ser apresentados como preliminares, com sugestões de como podem ser úteis em estudos futuros.
    • Os pesquisadores devem discutir as lições aprendidas com o estudo e como elas podem melhorar o desenho de ensaios futuros.

    O estudo CHAGASICS não atendeu a esses critérios. A falta de transparência, a falta em relatar dados importantes e a análise estatística errônea desafiam severamente a validade de suas conclusões.

    Por esses motivos, acredito firmemente que o conselho editorial deve reconsiderar a inclusão do estudo no JAMA Cardiology e questionar se um estudo com tantas questões críticas deve permanecer na literatura científica.

14. Este estudo deve ser retratado?
    Dada a quantidade desses erros, questiono se esse estudo atende aos critérios de publicação. Na verdade, ele pode muito bem ser uma das publicações mais problemáticas já produzidas no campo da pesquisa em doença de Chagas. Peço respeitosamente ao conselho editorial que reavalie este estudo e, se necessário, considere retraí-lo para manter os altos padrões científicos para o avanço do conhecimento médico.
15. Meus pontos de aprendizagem chave sobre potência e erro
    1. Para “supostos” resultados primários negativos (mortalidade total):

       Não se pode simplesmente dizer “não existe diferença” ou “não reduziu o risco”

       É preciso reconhecer o risco de perder efeitos reais (erro do Tipo II)

       É preciso dizer “inconclusivo” em vez de “negativo ou neutro”

    2. Para “supostos” resultados secundários positivos (redução na morte súbita cardíaca, dos internados por insuficiência cardíaca e da necessidade de marca-passo):

       Não podem ser aceitos pelo seu simples valor nominal

       É preciso reconhecer o alto risco de falsos positivos

       É preciso ter mais cautela em estudos de baixa potência

       Permanecer vigilante com relação a relatos científicos distorcidos

    3. Mensagem geral:

       Estudos de baixa potência são problemáticos em AMBAS as direções

       Podem perder efeitos reais (erros do Tipo II)

       Podem produzir resultados positivos não confiáveis (erros do Tipo I)

       A potência adequada é crucial para uma pesquisa confiável