Esta semana se publicaba en la página web de The Journal of the American Medical Association un estudio titulado Stopping Randomized Trials Early for Benefit and Estimation of Treatment Effects, cuyo objetivo ha sido comparar el efecto del tratamiento en ensayos clínicos aleatorizados truncados, esto es, finalizados antes de lo previsto en el protocolo, con los obtenidos en otros ensayos clínicos que investigaban lo mismo, pero que no fueron interrumpidos y explorar los factores asociados con la sobreestimación de dicho efecto. Interesante cuestión, sin duda alguna, ésta de interrumpir un estudio. ¿Es metodológicamene correcto? ¿se debe hacer? ¿a quién interesa que se haga? Vamos a ver qué nos cuentan los famosos autores del denominado STOPIT-2.

Metodología: revisión sistemática y meta-regresión. Se realizó una búsqueda sistemática y se seleccionaron ensayos clínicos aleatorizados truncados (búsqueda en enero de 2.007), que se compararon con otros no truncados obtenidos de revisiones sistemáticas (búsqueda en enero de 2.008). Para ello varios expertos, con los resultados de los estudios cegados, determinaron la elegibilidad de los ensayos clínicos no truncados en base a su similitud con los truncados. Para la selección de éstos no se tuvo en cuenta la intervención realizada, pero sí que en el análisis intermedio los resultados fueran favorables a la misma.

Resultados: el análisis incluyó 91 ensayos clínicos truncados que respondían a 63 preguntas de investigación distintas y que fueron apareados con 424 ensayos no truncados. El RR combinado de los ensayos truncados vs los no truncados fue de 0,71 (IC95% 0,65-0,77). Este resultado fue independiente de la presencia o no de una regla de interrupción para detener el ensayo y la calidad metodológica de los estudios (evaluada a través de la aleatorización y el enmascaramiento). Se observaron grandes diferencias en la estimación del tamaño del efecto entre los ensayos truncados y no truncados (RR<0,75) sobre todo en los ensayos clínicos truncados en los que se registraron menos de 500 eventos. En 39 de las 63  cuestiones investigadas (62%) los efectos combinados de los ensayos no truncados no mostraron un beneficio estadísticamente significativo.

Conclusión de los autores: los ensayos clínicos aleatorizados truncados se asocian con un mayor tamaño del efecto que los no truncados. La diferencia encontrada fue independiente de la existencia de una regla de interrupción para deterner el ensayo y fue mayor en los estudios más pequeños.

Financiación: UK Medical Research Council.

Comentario: nos encontramos antes uno de esos estudios metodológicos áridos, desabridos, que tanto trabajo nos cuesta leer (no digamos entender) y que tan poca repercusión suelen tener entre los profesionales. Si lo hemos incluido en el blog es porque el esfuerzo realizado por Montori, Guyatt y el resto de eminencias que firman este trabajo, no debe pasar desapercibido a los que, a su lado, somos neófitos en esto que hemos llamado Medicina Basada en la Evidencia.

Detrá de un inteligente diseño (recomendamos leer el apartado de fortalezas y limitaciones del estudio) y una cuidadosa ejecución ¿cuál es el mensaje del denominado STOPIT-2? Por un lado, sabemos que los ensayos clínicos son la fuente básica de evidencia del efecto los tratamientos. Y por otro, sabemos que su diseño y ejecución no está exenta de problemas, sobre todo si los autores deciden liquidar el experimento antes de lo previsto en el protocolo. Máxime si dicha decisión se basa en el efecto beneficioso observado. O dicho de otra forma «lo que hemos visto es suficientemente bueno. Es absurdo seguir gastando dinero o recursos en esto». La decisión de interrumpir, truncar, un ensayo clínico antes de lo previsto en el protocolo puede sesgar los resultados, debido a que la estimación del efecto del tratamiento fluctúa de forma aleatoria en el tiempo y, sobre todo, al inicio del estudio. Además, existen modelos estadísticos que sugieren que la interrupción precoz de un ensayo clínico sobreestima de forma sistemática el tamaño del efecto del tratamiento investigado. El STOPIT-2 viene a añadir evidencia de que, efectivamente, esto es así. Sobre todo, si el tamaño del estudio es pequeño. ¿Es lícito interrumpir, desde una perspectiva metodológica, un estudio? Todos hemos oído hablar de los análisis intermedios de los ensayos clínicos y que por motivos éticos (un beneficio o perjuicio desproporcionado de una de las ramas de tratamiento) hay veces que no se debe insistir hasta el final del estudio. No obstante, esta idea tan clara, con la que podemos estar de acuerdo, es muy difícil llevar a la práctica. Para evitar obtener conclusiones erróneas de los ensayos y, por qué no decirlo, para evitar el fraude, el protocolo debe incluir lo que se denomina una regla de interrupción que consiste en fijar a priori, en relación a la variable principal estudiada, el número y momento de realización de los análisis estadísticos intermedios que se llevarán a cabo durante el estudio. Así mismo, se debe determinar -insistimos, siempre a priori– el nivel de significación (o sensibilidad) que deberá alcanzar la diferencia entre los tratamientos para interrumpir el estudio.

A nadie se le escapa que ante un estudio finalizado antes de tiempo, tendremos que escudriñar si existe regla de interrupcion, si es pertinente y si se ha aplicado como estaba previsto. Para ello tendremos que patearnos el apartado metodológico y la discusión. A cambio, evitaremos caer en la trampa de estudios truncados sin una justificación clara, generalmente patrocinados por entidades con intereses directos en sus resultados, cuya conclusiones suelen ser despampanantes. Interrumpir un estudio debe ser algo excepcional y, por supuesto, debe realizarse anteponiendo los intereses de los pacientes a cualquier otro. Lo demás, son historias que no nos interesan.