Twitter es una joya tecnológica y un nuevo medio de comunicación al que todos hemos visto nacer y crecer. Como fuente de información, no tiene precio. Y como un ejemplo vale más que mil palabras, el post de hoy gira en torno a un tuit de Sarah Chapman quien está asistiendo estos días a The 23rd Cochrane Colloquium en Viena, evento que podéis seguir en la red utilizando el hashtag #CochraneVienna. Dicho tuit fue retuiteado por Philip Jones y a su vez, retuiteado por David Colquhoun cuyo tuit me envió Laura Diego a través de un DM (Direct Message). Detallo el itinerario realizado por el tuit de Sarah Chapman por dos motivos: es un buen ejemplo de cómo se viraliza la información en Internet y porque cualquiera de los cuatro eslabones de esta curiosa cadena es digno de seguimiento por el interés de sus publicaciones.
El mensaje de Laura, que citaba el retuit de David, quien a su vez retuiteó el tuit original de Sarah es el de la imagen. En él se puede ver a un circunspecto John Ioannidis a quien todos recordaréis como autor del artículo titulado Why Most Published Research Findings Are False que ha sido uno de los más leídos y citados de PLOS Medicine. En su intervención en Viena, Ioannidis remató con esta diapositiva, en la que puede leerse (traducción libre):
- La principal utilidad de las revisiones sistemáticas ha sido revelar cómo es de miserable y poco fiable la evidencia biomédica.
- Este provocador mensaje debe sensibilizar a más gente para hacer algo con el fin de mejorar la evidencia, antes que para hacer más revisiones centradas en un tema.
- En vez de eso, las revisiones sistemáticas se han establecido como una suerte de criterio de referencia.
- Dado el prestigio que han adquirido las revisiones sistemáticas en la jerarquía de la evidencia, cada vez las elabora más gente, habiéndose creado burbujas de revisiones sobre evidencias poco fiables que tienen una credibilidad mayor de la que merecen.
- La producción de revisiones sistemáticas incluye personas con buenos propósitos, hombres de negocios serios y otros que las utilizan como herramientas de marketing.
La andanada de Ioannidis -héroe para unos, villano para otros- me ha hecho recordar una vieja anécdota que viví hace dos décadas en la Escuela Andaluza de Salud Pública. En sus aulas impartían un interesantísimo curso sobre ensayos clínicos Guillermo Carroli y Pepe Villar. Ellos me explicaron por primera vez qué era una revisión sistemática y en su portátil los alumnos pudimos ver -en mi caso, también por vez primera- una revisión de la Cochrane. Contaban Carroli y Villar que cuando la OMS tuvo conocimiento de los experimentos de Patarroyo y su vacuna para la malaria, enviaron a los hombres de negro (léase expertos) a revisar la calidad de sus investigaciones y el alcance de los resultados obtenidos. Pero la decepción fue mayúscula al ver que, desgraciadamente, seguíamos lejos de obtener una vacuna segura y eficaz contra dicha enfermedad. Quiero recordar que fue Carroli quien dijo que (en términos meta-analíticos) cuando se juntan varias mierdecitas, lo único que se obtiene es una mierda más grande.
Pido disculpas por lo poco científico de algunos de los términos utilizados este post, titulo incluido, aunque son palabras recogidas en el Diccionario de la Real Academia Española. Pero la anécdota es ilustrativa y anticipó en su día lo que ha denunciado Ioannidis en Viena. Por cierto, muy en consonancia con lo expuesto en el BMJ por Des Spence.
Terminamos por hoy y lo hacemos con un post de Rafa Bravo en Primum non nocere en el que a cuenta de una revisión de la Cochrane, se analiza la evidencia que avala en la actualidad al condroitín sulfato. Un ejemplo más del cuento de las mierdecitas, cuya moraleja es que la evidencia hay que evaluarla escrupulosamente, independientemente del prestigio de su autor y que las conclusiones deben contextualizarse meticulosasmente a la luz del estado de la cuestión del tema que se trate y la propia experiencia. Mucho pedir para las prisas con las que vamos. Pero la alternativa es sacarnos de la manga una revisión sistemática para cada ocasión sin saber (o peor aún, sabiendo) que es una revisión de mierda…
El rincón de Sísifo 
Gracias por escribir lo que todos piensan y nadie dice, aparte de Ioannidis, claro. Un saludo.
Me gustaMe gusta
Gracias a ti, María.
Un saludo.
CARLOS
Me gustaMe gusta
John Ioannidis es, seguramente, uno de los médicos más influyentes e importantes. Sus conferencias y charlas valen siempre la pena y son muy amenas. Hace 2 días colgaron la conferencia a la hace mención el tweet de la foto (https://www.youtube.com/watch?v=h2giHu8pHFY). Aún no la he visto, pero pinta muy bien. Otro de los ponentes es Ben Goldacre (su libro «Bad Pharma» hay que leerlo).
La MBE tiene varios problemas. Primero, hay que asumir que los sesgos se pueden explorar pero no eliminar (por ejemplo, el sesgo de publicación). Si la revisión sistemática está hecha con estudios sesgados, las conclusiones de la misma adolecerán de los mismos sesgos. Y eso no se puede solucionar «a posteriori». Únicamente podemos tratar de disminuir el peso de los estudios con más sesgos, pero eso no elimina los sesgos. El sesgo de publicación se puede explorar, pero no eliminar ni reducir. Recordemos que se ha estimado que entre el 30 y el 50% de los estudios no se publican (la mayoría estudios con resultados negativos).
El segundo e importante problema es que si tenemos estudios pequeños sin potencia estadística, la solución no es agregarlos en un meta-análisis. Si hacemos el meta-análisis, y posteriormente se hace una gran estudio con suficiente potencia, en más de 1/3 de los casos se contradicen las conclusiones del meta-análisis de estudios pequeños.
La mayoría de ensayos clínicos patrocinados por la industria son herramientas de marketing. En muchos casos las revisiones sistemáticas también lo son. Eso es lo que hay. Hay médicos/as que se escandalizan al hablar de estos temas, consideran que la situación no es tan grave, que se exagera, que se hace demagogia, etc. Prefieren taparse los ojos y mirar hacia otro lado. Pero la situación es muy grave, porque la investigación no es para nada fiable. Y para muestra un botón: el reanálisis de los datos crudos publicado en el BMJ (http://www.bmj.com/content/351/bmj.h4320) de un ensayo clínico que comparaba paroxetina, imipramina y placebo (publicado originalmente en el 2001) contradice completamente las conclusiones originales de los autores. ¿Podemos fiarnos de los ensayos clínicos?
Me gustaMe gusta
Hola Sebas:
Gracias por compartir tus reflexiones en Sala de lectura y muchas gracias por el enlace al «streaming» de Coloquio Cochrane de Viena, porque hay ponencias que me interesan mucho.
Un saludo.
CARLOS
Me gustaMe gusta
Hola, Carlos. Es un placer compartirlas en tu interesantísimo blog. De nada.
Acabo de ver la ponencia de Ioannidis. Es muy breve y me he quedado con ganas de más. Un resumen de lo que dice:
– por desgracia, los estudios siguen sin replicarse. Recordemos que siempre hay que tratar de replicar los estudios para confirmar los hallazgos, ya que tenemos una tasa elevada de falsos positivos
– hay una verdadero estallido/burbuja de meta-análisis
– la mayoría son, posiblemente, herramientas de marketing de la industria: el 80% de los autores tienen conflictos de interés
– las revisiones sistemáticas se han convertido en un negocio. Más de 100 empresas ofrecen sus servicios a las compañías farmacéuticas para elaborarlos
– elevado sesgo de publicación de dichas revisiones sistemáticas: ¡Más de 2/3 no se publican! Supongo que si el resultado no es del agrado de la compañia, se entierra la revisión y ya está.
– las revisiones sistemáticas son, muchas veces, trampas que combinan evidencia sesgada.
Por supuesto, no lo dudes, este resumen está sesgado por mis prejuicios, así que lo mejor es ver la conferencia y que cada cual saque sus conclusiones.
Un abrazo
Me gustaMe gusta
El post aunque esta en mi blog es de Juan Antonio Alonso que es traumatologo, lo cual tiene mucho más merito. Saludos y enhorabuena por el post
Me gustaMe gusta
Gracias por la aclaración, Rafa.
Un saludo.
CARLOS
Me gustaMe gusta
Ya que el tema va de las revisiones sistemáticas de mierda…querría hacer notar que el post enlazado, el del traumatólogo, creo que se refiere más bien al uso interesado de la evidencia científica que hacen las empresas farmacéuticas con la finalidad,nada sorprendente, de estimular sus ventas.
En el mismo post se citan dos estupendas guías sobre artrosis,del NICE una y americana la otra que utilizan la misma metodología (revisiones sistemáticas) y concluyen de manera bastante diferente a la propaganda del laboratorio (lo que tampoco es sorprendente).
En conclusión y a riesgo de sesgo, diría que el problema no es la herramienta sino cómo se usa…y el bajo nivel de inglés que tenemos casi todos.
Por descontado,yo tampoco estoy libre de sesgo. Att.
Me gustaMe gusta
Hola Anna:
El problema es doble: por un lado revisiones sistemáticas metodológicamente impecables, pero hechas con ensayos clínicos de baja calidad y por otro las revisiones sistemática con numerosos problemas metodológicos cuya finalidad no es acercarnos a la verdad, sino servir de soporte al marketing de tal o cual medicamento. En el caso que nos ocupa, aparece -como tú señalas, un problema añadido- que es coger una revisión del primer grupo (en este caso, de la Cochrane) y retorcer sus resultados para acercarlos a unos determinados intereses. De todas formas, aunque usé el post de Rafa Bravo como ejemplo de lo que está pasando, me gustaría recalcar que la idea del post es doble: cualquier revisión sistemática no es «per se» de calidad. Y por ello hay que evaluarla, con las herramientas ad hoc de las que disponemos, independientemente de si la ha hecho la Cochrane, el NICE o mi sociedad.
Por cierto, sobre las revisiones Cochrane se cierne una amenaza más, como se denunció en su momento a cuenta del sesgo de publicación (ver: http://elrincondesisifo.es/2010/03/11/bmj-el-sesgo-de-publicacion-una-amenaza-para-las-revisiones-sistematicas/) Pero ésta es otra historia. O quizás la misma…
Un saludo y gracias por tu comentario.
Me gustaMe gusta
Totalmente de acuerdo con que no es oro todo lo que reluce…pero,para el que no esté familiarizado con este mundo de la metodología, me gustaría insistir en que hay instrumentos que permiten valorar la calidad de la evidencia así como cualquiera que haga una revisión (o un estudio de otro tipo) tiene la obligación casi sagrada (o debería) de señalar las limitaciones del documento. Es aquello de «recomendación débil por estar basada en estudios de poca calidad», coletilla que se pone a menudo en los resúmenes de evidencia.
El sesgo de publicación es un problema grave,y va en aumento.
No vendría mal que los clínicos se familiarizaran con la lectura crítica.
Buenos días y gracias por responderme.
Me gustaMe gusta
El problema de las revisiones sistemáticas no son sólo los conflictos de interés, que también los tienen. Las revisiones NICE son metodológicamente impecables. Son, quizás, las mejores guías que conozco. El problema es su materia prima de trabajo: los estudios. La medicina está trufada de falsos positivos y estudios sesgados. Y eso no se puede arreglar con una revisión sistemática. Los sesgos son todos aquellos factores que influencian el diseño, la extracción de datos, el análisis y la presentación de resultados, que tienden a producir hallazgos en la investigación que no se deberían producir. Los sesgos no están en el protocolo, la mayoría no se pueden explorar ni analizar, pero sabemos que están ahí. ¿Por qué lo sabemos?. Sólo para hacernos una idea de la magnitud del problema, observando solamente los mejores estudios, los que se publican en las mejores revistas, ¡MÁS DEL 75% NO SE PUEDEN REPRODUCIR! (http://www.nature.com/news/robust-research-institutions-must-do-their-part-for-reproducibility-1.18259). O sea, más del 75% de los estudios, si se tratan de reproducir, no se puede hacer. Y un estudio que no se puede reproducir no es válido, no es fiable, no sirve para nada, por que no estamos seguros de qué ha sido lo que ha provocado el resultado. A eso se refiere Ioannidis cuando escribe en su diapositiva final:
– La principal utilidad de las revisiones sistemáticas ha sido revelar cómo es de miserable y poco fiable la evidencia biomédica
Las revisiones sistemáticas son una herramienta excelente para hacer un compendio de la evidencia disponible. Pero, lo que revisan es mierda, parafraseando el título de esta entrada. Por desgracia, no nos podemos fiar de la mayoría de estudios. Y lo que hay que hacer también lo expone Ioannidis en su diapositiva final:
– Este provocador mensaje debe sensibilizar a más gente para hacer algo con el fin de mejorar la evidencia, antes que para hacer más revisiones centradas en un tema.
Hay que tener mejores estudios. Recomiendo la lectura de otro artículo de Ioannidis, también en PLOS: http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.1001747
Un saludo
Me gustaMe gusta
No se empieza una casa por el tejado! xD
Gracias por las referencias (sobretodo a sebas Vignoli)
Me gustaMe gusta
Las revisiones sistemáticas lo que acaban sirviendo es para subir el índice H
Me gustaMe gusta
Chapeau Gerardo!!!!
Aún estamos vivos!!! Tanta mediocridad, tanto engaño ….
Adelante!!!!
marga
Me gustaMe gusta
Estimad@s amig@s
Hoy me siento apesadumbrado.
Os cuento. Acabo de volver a asistir a un taller en el congreso SAMFyC sobre cribado de cáncer, y prácticamente nos dicen que no existe ningún cribado con evidencia clara de realizarlo, a pesar de estar aprobados por todas las Sociedades. Esto mismo ya lo había oido de Mercé Marzo otras veces.
Ahora leo vuestras dudas enormes sobre las Revisiones sistemáticas y meta-análisis.
¿Qué creer entonces?
Lo malo es caer también en el nihilismo fundamentalista, puesto que ¿donde está la verdad, y, quién publica cosas ciertas irrefutables?
Al final no vamos a saber donde posicionarnos y nos volveremos agnósticos en la Medicina
En fin. Son reflexiones personales para momentos de crisis
En cualquier caso sigo leyendo atentamente todo lo que publicáis, puesto que ya estamos hartos del bombardeo y los conflictos de intereses con la Empresa Famarcéutica, y de los propios Servicios Sanitarios regionales, que también tienen sus intereses…
Saludos cordiales
Enrique Martín Rioboó
Me gustaMe gusta
Hola Enrique:
Nada más lejos de mi intención que sembrar el campo de la Medicina con las minas del nihilismo. Pero sí que me gustaría una actitud, por parte de algunos, más proactiva y crítica a la hora de aceptar según qué recomendaciones (de cribado, tratamiento…). Y sobre todo, una vez evaluada la evidencia -provenga de quien provenga- me parece fundamental hacer un esfuerzo para su contextualización clínica con el fin de valorar el alcance y aplicabilidad de los resultados. Me temo, que tendemos a generalizar las intervenciones (los cribados poblacionales son un buen ejemplo) y a olvidar aquello tan obvio de que cada paciente, es un mundo.
Un saludo y gracias por tu comentario.
CARLOS
Me gustaMe gusta
Hola, Enrique. No tienes que sentir pesadumbre, creo yo. La rectificación o auto-corrección es una de las principales características de la ciencia. Recitificar errores es bueno, ¿no?
La crítica argumentada basada en la evidencia no es nihilismo, además dando soluciones y alternativas. El nihilismo niega el conocimiento, dice que no es posible. Tildar a los críticos de nihilistas es similar a tildar de «antivacunas» a los críticos de las vacunas, o de «antipsiquiatría» a los críticos de la psiquiatría. Falta poco para que denominen «antimedicina» a los críticos como Ioannidis. Esos argumentos son pobres y falaces. No estoy diciendo que tú uses esos argumentos. No me refiero a ti. La ciencia es revisión, cuestionamiento continuo, autocrítica, además de innovación y descubrimientos. Quien vea en la crítica razonada algo negativo no es científico, es más bien dogmático. La medicina no es defender como dogmas los principios existentes, también es cuestionarlos si hay motivos para ello. Y, por desgracia, sobran los motivos. Un saludo
Me gustaMe gusta
Coincido con vuestros comentarios. Soy el primero que hago recapacitar a los residentes sobre las medias verdades y mentiras claras que se publican, y sobre todos los sesgos que caracterizan mucha de nuestra ·»evidencia»·.
Fue solo un comentario sobre «donde encontrar la verdadera evidencia» y como limpiar el grano de la paja..
Saludos cordiales
Me gustaMe gusta
Hola de nuevo. Me acordé de la entrada porque la retwiteaste hace poco. Ioannidis ha publicado un artículo que trata el tema de esta conferencia: http://onlinelibrary.wiley.com/doi/10.1111/1468-0009.12210/abstract;jsessionid=AF67891E76693EB74C3BF2DD8FB95E38.f02t01
Aquí podemos leer con detalle toda información que imparte en su charla y consultar la bibliografía.
Como comentábamos en el post, además del problema con las revisiones, el problema principal es con la baja calidad de la investigación primaria. Muchas de las cosas que hacemos están fundamentadas en estudios sesgados. Cuando se hace un ECA bien hecho a posteriori (potencia adecuada, medidas de resultado duras, comparador adecuado, seguimiento adecuado, sin sesgos aparentes, etc), en el 40% de los casos lo que hacemos está mal (http://www.mayoclinicproceedings.org/article/S0025-6196(13)00405-9/abstract). Sin ir más lejos, en las últimas semanas se han publicado en el New Engrandece 3 importantísimas revocaciones:
– Tratamiento del cáncer de próstata: http://www.nejm.org/doi/full/10.1056/NEJMoa1606220
Nunca se había comparado tratar el cáncer con nada. Se pensaba que no era ético. Pues bien, este ECA muestra que el tratamiento de cáncer de próstata con cirugía o radioterapia no tiene ningún efecto sobre la mortalidad específica ni la total. Este estudio cuestiona seriamente nuestro paradigma sobre el cáncer, además de abrir la puerta a otros estudios que comparen el tratamiento de otros tipos de cáncer con no hacer nada
– Los stents farmacológicos no tienen ninguna ventaja importante sobre los metálicos: http://www.nejm.org/doi/full/10.1056/NEJMoa1607991
– Implantar un DAI a pacientes con IC sistólica no isquémica ni tiene ningún beneficio: http://www.nejm.org/doi/full/10.1056/NEJMoa1608029
Un cordial saludo y felicidades de nuevo por tu trabajo, que comparte con nosotros tu sabiduría.
Me gustaMe gusta
[…] Es un tema al que nos hemos referido con anterioridad en este blog de forma directa o quizás, menos sutil y por su importancia hemos pensado que es de gran interés para los profesionales sanitarios de […]
Me gustaMe gusta
[…] Empezando por el principio, si eres seguidor de Rafa Bravo habrás visto que ha hecho en su blog un estrecho marcaje de la crisis de la vitamina D con varios posts (1, 2, 3, 4, 5, 6, 7) cuya lectura te recomendamos y que en resumen, tiene las causas apuntadas más abajo, a las que podemos añadir la falta de espíritu crítico, lastre de incalculables efectos asistenciales que arrastramos desde cualquier facultad de ciencias de la Salud como pecado original y que, en nuestro desempeño, nos deja a merced de la maquinaria promocional, en su versión básica -a la puerta de las consultas- o más sofisticada -la producción industrial de revisiones sistemáticas-. […]
Me gustaMe gusta
[…] de confusión masiva para apuntalar determinadas recomendaciones”. Y más adelante, en 2015, recogimos esta cita de Ioannidis: “La principal utilidad de las revisiones sistemáticas ha sido revelar cómo es […]
Me gustaMe gusta