Guía básica para detectar la mala ciencia

A-Rough-Guide-to-Spotting-Bad-Science-2015.pngHoy comienza en Murcia el XXII Congreso Nacional de la SEFAP con el sugerente título El FAP que necesitan los pacientes y el sistema sanitario. Este lema, que se nos antoja relacionado con el del congreso anterior en Granada (El FAP 21 ante un nuevo reto profesional) da pistas sobre el reposicionamiento que busca una categoría profesional que nació hace décadas y que se ha quedado pequeña para muchos de sus integrantes. Para entender la situación basta echar un vistazo a la orden que mil años después reconoció el carácter de profesionales sanitarios de los FAP para comprobar el rebaño de churras y merinas en el que se convirtieron sus funciones, con un artículo 2.a poco o nada desarrollado institucionalmente que ha evolucionado gracias a la iniciativa personal de algunos compañeros, que no fruto de la necesidad sentida de la organización sanitaria o del desarrollo de sus planes.

Esperar otra cosa a estas alturas habría sido fruto de un sueño lisérgico: si tradicionalmente, los medicamentos han tenido cabida en la agenda diaria ha sido por el enorme gasto que originan antes que por sus implicaciones en la calidad asistencial y, no digamos, la seguridad de los pacientes. No nos anticipemos porque este asunto hoy no toca. Pero tocará.

Para hoy y dado que andamos en tierras pimentoneras, Mercè Monfar ha tenido la amabilidad de traducir una infografía que cazamos al vuelo hace unos días en la cuenta de @trishgreenhalgh la autora del libro con el que dimos nuestros primeros pasos en la lectura crítica de la literatura científica y que, como verás en el enlace, tiene una nueva edición.

Que Internet es un arma de doble filo ya lo hemos comentado en varias ocasiones. Parafraseando a Sergio Minué podríamos decir  que la Red le ha dado altavoces a las hormigas de todos los colores. Esto es: hay fuentes que honestamente tratan de informar y poner a tu alcance las mejores evidencias. Y las hay que tratan de tergiversar el sentido de las investigaciones o retorcer sus resultados hasta hacerlos irreconocibles. En un post anterior ya hicimos una aproximación a este tema. En el de hoy, nos extendemos un poco más y en 12 pinceladas, recogemos los aspectos que constituyen una guía tan básica como necesaria para detectar la mala ciencia. Necesaria para los pacientes. Para los que informan en los medios generales de temas de salud. Y necesaria para los profesionales sanitarios que, a veces, damos por supuestas o por sabidas cosas por encimas de nuestras posibilidades. Dice así…

«Es importante ser capaz de evaluar las pruebas que hay detrás de una información científica. Es igualmente importante poder detectar una mala información científica, o los fallos en estudios científicos. Los doce puntos siguientes te ayudarán a separar la ciencia de la pseudociencia.

1.- Titulares sensacionalistas Los titulares suelen estar diseñados para incitar a los lectores a clicar y leer el artículo. En ocasiones, pueden simplificar en exceso los descubrimientos científicos. En el peor de los casos, hacen sensacionalismo y los tergiversan.

2.- Resultados malinterpretados Los artículos periodísticos pueden distorsionar o malinterpretar los descubrimientos científicos para poder presentar una buena historia, sea o no a propósito. Si es posible, intenta contrastar la informaicón leyendo la investigación original en que se base el artículo.

3.- Conflictos de interés Muchas compañías emplean científicos para realizar investigación y publicarla. Esto no necesariamente invalida el trabajo, pero se debe tener presente al analizarlo. La investigación también se puede tergiversar para obtener beneficios personales o financieros.

4.- Correlación y causalidad Ten cuidado con cualquier confusión entre correlación y causalidad. Una correlación entre variables no siempre significa que una es causa de la otra. A partir del siglo XIX empezó a incrementarse el calentamiento global y disminuyó el número de piratas, pero la falta de piratas no causa el calentamiento global.

5.- Conclusiones sin fundamento La especulación frecuentemente puede ayudar al avance de la ciencia. Sin embargo, los estudios deben ser claros en cuanto a los hechos que se demuestran y a qué conclusiones aún no cuentan con pruebas. Una declaración formulada en lenguaje especulativo puede requerir más datos que la confirmen.

6.- Problemas con el tamaño muestral En los ensayos, la confianza en los resultados es menor cuanto más pequeña sea la muestra de la que se derivan. Las conclusiones obtenidas aún pueden ser válidas, y en algunos casos es inevitable trabajar con una muestra pequeña, pero las muestras grandes acostumbran a arrojar resultados más representativos.

7.- Muestras no representativas En los ensayos con seres humanos, los participantes se seleccionan para que sean representativos de una población mayor. Si la muestra difiere de la población en conjunto, entonces las conclusiones del ensayo pueden ser sesgadas hacia un resultado determinado.

8.- ¿Y el grupo control? En los ensayos clínicos, los resultados de los participantes del grupo de prueba se deben comparar con los de un «grupo de control» al que no se le administra la sustancia que se estudia. Además, la asignación a los grupos debe ser aleatoria. En los experimentos en general, se debe emplear un ensayo de control donde se controlen todas las variables.

9.- No hay enmascaramiento Con la finalidad de intentar prevenir el sesgo, los participantes no deben saber si están en el grupo de prueba o en de control. En un ensayo con doble ocultación, ni siquiera los investigadores saben en qué grupo están los participantes hasta que finaliza el estudio. Hay que tener en cuenta, sin embargo, que un ensayo con ocultación no siempre es factible o ético.

10.- Presentación selectiva de los datos Lo que también se conoce como cherry-picking consiste en elegir los datos de entre los resultados que avalan los resultados de la investigación, ignorando los que no lo hacen. Si un trabajo de investigación extrae sus conclusiones de una selección de los resultados, puede ser culpable de esta práctica.

11.- Resultados que no se pueden replicar Los resultados deben poderse replicar mediante investigación independiente y, cuando sea posible, probarse en un amplio rango de condiciones para asegurar que son consistentes. Las afirmaciones extraordinarias requieren pruebas extraordinarias –es decir, ¡mucho más que un solo estudio independiente!

12.- No se ha hecho revisión por pares La revisión por pares es una parte importante del proceso científico. Consiste en que otros científicos evalúan y critican los estudios antes de su publicación en una revista. La investigación que no ha pasado por este proceso no tiene tan buena reputación y podría ser defectuosa.»

Colofón Lo dejamos aquí. Nos espera un congreso que abrirá sus puertas en unas horas. Nuestra enhorabuena a todos los compañeros que han dedicado su tiempo y su ilusión durante tantos meses. Espero que los asistentes aprovechemos la oportunidad que este tipo de eventos nos brinda para aprender, compartir y, en definitiva, mejorar. Puedes seguir los contenidos, entre otras, a través de @SEFAPXXII. Buen congreso a todos.

Deja una respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.