Tema 3 La validez de las conclusiones de la investigación | El Supervisor de la Fábrica de Juguetes Defectuosos

Tengo una pila de demandas en mi mesa porque el «Muñeco Escupemuerte» le ha chamuscado las cejas a un niño de cuatro años en Wisconsin.
¿Y sabes que te digo?
Que me importa un bledo el niño.
Lo que me jode es que hayamos firmado que el juguete era seguro basándonos en que sobrevivió a una caída de diez centímetros en un laboratorio aséptico.
Para que no acabemos todos en una prisión de máxima seguridad, necesitamos un certificado.
Necesitamos validez
La validez no significa que el juguete sea perfecto e infalible.
La validez es el grado de seguridad con el que podemos considerar que una afirmación sobre nuestro producto es cierta porque se apoya en pruebas relevantes.
No es un certificado de «apto o no apto» absoluto.
Es una escala de grises. Si testeas el muñeco tirándolo desde un segundo piso y no explota, infieres que es seguro.
Pero ¿y si el niño lo muerde? ¿Y si lo mete en el microondas?

Así que hoy me pongo una bata mugrienta de jefe de control de calidad de una multinacional del plástico barato para explicaros cómo los diseños experimentales hacen aguas.
Vuestros prototipos son basura.
Y si no aprendéis a blindar vuestros estudios, el próximo juguete provocará una alerta sanitaria.

¿de qué depende que el próximo muñeco no acabe confiscado por la policía?
Pues de grado de seguridad con el que podemos asegurar que nuestras pruebas científicas reflejan la realidad, es decir, de la solidez de nuestras inferencias.

Por cierto, bienvenidos a un nuevo tema de Fundamentos de investigación en Psicología en Diario de una Cebra.
Si es la primera vez que me escuchas, te aclaro que en este podcast adopto un personaje diferente en cada episodio.
Hoy me toca ser este amargado inspector de juguetes defectuosos para traducir la teoría más infumable a escenarios absurdos. Así evito que te duermas sobre los apuntes.

Hoy nos toca destripar los cuatro pilares que sostienen cualquier investigación científica para que no sea una estafa.

La validez de constructo, la validez interna, la validez de conclusión estadística y, como no la validez externa.

En la validez de constructo hablaremos de si nuestro termómetro mide temperatura o si solo reacciona al color de la pared.

Con la validez interna analizaremos si el muñeco escupe fuego por nuestro diseño o por pura casualidad ambiental.

La validez de conclusión estadística mide si los números del Excel tienen sentido o si son fruto del delirio de un becario explotado.

Y por último, la validez externa consiste en comprobar si el prototipo sobrevive a un niño real en un parque lleno de barro.

Mi objetivo es que si eres estudiante de psicología en la UNED, asimiles este tostón metodológico sin querer arrojarte por la ventana.

¿Por qué nos empeñamos en auditar cada uno de estos cuatro componentes con tanta saña?

Porque si fallamos en uno solo de ellos, no tenemos un experimento científico; solo tenemos un trozo de plástico peligroso listo para provocar una demanda millonaria.

Hablemos del molde de inyección de nuestra fábrica.
Imagina que en las oficinas centrales de esta nuestra amada corporación nos encargan fabricar un tierno osito de plástico blando.
El diseñador dibuja el boceto y los ingenieros crean el molde de metal donde echaremos el plástico fundido.
Si el molde está mal diseñado desde el principio, da igual que utilicemos el polímero más caro del mercado. El resultado será una masa amorfa que acojonará a los niños.
Esto es lo que mide la validez de constructo
Un constructo es esa idea abstracta que no puedes tocar directamente, como la ansiedad, la inteligencia o, en nuestro caso, la ternura del oso.
Como no puedes meter la ternura en una probeta, tienes que traducirla a cosas que sí puedas medir.
La validez de constructo es, simplemente, el grado de correspondencia entre las variables que observas y el concepto teórico que pretendes medir.
¿Tu molde de metal realmente representa un oso, o has fabricado un churro de plástico y lo estás llamando peluche?

Para que tu molde no sea una basura, tienes que evitar tres grandes amenazas a la validez de constructo.

La primera ocurre cuando el diseñador del juguete no tiene ni idea de lo que está dibujando.
Esto recibe el nombre de inadecuada comprensión y definición del constructo

Si confundes la «ternura» con la «ausencia de pinchos», tu definición es incompleta. En psicología pasa igual.
Si vas a investigar la reputación moral y acabas preguntando a los sujetos cómo se sentirían si los pillaran, ya no estás midiendo su reputación. Estás midiendo su sentimiento de vergüenza.
Has mezclado conceptos próximos pero distintos.
Tu visión del fenómeno será parcial, inútil y digna de despido fulminante.

La segunda amenaza es la chapuza instrumental. Dicho técnicamente es una inadecuada evaluación de los constructos
Esto es elegir indicadores que no tienen sentido.
Es como intentar evaluar si el oso es «abrazable» midiendo su peso con una báscula industrial para camiones.
El peso no mide la abrazabilidad. Si tus indicadores son incorrectos, tus conclusiones sobre el constructo serán una fantasía animada.

Y luego, está el factor humano. Traemos a un grupo de niños a la fábrica para probar el prototipo.
Pero los metemos en una sala blanca con un espejo unidireccional y tres tipos con bata blanca apuntando cosas en una tablet.
Obviamente se produce lo que se conoce como reactividad de los participantes
Los humanos no son trozos de plástico inerte.
Al saberse observados, cambian su comportamiento.
No juegan de forma natural. Intentan adivinar qué queremos que hagan o actúan según las características de la demanda de la situación.
Así que la tercera amenaza a la validez de constructo es la deseabilidad social
El niño en el laboratorio ve la motosierra de plástico que escupe chispas reales y el bloque de madera educativo.
Quiere coger la motosierra.
Pero como su madre lo mira con cara de pocos amigos a través del cristal, coge el bloque de madera para parecer un niño educado y responsable.
Tus datos acaban de ser contaminados por la hipocresía social.

¿Y cómo solucionamos este desastre de las amenazas a la validez de constructo en el control de calidad? Pues, planificando el contacto al milímetro, usando placebos y, sobre todo, recurriendo al enmascaramiento.

Para esto tenemos los procedimientos de doble ciego.
Le damos el juguete al niño sin que él sepa si es el prototipo experimental o una imitación barata de control.
Y el operario que se lo entrega tampoco sabe cuál es cuál.
Así evitamos que el operario le haga gestos inconscientes al niño para que elija el juguete que a nosotros nos conviene.

En definitiva, ¿de qué sirve tener la mejor fábrica de juguetes del mundo si el molde de inyección no representa el muñeco que querías construir?
De absolutamente nada, porque acabarás midiendo el peso de un monstruo en lugar de la ternura de un oso.

Una vez que hemos visto la validez de constructo y sus amenazas, olvidaos por un momento del oso de plástico y mirad este prototipo de «Perrito Saltarín».
Se supone que salta cuando el niño le aprieta la cola.
En nuestras pruebas de laboratorio, el perro no para de dar botes.
Maravilloso, ¿verdad? Pues no.
Resulta que la mesa donde hacemos las pruebas está justo al lado de la prensa hidráulica de la fábrica, que hace vibrar todo el edificio como un terremoto de escala siete.
El perro no salta por su mecanismo; salta porque el suelo está temblando.

Esto es lo que mide la validez interna. En psicología, es el santo grial de la causalidad.
La validez interna es la seguridad de que los cambios en tu variable dependiente, es decir, los saltos del perro, se deben única y exclusivamente a tu variable independiente, que es el motorcito de la cola, y no a que la mesa vibre por culpa de la prensa hidráulica.
Si no puedes aislar las variables extrañas, tus conclusiones son tan falsas como un billete de madera.

Para garantizar esto, tenéis que esquivar otro tipo de amenazas.

La primera es la chapuza de comparar peras con manzanas desde el inicio. A esto se le llama selección diferencial
Imaginad que para probar si un juguete de fútbol mejora el control emocional, comparamos a los niños del equipo de fútbol del colegio, que son casi todos chicos hiperactivos, con el grupo de costura, que son casi todo chicas tranquilas.

Si al final del trimestre no hay diferencias, ¿es porque el juguete no funciona o porque los grupos eran totalmente distintos desde el primer día? Felicidades, acabáis de contaminar el estudio.

La segunda amenaza es el espejismo del peor día o traducido a concepto de examen, la regresión a la media.
Si seleccionas a los participantes de tu estudio porque han sacado la peor puntuación posible en un test de matemáticas un viernes a las ocho de la tarde, lo más probable es que en el siguiente examen puntúen más alto simplemente porque están descansados. No es que tu clase extra de lógica sea milagrosa. Es que las puntuaciones extremas tienden a volver de forma natural a su promedio.

Y no nos olvidemos de la inconsistencia del propio inspector o en la ciencia, del propio investigador. Es la amenaza de la instrumentación
Si para evaluar la mejora de los alumnos el profesor usa dos exámenes diferentes y el Modelo A es un paseo militar mientras que el Modelo B es una tortura china, los resultados no medirán su aprendizaje. Medirán la suerte que han tenido al elegir pupitre.

Por último, tened en cuenta el tiempo siempre juega en vuestra contra. así que la ultima amenaza a nuestra validez interna son la historia y la maduración

La historia son eventos externos que ocurren a la vez que tu estudio, como que el director del colegio anuncie un concurso de matemáticas con premio en metálico justo cuando tú empiezas a probar tu método de estudio. ¿Mejoran por tu método o por el dinero?

Y la maduración es el propio crecimiento biológico. Si pruebas un juguete de coordinación en bebés durante un año, los bebés coordinarán mejor al final porque han crecido, no porque tu trozo de plástico barato tenga propiedades mágicas.

En resumen, ¿de qué sirve que tu juguete parezca funcionar en el laboratorio si no puedes asegurar que se mueve por su propio motor y no porque estás agitando la mesa?
De nada, porque sin validez interna solo tienes una ilusión causal que acabará costándonos una demanda millonaria en los tribunales.

Cambiemos de juguete.
Imagina que estamos en el taller de control de calidad midiendo el grosor de la coraza del «Bebé Llorón Radiactivo» para asegurarnos de que no gotee líquido tóxico.
Para ahorrar costes, como hace siempre, el director financiero nos ha comprado calibres de plástico barato en lugar de herramientas de acero templado.
Anoche cayó una ola de frío polar sobre el polígono y la calefacción de la fábrica estaba apagada.
El frío ha contraído el plástico de nuestros calibres.
Hoy estamos midiendo los juguetes con una regla deformada que marca tres milímetros menos de lo real.

Esta es una de las amenazas de procedimiento a la validez interna, la instrumentación.
El juguete no ha cambiado, pero tu herramienta de medición sí.
En psicología ocurre exactamente lo mismo cuando tus observadores se cansan a mitad del experimento, o cuando usas un cuestionario de personalidad cuyas preguntas se interpretan de forma diferente según el día.
Si tus instrumentos de medida varían su precisión entre los grupos o a lo largo del tiempo, tus datos son pura fantasía.

Si eres de los que analizan en exceso su propia mente debido a tu alta capacidad, sabrás lo que es medir tu autoestima diaria con un termómetro mental que cambia según si has dormido bien o si el café de la mañana estaba quemado. Eso también es un error de calibración.

Pero las amenazas de procedimiento a la validez interna no acaban con las herramientas rotas.
¿Qué pasa con nuestro panel de niños probadores?
Sentamos a veinte niños para que jueguen con el prototipo de la motosierra de chispas durante dos semanas.
El primer día están todos entusiasmados.
Al quinto día, tres niños se han quedado sin cejas por las chispas y sus padres los han sacado del estudio. Otros cinco se han aburrido tanto que prefieren mirar la pared.
Al final solo te quedan los cuatro niños más temerarios y resistentes al dolor.

Esta amenaza recibe el nombre técnico de pérdida de participantes.
El peligro real no es que te quedes con menos sujetos en la muestra.
Lo jodido es que la pérdida sea sesgada.
Si los niños más sensibles al peligro huyen de tu estudio, tu grupo final ya no representa a la población general.
Solo representa a un puñado de pequeños kamikazes. Has destruido la equivalencia inicial de tus grupos por culpa de un abandono selectivo.

Y para rematar la faena, hablemos del desgaste por insistencia.
Hablemos de otras de las amenazas, el efecto que produce la repetición de pruebas.
Si obligas a un niño a resolver el mismo rompecabezas de plástico diez veces seguidas para medir su velocidad de reacción, el niño no será más rápido porque tu juguete estimule su intelecto.
Será más rápido porque se ha aprendido el puzzle de memoria.

La propia experiencia de pasar por el test altera la respuesta en las mediciones posteriores.
El sujeto aprende, se cansa o se vuelve inmune a la tarea.
En el taller, si golpeas el mismo brazo articulado del muñeco cien veces para ver si resiste, el plástico acabará cediendo por fatiga del material, no porque tu diseño sea defectuoso.

En resumen: ¿por qué no puedes fiarte de un test de seguridad si tu calibre se encoge con el frío o tus probadores huyen despavoridos de la sala?
Porque las alteraciones en tus herramientas de medida, el desgaste por el uso repetido y el abandono selectivo de los sujetos destruyen cualquier garantía de que el resultado se deba realmente a tu intervención.

Vamos a dejar a un lado las probetas y los juguetes rotos.
Vamos a subir a las oficinas de administración, ese purgatorio gris donde los contables y los analistas de datos juegan a ser Dios con sus hojas de Excel.
Imaginad que queremos demostrar que a mayor cantidad de polímero de alta densidad en el molde, más resistente es el juguete.
Para demostrarlo, registramos los datos de producción.
Pero resulta que las básculas de la fábrica están descalibradas y el software de análisis tiene un virus que redondea los decimales al azar.

La validez de conclusión estadística se trata del grado de seguridad que tenemos al afirmar que dos variables covarían y con qué fuerza lo hacen.
En nuestro taller, es la certeza de que realmente hay una relación matemática sólida entre el peso del plástico y la resistencia del muñeco, y que tus cálculos estadísticos no son el delirio febril de una hoja de cálculo corrupta.

Si vuestras herramientas de medición son una basura, vuestras matemáticas también lo serán porque presentan errores de medida
Si pesas el mismo camión de plástico cinco veces y la báscula analógica oxidada de la entrada te da cinco pesos diferentes, has introducido ruido en los datos.
No hay consistencia.
En psicología, si usas un test de personalidad mal diseñado que da resultados caóticos según el humor del sujeto, tus análisis estadísticos serán incapaces de detectar ninguna relación real.

Pero el verdadero desastre ocurre cuando diseñas pruebas tan mal calibradas que es imposible que los datos varíen.
Lo haces tan mal que provocas una restricción del rango de variabilidad.
Los valores de tus variables están tan apretados que no hay margen para ver diferencias.
Aquí es cuando aparecen los temidos efecto suelo y efecto techo que afectan a la validez de conclusión estadística
Imagina que queremos comprobar los conocimientos de nuestros pequeños operarios con un examen de montaje de juguetes.

Así que, en un alarde de chulería, pones un examen tan absurdamente difícil para medir las habilidades de los niños que absolutamente todos los participantes sacan un cero o un uno.
Las puntuaciones se arrastran por el suelo. No hay variabilidad porque la prueba superaba por completo el nivel de la muestra.
Esto es lo que se denomina efecto suelo. Es tan jodido que todos los participantes sacan unos valores ridículos.

Después de ver el resultado, tu autoestima resulta gravemente herida, asi que ahora pones un examen de sumar dos más dos.
Todos los sujetos obtienen un diez rotundo. Las puntuaciones se acumulan en el máximo.
Así que consigues el resultado contrario, el efecto techo.

En ambos casos, tu estadística es inútil porque has capado la variabilidad: no puedes demostrar diferencias si el examen es tan difícil que todos se estrellan en el suelo, o tan ridículamente fácil que todos tocan el techo.

Para colmo, está el problema del tamaño del taller de pruebas.
Pero eso no es todo, también tienes el peligro de que tu tamaño de muestra no sea adecuado y se produzca lo que se denomina baja potencia estadística.

Si solo testeas tres juguetes de un lote de diez mil y concluyes que el producto es seguro porque ninguno ha explotado en tus manos, eres un temerario.

Una muestra ridículamente pequeña reduce la capacidad de tu prueba estadística para detectar la covariación real entre las variables. Necesitas una muestra lo bastante grande para que las matemáticas tengan la fuerza de revelar la verdad.

Al final, ¿de qué sirve tener los mejores gráficos de barras en tu presentación si los datos de origen son puro ruido o están capados por arriba y por abajo?
De nada, porque habrás calculado con precisión
matemática una mentira soberana.

Salgamos de las oficinas de administración y bajemos de nuevo a la fábrica.
Ya tenemos el juguete diseñado, el molde inyectado, la causalidad controlada y el Excel libre de errores. Todo parece perfecto sobre el papel.

Pero ahora toca meter un camión de bomberos de plástico en una caja y enviarlo a las jugueterías.
Aquí es donde la teoría se da de bruces con la cruda realidad del mercado.

Entra en juego la validez externa
Es el grado en que podemos generalizar la relación detectada en nuestro laboratorio a otras personas, situaciones y momentos.

¿El juguete que ha sobrevivido a nuestras pruebas asépticas seguirá entero cuando un niño hiperactivo de Wisconsin lo estrelle contra una pared de hormigón?

Para saberlo, primero necesitamos niños que prueben el juguete. Y aquí es donde los investigadores de pacotilla cometen los peores errores de selección y caen en las amenazas del muestreo probabilístico.
El muestreo probabilístico sería lo ideal.
Tienes un listado completo de todos los niños del país y eliges a los probadores de forma totalmente aleatoria.
Pero seamos sinceros: conseguir el censo infantil y convencer a mil familias elegidas por sorteo para que vengan a la fábrica es inviable, carísimo e inusual en experimentos reales.

Por eso, tu que eres muy listo, usas el cerebro y recurres a otra estrategia: el muestreo de juicio experto. También llamado muestreo intencional. Consiste en seleccionar a los participantes a propósito porque cumplen con una característica que nos interesa.

Así que elegimos específicamente a niños diagnosticados con hiperactividad o con un historial clínico de destrucción de mobiliario. Queremos poner a prueba el camión en el peor escenario posible.

Aunque, si os digo la verdad, el departamento de finanzas siempre nos acaba imponiendo la opción más cutre y barata: el muestreo incidental
Básicamente, consiste en hacer las pruebas con los hijos de los operarios del turno de mañana porque los tenemos a mano en la guardería de la empresa y no nos cobran un duro.
Es cómodo, sí, pero tiene nula representatividad.
Si nos limitamos a estas muestras sesgadas, nos expondremos a amenazas catastróficas para nuestra seguridad.
Una de ellas es la interacción del tratamiento con la composición de la muestra
Ocurre cuando el éxito del juguete solo se da por las características particulares de los niños que lo han probado.
Imagina que probamos un programa de integración escolar usando un juguete cooperativo en un colegio piloto de diseño escandinavo, donde los niños ya están educados en la empatía extrema.
Los resultados serán maravillosos.
Pero si intentas vender ese mismo juguete en un colegio público masificado del extrarradio, los niños se lanzarán los camiones a la cabeza.
Tus conclusiones no eran generalizables; solo funcionaban con tu muestra de niños pacíficos.

Y no nos olvidemos del entorno físico de las pruebas, porque aquí se da otra amenaza por interacción: la interacción del tratamiento con la situación de estudio
Es el peligro de la artificialidad.
En psicología lo llaman falta de validez ecológica.
Tu prototipo de plástico blando funciona de fábula en nuestra sala de control de calidad, climatizada a veintiún grados constantes.
Pero cuando el niño se lleva el juguete a la playa de Benidorm a cuarenta grados a la sombra, el polímero barato se derrite, se vuelve pegajoso y libera vapores de cloro.
El experimento de laboratorio era seguro, pero la situación real ha destruido el producto.

¿De qué nos sirve que un juguete sea estadísticamente perfecto en un laboratorio esterilizado si se desintegra al primer contacto con un niño real en un parque?
De nada, porque la validez externa es la que determina si tu investigación sobrevive al impacto contra el mundo real o si se queda en una bonita y estéril fantasía de laboratorio.

Y con esto, señores inspectores de calidad, cerramos nuestro particular catálogo de catástrofes.
Dejad las carpetas de reclamaciones sobre la mesa.
Vamos a hacer un recuento rápido de los daños antes de que os firme el pase de salida.

Hemos visto que para que un juguete no acabe confiscado por la policía sanitaria, necesitamos que supere cuatro auditorías implacables.

Toda esta paranoia del control de calidad se resume en una única instrucción sagrada. Una regla de oro que coordina cada decisión que tomamos en este taller: el principio MAX-MIN-CON

Ahí lo tienes. El credo de cualquier metodólogo que se respete.
Consiste en tres pasos obligatorios para gestionar las diferencias en los resultados de nuestras pruebas.

El primer paso es maximizar la variabilidad que produce nuestro propio diseño. Queremos que el impacto del juguete sea tan evidente que nadie pueda dudar de él.
A esto se le llama varianza sistemática
Es la variabilidad del experimento. Queremos potenciar la varianza primaria, que es el efecto real de nuestro juguete.

Y al mismo tiempo, queremos minimizar la varianza secundaria, que son esas molestas variables extrañas como la temperatura de la sala o el género de los probadores.

El último paso es el más mundano de todos. Necesitamos neutralizar o controlar la varianza error
Es el ruido puramente aleatorio. El operario que bosteza al registrar los datos. La fluctuación de la corriente eléctrica. El margen de imprecisión de nuestros calibres.
Nuestro objetivo es controlar esta varianza error al nivel más bajo posible para que no enmascare la calidad del producto.

En definitiva, ¿cuál es el secreto para que no nos cierren la fábrica de juguetes? Aplicar a rajatabla la regla de maximizar el efecto de nuestro diseño, controlar las variables molestas del entorno y reducir al mínimo, o minimizar, el ruido de nuestras mediciones.

Y con esto, me quito la bata mugrienta de inspector de seguridad, apago las luces de la fábrica de plástico y vuelvo a ser yo.

Ha sido divertido jugar a los juguetes defectuosos para darle una vuelta al tema 3 de fundamentos de investigación en Psicología sobra la validez de las conclusiones de la investigación, pero la realidad es bastante más seria.

Si tienes altas capacidades, tu cabeza es experta en diseñar teorías conspiranoicas sobre ti mismo basándose en datos sesgados.
Te montas películas enteras con una muestra de un solo sujeto. Te juzgas sin pruebas. Te falta rigor.
Y si estás en la UNED, te quedan pocas semanas para enfrentarte a un examen que no tiene piedad con los que confunden los términos.

Pero eso no es lo más importantes. Abre bien los ojos antes de que el segundero de tu vida haga clic, porque esta es la última bala que te queda para el examen: la validez
No te olvides de ella. No es un absoluto. Es el grado de seguridad de tus conclusiones. En la vida y en el examen, la certeza absoluta es una fantasía.

Y si vas a recordar una sola regla de este taller de locos para no pifiarla en el examen, que sea el principio MAX-MIX_CON

Maximiza tu varianza primaria, controla lo que te distrae y minimiza el ruido de fondo. Aplícalo a tus apuntes y a tu propia vida.
El tiempo se nos escurre entre los dedos como plástico fundido. Nos vamos a morir. Es un hecho estadístico con una probabilidad del cien por cien. No malgastes el poco tiempo que te queda estudiando como un robot o torturándote con conclusiones sin validez interna.

Vuelve a tu realidad. Valida tus inferencias. Y, por lo que más quieras, no dejes que tus prototipos mentales exploten antes de llegar al examen. Nos vemos, si quieres, en diariodeunacebra.com.

Alli hay resúmenes que no dan ganas de llorar y herramientas para que apruebes sin perder el tiempo y la dignidad.

Nos vemos en el próximo tema, el cuatro sobre los diseños experimentales. Tenía dudas de si viajar a un escenario postapocaliptico o acompañar a un capitán pirata, pero creo que nos vamos a ir a un un barco pirata del siglo XVII.

El Capitán Barbanegra (un psicólogo experimental frustrado) intentará optimizar la velocidad de abordaje y la puntería de sus cañones manipulando las raciones de ron de la tripulación, mientras lucha contra tormentas, mareos, motines y loros chillones que amenazan con contaminar sus datos.

Hasta entonces, muchas gracias por tu compañía