errores – El blog de Víctor Yepes

3 secretos sorprendentes detrás de las encuestas que rellenas cada día.

Introducción: La ciencia oculta de las encuestas.

Todos hemos pasado por ello: cuestionarios interminables, preguntas que parecen sacadas de un manual de psicología y, sobre todo, esa sensación de estar respondiendo a la misma pregunta una y otra vez. Es una experiencia tan común como, a menudo, frustrante. ¿Por qué algunas preguntas parecen extrañas o repetitivas? ¿Realmente merece la pena todo este esfuerzo?

La respuesta es un rotundo sí. Detrás de cada cuestionario bien diseñado se esconde la rigurosa ciencia de la psicometría, el campo dedicado al arte de la medición precisa. Conceptos como la fiabilidad y la validez son los pilares de cualquier instrumento de medición serio, ya sea una encuesta de satisfacción del cliente o un test de personalidad.

Este artículo desvela algunos de los secretos más sorprendentes y fascinantes sobre cómo se construyen estas escalas de medida. Descubrirás por qué la repetición puede ser una virtud, por qué la perfección a veces es sospechosa y por qué es posible estar equivocado de manera confiable.

Primer secreto: fiabilidad no es validez (y se puede estar fiablemente equivocado).

En el mundo de la medición, la fiabilidad y la validez son dos conceptos cruciales que a menudo se confunden. Sin embargo, comprender su diferencia es fundamental para entender por qué algunas encuestas funcionan y otras no.

La fiabilidad se refiere a la precisión o consistencia de una medida. Un instrumento fiable produce resultados muy similares cada vez que se utiliza en las mismas condiciones.
La validez es la exactitud de la medida. Un instrumento válido mide exactamente lo que se pretende medir. La validez va más allá de la simple exactitud, ya que se asegura de que las conclusiones que extraemos de los resultados de la encuesta estén justificadas y sean significativas.

La mejor manera de entenderlo es mediante la analogía de un tirador que apunta a una diana.

Fiabilidad sin validez: imagina a un tirador. Escuchas el sonido seco y repetitivo de los disparos impactando en la madera, agrupados en un área no mayor que una moneda, pero peligrosamente cerca del borde de la diana. El patrón es muy consistente (alta fiabilidad), pero erróneo sistemáticamente, ya que no da en el blanco (baja validez). Esto representa un error sistemático que nace de un defecto fundamental en el diseño del cuestionario, por ejemplo, preguntas mal redactadas o una escala de respuesta poco clara.
Validez con baja fiabilidad: ahora imagina a un tirador cuyos disparos están dispersos por toda la diana, pero cuya media se sitúa justo en el centro. No hay precisión en cada tiro (baja fiabilidad), pero, en conjunto, apuntan en la dirección correcta (alta validez). Esto representa errores aleatorios que pueden surgir de factores incontrolables, como distracciones, ruido ambiental o incluso el estado de ánimo temporal del encuestado.

La conclusión clave es que la validez es más importante que la fiabilidad. Como subrayan los expertos en la materia: «Un instrumento puede ser muy fiable (medir muy bien), pero no medir bien lo que se quería medir». De nada sirve medir algo con una precisión milimétrica si no es lo que realmente nos interesa.

Segundo secreto: ¿por qué las encuestas a veces parecen repetitivas?

Una de las quejas más comunes sobre los cuestionarios es que incluyen preguntas que parecen decir lo mismo de diferentes maneras. Lejos de ser un descuido, el uso de lo que los expertos denominan «ítems repetitivos» —expresar la misma idea de diversas formas— es una técnica deliberada y muy útil para garantizar la calidad de los datos. Esta «forma bidireccional de redactar los ítems» tiene dos ventajas principales:

Requiere mayor atención del sujeto: al presentar la misma idea con formulaciones distintas (a veces en positivo y otras en negativo), se evita que la persona responda de forma automática o sin pensar y se le obliga a procesar el significado de cada pregunta.
Permite comprobar la coherencia de las respuestas: sirve como control de calidad para detectar y mitigar dos de los sesgos más frecuentes al responder encuestas: la aquiescencia y el sesgo de confirmación.

- Aquiescencia: tendencia a estar de acuerdo con todas las afirmaciones. Imagina a alguien que responde con prisas, marcando «Totalmente de acuerdo» a todo («Sí, el servicio fue excelente», «Sí, el producto es terrible»), con el único fin de terminar cuanto antes.
- Deseabilidad social: tendencia a responder para proyectar una buena imagen. Este sesgo lo muestra la persona que, al ser preguntada por sus hábitos de reciclaje, se presenta como un ecologista modelo, aunque el contenido de su cubo de basura cuente una historia muy diferente.

Por lo tanto, la próxima vez que te encuentres con preguntas que te resulten familiares dentro de un mismo cuestionario, recuerda que no se trata de un error. Se trata de una herramienta diseñada para garantizar que tus respuestas sean más atentas, coherentes y, en última instancia, sinceras.

Tercer secreto: una fiabilidad «perfecta» puede ser una señal de alarma.

Intuitivamente, podríamos pensar que el objetivo de cualquier escala de medida es alcanzar la mayor fiabilidad posible. Sin embargo, en psicometría, una fiabilidad extremadamente alta puede ser una señal de alarma que indica un problema subyacente.

El coeficiente de fiabilidad más utilizado, el alfa de Cronbach, tiene una particularidad: su valor tiende a aumentar cuando se añaden más ítems a la escala. Esto crea la tentación de inflar artificialmente la fiabilidad simplemente alargando el cuestionario. Como advierte la literatura especializada: «No se debe buscar una fiabilidad alta aumentando sin más el número de ítems, sin pensar si realmente son válidos».

Un ejemplo hipotético ilustra perfectamente este peligro. Imaginemos que aplicamos un test a un grupo mixto compuesto por niñas de 10 años que hacen ballet y niños de 14 años que juegan al fútbol. Les preguntamos por su edad, su sexo y el deporte que practican. La fiabilidad estadística se dispara porque las preguntas son perfectamente consistentes a la hora de separar a los dos grupos. Si se pregunta sobre ballet, todas las niñas responden de una manera y todos los niños de otra. Si se pregunta sobre el fútbol, ocurre lo mismo. El algoritmo estadístico detecta esta consistencia impecable y reporta una fiabilidad altísima, sin comprender que el «rasgo» subyacente que se está midiendo es simplemente una mezcla de datos demográficos, no una característica psicológica coherente. A pesar de esa elevada fiabilidad, en realidad no estaríamos midiendo «nada interpretable».

Este ejemplo nos deja una lección fundamental que el texto fuente resume de manera brillante:

“En ningún caso la estadística sustituye al sentido común y al análisis lógico de nuestras acciones”.

Conclusión: la próxima vez que rellenes una encuesta…

Desde el dilema fundamental entre mediciones consistentes, pero erróneas (fiabilidad frente a validez), pasando por el uso deliberado de la repetición para burlar nuestros propios sesgos, hasta la idea contraintuitiva de que una puntuación «perfecta» puede indicar un resultado sin sentido, queda claro que elaborar una buena encuesta es un trabajo científico.

La próxima vez que te enfrentes a un cuestionario, en lugar de frustrarte por sus preguntas, ¿te detendrás a pensar qué rasgo están intentando medir y si realmente lo están logrando?

En este audio os dejo una conversación en torno a estas ideas.

Os dejo un vídeo que resume el contenido de este artículo.

Referencias:

Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait–multimethod matrix. Psychological Bulletin, 56(2), 81–105. https://doi.org/10.1037/h0046016

Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105, 399–412. https://doi.org/10.1111/bjop.12046

Farrell, A. M. (2010). Insufficient discriminant validity: A comment on Bove, Pervan, Beatty and Shiu (2009). Journal of Business Research, 63, 324–327. https://ssrn.com/abstract=3466257

Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1), 39–50. https://doi.org/10.1177/002224378101800104

Frías-Navarro, D. (2019). Apuntes de consistencia interna de las puntuaciones de un instrumento de medida. Universidad de Valencia. https://www.uv.es/friasnav/AlfaCronbach.pdf

Grande, I., & Abascal, E. (2009). Fundamentos y técnicas de investigación comercial. Madrid: ESIC.

Hernández, B. (2001). Técnicas estadísticas de investigación social. Madrid: Díaz de Santos.

Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (1995). Multivariate data analysis (Eds.). New York: Prentice Hall International, Inc.

Kotler, P., & Armstrong, G. (2001). Marketing. México: Pearson Prentice Hall.

Matas, A. (2018). Diseño del formato de escalas tipo Likert: un estado de la cuestión. Revista Electrónica de Investigación Educativa, 20(1), 38–47. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1607-40412018000100038

Morales, P. (2006). Medición de actitudes en psicología y educación. Madrid: Universidad Pontificia de Comillas.

Morales, P. (2008). Estadística aplicada a las ciencias sociales. Madrid: Universidad Pontificia Comillas.

Nadler, J., Weston, R., & Voyles, E. (2015). Stuck in the middle: The use and interpretation of mid-points in items on questionnaires. The Journal of General Psychology, 142(2), 71–89. https://doi.org/10.1080/00221309.2014.994590

Nunnally, J. C. (1978). Psychometric theory. New York: McGraw-Hill.

Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological Assessment, 8(4), 350–353. http://ist-socrates.berkeley.edu/~maccoun/PP279_Schmitt.pdf

Prats, P. (2005). Métodos para medir la satisfacción del cliente. Madrid: AENOR Ediciones.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

Los motivos por los que se equivocan estudiantes y profesionales de ingeniería al abordar la resolución de problemas

Resolver problemas en el ámbito universitario o profesional, en áreas tecnológicas, de ingeniería y ciencias, puede plantear una serie de desafíos que pueden conducir a errores. Estos fallos pueden surgir por diversas razones que van desde no comprender el concepto subyacente hasta confiar demasiado en la tecnología.

En un artículo anterior mencioné algunos ejemplos de problemas teóricamente sencillos, pero que marean a nuestros estudiantes. Ahora vamos a analizar detalladamente algunas de estas razones y cómo se relacionan entre sí. También he incluido enlaces a otros artículos del blog donde reflexiono sobre este tipo de cuestiones.

La falta de comprensión del concepto subyacente a un problema es una preocupación fundamental. Esto puede manifestarse de diversas formas, ya sea a través de errores conceptuales, una aplicación incorrecta del concepto o una interpretación errónea del mismo. Esta falta de entendimiento puede empeorar si se carece de experiencia o conocimientos específicos en el campo correspondiente. Cuando un estudiante o profesional se enfrenta a un problema para el que no tiene experiencia previa, puede tener dificultades para aplicar correctamente los principios necesarios para resolverlo.

Los datos son fundamentales para encontrar soluciones, sin embargo, su calidad y disponibilidad pueden ser problemáticos. La falta de datos adecuados, la presencia de información contradictoria o sesgada pueden conducir a conclusiones incorrectas. Asimismo, centrarse excesivamente en utilizar todos los datos disponibles puede distraer de la información realmente importante, al tiempo que validar datos sesgados o inventados puede conducir a conclusiones incorrectas.

El manejo inadecuado de las bases matemáticas también puede ser una fuente de errores (geometría, trigonometría, cálculo o álgebra). Esto puede incluir errores en el cálculo, así como el uso inapropiado de fórmulas o modelos matemáticos. Los problemas reales rara vez tienen una sola solución, lo que requiere habilidades para evaluar y decidir entre múltiples enfoques posibles. Además, el uso excesivo de la memoria en lugar de la comprensión de los principios subyacentes puede conducir a errores conceptuales y de selección de modelos de cálculo.

Los aspectos psicológicos también son importantes. El estrés, la falta de confianza en uno mismo, la presión por terminar a tiempo y la falta de concentración pueden afectar a la capacidad de resolver problemas de manera efectiva. La falta de atención a los detalles, la fatiga y el agotamiento también pueden provocar errores en la resolución de problemas.

Es crucial comprender que los problemas reales pueden ser complejos y no tener necesariamente una solución única. Esto implica la necesidad de tomar decisiones informadas y comprender las limitaciones de los modelos o fórmulas utilizados. Además, la propagación de errores en las operaciones y el uso incorrecto de datos, fórmulas o software pueden dar lugar a resultados erróneos.

La falta de retroalimentación o revisión de los errores cometidos puede perpetuar la repetición de los mismos una y otra vez. La falta de comunicación o colaboración entre profesionales en entornos de trabajo también puede provocar errores en la resolución de problemas. Confiar ciegamente en la tecnología o en herramientas automatizadas sin comprender en profundidad los principios subyacentes puede ser un problema.

En resumen, resolver problemas en el ámbito universitario o profesional de la ingeniería y las ciencias puede ser un proceso complejo y propenso a errores debido a una variedad de factores interrelacionados. Desde la comprensión del concepto hasta la calidad y disponibilidad de los datos, así como los aspectos psicológicos y técnicos relacionados con la resolución de problemas, es crucial abordar estos desafíos con atención y comprensión para lograr soluciones precisas y efectivas. Desde las universidades debe hacerse todo lo posible para superar este tipo de dificultades y conseguir que nuestros estudiantes adquieran las competencias necesarias para su posterior desarrollo profesional.

Sin querer ser exhaustivo, y sin que estén ordenadas por importancia, aquí os dejo una lista de 30 posibles causas por las cuales nuestros estudiantes en los exámenes o los técnicos en su ámbito profesional, suelen cometer errores al resolver los problemas. Estoy convencido de que hay más causas, pero esto puede ser un buen punto de partida para el debate y la reflexión. En el vídeo que he grabado, me extiendo y explico algo más lo que aquí recojo como una simple lista.

La falta de comprensión del concepto subyacente en un problema puede conducir a errores conceptuales al aplicarlo incorrectamente o interpretarlo de manera errónea.
La inexperiencia o la falta de conocimientos específicos pueden surgir cuando una persona afronta por primera vez un tipo de problema, ya sea durante un examen o en la práctica profesional.
Los problemas relacionados con la disponibilidad de datos pueden presentarse de varias formas, como datos insuficientes, necesarios, innecesarios o contradictorios. A menudo, existe una obsesión por utilizar todos los datos disponibles en el enunciado del problema.
La calidad de los datos también es un factor importante, con la posibilidad de incertidumbre o error en los datos disponibles. Además, dar por válidos datos sesgados, interesados o inventados puede llevar a conclusiones incorrectas. Es necesario un control de calidad de los datos.
Intentar resolver un problema utilizando el enfoque típico visto en clase puede marear a nuestros estudiantes. Los alumnos prefieren resolver un problema típico explicado en clase, a ser posible, con datos parecidos.
El manejo inadecuado de las bases matemáticas, que incluye errores en el cálculo, el uso incorrecto de fórmulas o modelos matemáticos, y la falta de comprensión de los principios subyacentes, puede ser una fuente común de errores. La falta de conocimientos básicos de geometría, trigonometría, álgebra o cálculo básicos son, en ocasiones, escollos. A veces hay dificultades en saber dibujar un esquema para resolver el problema.
Los problemas reales generalmente no tienen una sola solución, lo que requiere habilidades para evaluar y decidir entre múltiples enfoques posibles. Esta distinción, que se da claramente entre los estudios de grado y los de máster, es importante tenerla en cuenta.
Los aspectos psicológicos, como el estrés, la falta de confianza en uno mismo, la presión por terminar a tiempo y la falta de concentración, pueden afectar negativamente la capacidad para resolver problemas de manera efectiva.
La falta de atención o interés, así como la fatiga o el agotamiento, pueden contribuir a errores en la resolución de problemas, al igual que la prisa por resolver el problema.
La complejidad de los problemas puede aumentar cuando se trata de situaciones poco comunes o rebuscadas, lo que requiere un enfoque cuidadoso y creativo para su resolución.
Es crucial comprender la diferencia entre una ley general y una fórmula particular al aplicar normas técnicas que pueden estar basadas en hipótesis o casos específicos.
Utilizar modelos de cálculo inadecuados, ya sean demasiado refinados o demasiado simples para los datos disponibles, puede conducir a soluciones incorrectas.
Carecer de números estimativos para prever el resultado final puede resultar en una falta de comprensión del orden de magnitud del resultado. En este sentido, el uso de nomogramas en la docencia facilita la adquisición de este tipo de habilidad en los estudiantes. Los estudiantes y los profesionales deberían tener un conocimiento del “número gordo” y saber predimensionar.
Es importante ser consciente de la propagación de errores en las operaciones, ya que incluso pequeños errores pueden magnificarse y llevar a resultados incorrectos.
Utilizar fórmulas, datos o tablas en un contexto diferente al que dieron origen puede llevar a interpretaciones incorrectas o a soluciones erróneas.
La extrapolación de resultados a límites no contemplados puede conducir a conclusiones incorrectas o poco realistas.
Utilizar fórmulas empíricas con datos expresados en unidades diferentes a las que funcionan puede generar resultados inconsistentes o incorrectos.
La dependencia excesiva de la memoria en lugar de comprender los principios subyacentes puede conducir a errores en la selección de modelos o fórmulas de cálculo.
Errores conceptuales pueden llevar a la selección incorrecta de modelos o fórmulas de cálculo, lo que resulta en soluciones erróneas.
El uso de software defectuoso o poco contrastado, así como la falta de habilidades para calcular manualmente un problema, pueden resultar en resultados incorrectos. A esto se une un uso inapropiado de la inteligencia artificial.
El mal uso de ecuaciones o fórmulas, como cambiar el nombre de una variable sin entender el concepto subyacente, puede conducir a errores en la resolución de problemas.
La falta de competencia o experiencia en una materia determinada puede resultar en una resolución incorrecta del problema.
Repetir la resolución de problemas de un contexto a otro sin pensar en su validez puede conducir a soluciones inapropiadas.
La falta de comprensión del problema, la pregunta o el tipo de resultado esperado puede resultar en soluciones incorrectas debido a la falta de comprensión lectora, capacidad analítica o de síntesis.
La utilización de unidades defectuosas, notaciones o convenciones específicas puede llevar a interpretaciones erróneas o a soluciones incorrectas.
La falta de retroalimentación o revisión de los errores cometidos puede perpetuar la repetición de los mismos errores una y otra vez.
La falta de comunicación o colaboración en entornos de trabajo entre profesionales puede contribuir a errores en la resolución de problemas.
La confianza excesiva en la tecnología o herramientas automatizadas puede llevar a la falta de comprensión de los principios subyacentes y a la comisión de errores.
La falta de revisión o verificación de los cálculos realizados por parte de un tercero independiente puede resultar en soluciones incorrectas.
La falta de conocimiento del contexto del problema, incluyendo las restricciones, puede conducir a soluciones subóptimas o incorrectas.

Os paso un vídeo donde he desarrollado las ideas anteriores, con ejemplos, y he dejado algunas de mis reflexiones al respecto. Espero que os guste.

Os dejo un podcast sobre este tema (en inglés), generado por una IA sobre el vídeo.

Aquí tenéis un mapa conceptual que también os puede ayudar.

¿Qué hacemos con los valores atípicos (outliers)?

Figura 1. Valor atípico en el diagrama de caja y bigotes

Un valor atípico (outlier, en inglés) es una observación que numéricamente es muy distinta al resto de elementos de una muestra. Estos datos nos pueden causar problemas en la interpretación de lo que ocurre en un proceso o en una población. Por ejemplo, en el cálculo de la resistencia media a compresión simple de unas probetas de hormigón, la mayoría se encuentran entre 25 y 30 MPa. ¿Qué ocurriría si, de repente, medimos una probeta con una resistencia de 60 MPa? La mediana de los datos puede ser 27 MPa, pero la resistencia media podría llegar a 45 MPa. En este caso, la mediana refleja mejor el valor central de la muestra que la media.

La pregunta que nos podemos plantear es inmediata. ¿Qué hacemos con esos valores atípicos? La opción de ignorarlos a veces no es la mejor de las soluciones posibles si pretendemos conocer qué ha pasado con estos valores. Lo bien cierto es que distorsionan los resultados del análisis, por lo que hay que identificarlos y tratarlos de forma adecuada. A veces se excluyen si son resultado de un error, pero otras veces son datos potencialmente interesantes en la detección de anomalías.

Los valores atípicos pueden deberse a errores en la recolección de datos válidos que muestran un comportamiento diferente, pero reflejan la aleatoriedad de la variable en estudio. Es decir, valores que pueden haber aparecido como parte del proceso, aunque parezcan extraños. Si los valores atípicos son parte del proceso, deben conservarse. En cambio, si ocurren por algún tipo de error (medida, codificación…), lo adecuado es su eliminación. En la Tabla 1 se recogen algunas de las causas comunes de los valores atípicos y sus acciones posibles.

Tabla 1. Causas comunes de los valores atípicos. Fuente: Soporte de Minitab(R) 18.

Causa	Acciones posibles
Error de entrada de datos	Corregir el error y volver a analizar los datos.
Problema del proceso	Investigar el proceso para determinar la causa del valor atípico.
Factor faltante	Determinar si no se consideró un factor que afecta el proceso.
Probabilidad aleatoria	Investigar el proceso y el valor atípico para determinar si este se produjo en virtud de las probabilidades; realice el análisis con y sin el valor atípico para ver su impacto en los resultados.

Los valores atípicos a veces son subjetivos y existen numerosos métodos para clasificarlos. La detección de valores atípicos se puede realizar a nivel univariante usando gráficos sencillos como histogramas o diagramas de caja y bigotes. A nivel bivariante se pueden localizar mediante análisis de diagrama de dispersión o análisis de los residuos. En el ámbito multivariante se pueden descubrir los valores atípicos mediante un análisis de la matriz de residuos.

El método más habitual por su sencillez y resultados es el test de Tukey, que toma como referencia la diferencia entre el primer cuartil (Q1) y el tercer cuartil (Q3), o rango intercuartílico. En un diagrama de caja se considera un valor atípico el que se encuentra 1,5 veces esa distancia de uno de esos cuartiles (atípico leve) o a 3 veces esa distancia (atípico extremo). Se trata de un método paramétrico que supone que la población es normal (Figura 2). No obstante, también existen métodos no paramétricos cuando la muestra no supere la prueba de normalidad correspondiente.

Figura 2. Detección paramétrica de valores atípicos, basado en la curva de distribución normal. Wikipedia

Os dejo algún vídeo donde se explica cómo detectar los valores atípicos.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

Potencia de un test estadístico: Cómo evitar que nos la cuelen

https://neuromarketing.la/2018/12/riesgo-percibido-en-las-compras-online/

En un artículo anterior, “Jerga, falacias y encuestas electorales: Las hipótesis en la investigación científica“, expliqué lo que es una hipótesis de investigación y los errores estadísticos asociados. En aquel artículo se habló del nivel de significación α como la probabilidad de rechazar una hipótesis nula cuando es cierta. Por cierto, como curiosidad hay que decir que se llama “hipótesis nula” porque es la afirmación de una “ausencia de efecto” o de “no diferencia”.

Para simplificar, supongamos un test de embarazo. En este caso, la hipótesis nula es no estar embarazada. Si el test da positivo, no estando embarazada, a este error se le denomina Tipo I o falso positivo. Este error también ocurriría cuando se realiza una operación quirúrgica a un individuo sano, se condena a un inocente o se suspende a un alumno que ha estudiado mucho. También se suele llamar a esta error el RIESGO DEL FABRICANTE, pues es la probabilidad de que el comprador le rechace un lote de producto correcto.

Normalmente se acepta un umbral de α=0,05 , por debajo del cual se puede decir que existe una diferencia entre los resultados del estudio y la hipótesis nula, cuando realmente no hay ninguna diferencia. No obstante, dependiendo del tipo de test y su finalidad, los umbrales pueden ser diferentes a 0,05. Para simplificar la decisión, se utiliza el concepto de significación muestra de la hipótesis nula o “p-valor“, que es la probabilidad de que un resultado sea correcto bajo una hipótesis nula. Así, si el p-valor obtenido es inferior al nivel de significación exigido, se rechazará la hipótesis nula.

Sin embargo, en este artículo me interesa centrarme en un aspecto a veces olvidado, o al menos al que se le da menor importancia que al nivel de significación. Este aspecto es la potencia de un test estadístico, muy relacionado con los falsos negativos. Supongamos, por ejemplo, que a una mujer embarazada el test le dice que no lo está, que se declara inocente a un asesino, que no se opera a un enfermo con metástasis o que se aprueba a alumnos que no han estudiado. Está claro que aquí el test no ha tenido la potencia suficiente como para detectar que ha habido un efecto. Dicho de otra forma, la potencia estadística de un test debe distinguir la señal del ruido. El gran problema que planteamos es que deberíamos distinguir si realmente ha habido un efecto determinado o bien el test no ha sido capaz de detectarlo.

Para ello debemos definir el error Tipo II, β o falso negativo. Se trata del error cometido al aceptar la hipótesis nula cuando ésta no es cierta. Pues bien, la potencia de la prueba se define como 1-β. También se le llama RIESGO DEL COMPRADOR, pues indica la probabilidad de aceptar un lote defectuoso de un fabricante. ¿Qué porcentaje delincuentes voy a declarar culpables en un juicio? ¿Qué probabilidad es aceptable para decir que un fármaco realmente es útil para una enfermedad? Vemos que esos porcentajes, es decir, la potencia del test, puede ser variable. Aunque es habitual exigir entre un 80 y 90%.

El error Tipo I y Tipo II se encuentran relacionados. Si hay diferencias significativas, estos errores son bajos. https://es.wikipedia.org/wiki/Errores_de_tipo_I_y_de_tipo_II

Como podemos ver, no tiene la misma importancia un falso positivo que un falso negativo. Imaginemos una prueba que detecta contaminación letal en un alimento. No es lo mismo decir que el alimento está contaminado, cuando no lo está, que afirmar que no hay contaminación, cuando sí que la hay. El resultado final es que el falso negativo puede provocar muertes, mientra que el falso positivo no.

Pues bien, en una prueba estadística, el nivel de significación, la potencia y el tamaño muestral, se encuentran relacionados. La única forma de bajar los falsos positivos y falsos negativos es aumentar el tamaño muestral. No obstante, como la potencia de la prueba trata de distinguir el efecto del ruido, también se podría incrementar dicha potencia utilizando muestras lo más homogéneas posibles (disminuyendo su variabilidad), utilizando instrumentos de medida muy fiables o utilizando contrastes concretos, entre otros.

Eso explica que, en el caso de los exámenes a nuestros estudiantes, una forma de reducir los suspensos a los alumnos que han estudiado y de suspender al máximo de número de estudiantes que no han estudiado, consiste en aumentar el número de preguntas. Además, deberíamos diseñar el examen de forma que las preguntas permitan distinguir claramente si se conoce o no un concepto.

Os paso algunos vídeos que explican estos conceptos de potencia de una prueba. Espero que os sean útiles.

A continuación os resuelvo un pequeño problema con MINITAB al respecto. Se quiere saber qué tamaño de muestra deberemos elegir para detectar diferencias respecto a la media mayor de 2 MPa un 80% de las veces, suponiendo un nivel de confianza del 95%. Suponemos conocida la desviación típica, que es de 3 MPa.

Descargar (PDF, 139KB)

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

De la regla de cálculo al ordenador: olvidarse de cómo se calculaba antes

Henry Petroski. https://es.wikipedia.org/wiki/Henry_Petroski

Henry Petroski, ingeniero civil estadounidense y profesor en la Universidad de Duke en Durham (Carolina del Norte) escribió un libro que recomiendo a mis estudiantes y a cualquier profesional de la ingeniería que se llama “La ingeniería es humana. La importancia del fallo en el éxito del diseño“. Este libro está editado en castellano por la editorial CINTER, traducido por María Eugenia Matamala Pérez y prologado por Robert Brufau.

Todos los capítulos son verdaderamente interesantes, pero me gustaría destacar el que se llama “De la regla de cálculo al ordenador: olvidarse de cómo se calculaba antes”. De este tema ya he hablado en mi blog en alguna ocasión: https://victoryepes.blogs.upv.es/2013/09/10/los-ingenieros-los-ordenadores-y-mil-un-indios/ y también cuando hablaba de las cifras significativas y los errores de precisión. Os remito a su lectura.

La conclusión es muy clara, un ingeniero debería saber de antemano el orden de magnitud del cálculo antes de calcularlo realmente. Dejar todo al libre albedrío del ordenador sin criterio para saber si el resultado final es aceptable o no, es un riesgo inaceptable. Eso explica el éxito de libros sobre “Números gordos” o bien cómo la investigación puede llevarnos a descubrir fórmulas de predimensionamiento útiles en la práctica (ver el artículo que escribí sobre cómo predimensionar un muro sin calculadora).

Pero no voy a ser “spoiler” de libro de Petroski. Simplemente os adjunto lo que la American Society of Civil Engineers (ASCE) indicó cuando anunció el Premio Mead (es un premio anual para estudiantes de ingeniería civil que otorga el ASCE un trabajo sobre la ética profesional):

“Los ingenieros civiles han recurrido al ordenador en busca de mayor rapidez y productividad. Sin embargo, ¿se corre el riegos de comprometer la seguridad y el bienestar del usuario? Muchos han predicho que los fallos futuros de ingeniería se atribuirán al uso o el mal uso de los ordenadores. ¿Se está convirtiendo en habitual aceptar un proyecto cuando no se tiene experiencia simplemente porque se dispone de un paquete de software? ¿Cómo pueden garantizar los ingenieros civiles la precisión del programa del ordenador y que el ingeniero civil está cualificado para usarlo de manera apropiada?”

Os dejo estas preguntas para pensar. Es evidente que un ordenador no deja de ser más que una regla de cálculo electrónico o los cuadernos de cálculo de toda la vida. Muchas ventajas, pero mucha precaución en su empleo.

Referencia:

PETROSKY, H. (2007). La ingeniería es humana. La importancia del fallo en el éxito del diseño. Ed. CINTER, 320 pp.

Cifras significativas y errores de medición

Diferencias entre la exactitud y la precisión de una medida

El uso de calculadoras electrónicas y ordenadores nos hace perder el orden de magnitud de un problema. Como ya comenté en un artículo anterior, el uso masivo de herramientas informáticas atrofian la capacidad intuitiva y de cálculo de los futuros profesionales. Un buen ingeniero o científico debería tener un “número gordo” del resultado antes, incluso, de resolver un problema.

Cuando se miden ciertas cantidades, lo valores medidos se conocen solo dentro de los límites de la incertidumbre experimental. Usamos el número de cifras significativas como una medición que sirve para expresar algo de dicha incertidumbre. De hecho, todas las cifras significativas importan información veraz de la medición, excepto la última, que es incierta.

Para conocer el número correcto de cifras significativas, se siguen las siguientes normas:

Los ceros situados en medio de números diferentes de cero son significativos, por ejemplo, 709 cm tiene tres cifras significativas.
Los ceros a la izquierda del primer número no son significativos, por ejemplo, 0,000057 presenta dos cifras significativas.
Para los números mayores que uno, los ceros escritos a la derecha de la coma decimal también cuentan como cifras significativas, por ejemplo 6,0 tiene dos cifras significativas.
En los números enteros, los ceros situados después de un dígito distinto de cero, pueden ser o no cifras significativas, por ejemplo 8000, puede tener una cifra significativa (el número 8), pero también cuatro. Para evitar el problema se puede usar la notación científica, indicando el número 8000 como 8·10³ teniendo solo una cifra significativa (el número 8) o 8,0·10³, tenemos dos cifras significativas (8,0).

Existen reglas empíricas que permiten conocer el número de cifras significativas en el caso de operaciones básicas:

Cuando se multiplican o dividen varias cifras, el resultado tiene el mismo número de cifras significativas que el número de menor cifras significativas
Cuando dos números se sumen o resten, el número de lugares decimales en el resultado debe ser igual al número más pequeño de lugares decimales de cualquier término en la suma

El error de medición se define como la diferencia entre el valor medido y el “valor verdadero”. Los errores de medición afectan a cualquier instrumento de medición y pueden deberse a distintas causas. Las que se pueden de alguna manera prever, calcular, eliminar mediante calibraciones y compensaciones, se denominan deterministas o sistemáticos y se relacionan con la exactitud de las mediciones. Los que no se pueden prever, pues dependen de causas desconocidas, o estocásticas se denominan aleatorios y están relacionados con la precisión del instrumento.

Sin embargo, para establecer el error en una medida, se debe disponer, junto con la medida de la magnitud, su error y la unidad de medida del Sistema Internacional. En este caso, se deben seguir las siguientes normas:

El error se da con una sola cifra significativa. Se trata del primer dígito comenzando por la izquierda distinto de cero, redondeando por exceso en una unidad si la segunda cifra es 5 o mayor de 5. Sin embargo, como excepción se dan dos cifras significativas para el error si la primera cifra significativa es 1, o bien siendo la primera un 2, la segunda no llega a 5.
La última cifra significativa en el valor de una magnitud física y su error, expresados en las mismas unidades, deben de corresponder al mismo orden de magnitud (centenas, decenas, unidades, décimas, centésimas).

Con una sola medida, se indica el error instrumental, que es la mitad de la menor división de la escala del instrumento usado. Sin embargo, con n medidas directas consecutivas, se considera el error cuadrático de la media (una desviación estándar de la población de las medias). A todo caso, se utilizará el mayor de ambos errores.

En este vídeo explico los aspectos básicos de los errores de medición:

Por otra parte, hay que conocer que los errores se propagan cuando hacemos operaciones matemáticas. Simplificando, cuando tenemos sumas o restas, las cotas de error absoluto se suman; cuando hay productos o divisiones, las cotas de error relativo se suman.

Pero mejor será que os deje un vídeo explicativo del profesor de la UPV, Marcos Herminio Jiménez Valentín. Espero que os aclare este tema.

Este otro vídeo también es de interés para conocer con mayor profundidad la propagación de los errores.

Os dejo también unos pequeños apuntes del profesor Antonio Miguel Posadas Chinchilla, de la Universidad de Almería, que os podéis descargar de este enlace: https://w3.ual.es/~aposadas/TeoriaErrores.pdf

Descargar (PDF, 173KB)

Análisis de fallos: mecanismos, herramientas de análisis y ejemplos prácticos

¿Se pueden evitar las catástrofes en ingeniería? El error es humano. Es un dicho que no debe conformar al ingeniero que, a toda costa debe evitar estos fallos y, en caso de no hacerlo, aprender de los errores. Los fallos de estructuras civiles y componentes industriales pueden tener graves consecuencias económicas, medioambientales y, sobre todo, humanas. El Análisis de Fallos es, por lo tanto, una disciplina de la ingeniería de indudable trascendencia, pues solo desde el conocimiento de las causas de los fallos estructurales podrán evitarse fallos futuros.

Los principales modos de fallo que tienen su origen en el comportamiento mecánico del material (fractura, fatiga, fluencia, etc), las principales herramientas de las que dispone el ingeniero para el análisis (caracterización de materiales, microscopía, análisis tensional, integridad estructural, etc) y se mostrarán una serie de casos prácticos resueltos con una metodología común que permitirán obtener una visión general de la disciplina.

Os recomiendo un buen libro sobre el tema: “La ingeniería es humana”, de Henry Petrosky.

A continuación os paso un vídeo realizado por el Gabinete de Tele-educación de la Universidad Politécnica de Madrid donde el profesor Sergio Cicero, de la Universidad de Cantabria, expone una conferencia sobre análisis de fallos. Espero que os guste.

¿Qué es la calibración de un equipo de medida?

¿Estamos seguros de que cuando medimos lo hacemos correctamente? ¿No habéis tenido la sensación de que los resultados de un ensayo parece que son imposibles o son poco esperables? Es posible que os encontréis ante un equipo de medición mal calibrado. En este post continuamos con otros anteriores referidos a los errores de medición y a las unidades de medida y su materialización. Vamos a repasar, de forma muy sintética, algunos de los conceptos más importantes relacionados con la calibración de los equipos.

Se denomina calibración al conjunto de operaciones que establecen, en unas condiciones especificadas, la relación existente entre los valores indicados por un instrumento o sistema de medida o los valores representados por una medida materializada, y los correspondientes valores conocidos de una magnitud medida. Esta actividad, llevada a cabo por medios y procedimientos técnicos, permite determinar, por comparación con un patrón o con un material de referencia o por métodos absolutos, los valores de los errores de un medio o un instrumento de medida. El proceso de calibración comprende la medición del patrón o instrumento cuyo valor queremos determinar por comparación con un patrón de referencia, comprobar si el valor obtenido está dentro de los límites establecidos para la función a realizar, y en caso de estar fuera de los límites, efectuar el correspondiente ajuste o calibración del patrón o equipo de medición.

El certificado de calibración de un patrón deberá recoger el valor o los valores asignados como resultado de la calibración, así como la incertidumbre. A su vez, el certificado debe indicar la incertidumbre de los patrones o instrumentos empleados en la calibración, el número de reiteraciones efectuadas y los valores obtenidos, o un índice de su dispersión. El certificado de calibración de un instrumento deberá indicar los puntos del campo de medida calibrados, la incertidumbre del patrón o instrumento empleado en cada punto de calibración, la corrección de calibración obtenida en cada uno de ellos, el número de reiteraciones efectuadas en cada punto de calibración y su dispersión, y la incertidumbre asociada a la corrección de cada punto de calibración, para un factor de incertidumbre que también se indicará. Los patrones e instrumentos se calibran cuando salen de la línea de fabricación, pero es necesario un programa de calibración que de forma periódica asegure el mantenimiento de la exactitud. Los intervalos de calibración son función de la utilización de los equipos.

Los instrumentos de medida se clasifican en instrumentos de referencia y en instrumentos de trabajo, sirviendo los primeros para calibrar los últimos. Cada instrumento calibrado obtiene un certificado de calibración que garantiza la exactitud y trazabilidad, no debiendo incluir recomendación alguna sobre el intervalo de recalibración. El desgaste y envejecimiento de los equipos de medición son los que marcan los intervalos de calibración. Cada instrumento de medición deberá tener visible una etiqueta de calibración, que indican si el mismo puede utilizarse, tiene limitaciones en su uso o si están fuera de servicio.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

Aproximación al concepto de calidad en el proceso proyecto-construcción

En un post anterior comentamos los problemas de calidad que podía tener un proyecto, incluso se apuntó la posibilidad de utilizar una norma, la ISO 10006 para poder controlar dichos problemas. Pero, ¿sabemos de verdad lo que es la calidad en un proyecto de construcción? Vamos a dar un par de pinceladas al tema para aproximarnos a este tema tan importante. Espero que podáis aportar ideas al respecto.

Podemos definir un proyecto como la acción de “idear, trazar o proponer el plan y los medios para la ejecución de algo” (acepción 2ª de “proyectar” del Diccionario de la Lengua Española, en adelante D.R.A.E.). Esta definición es la más utilizada en ingeniería industrial así como en el mundo sajón (“project” o “project management”) y está muy ligada conceptualmente a la gestión de proyectos. Continue reading “Aproximación al concepto de calidad en el proceso proyecto-construcción” →

¿Seis sigma en la gestión de la construcción?

En artículos anteriores nos hemos referido a temas tan importantes como el despilfarro y los costes de calidad en las empresas. Seis Sigma constituye una metodología de gestión que ha significado para ciertas empresas una reducción drástica de sus fallos y costes de calidad. Si bien esta metodología se desarrolló fundamentalmente para disminuir la variabilidad de procesos repetitivos, también es verdad que la filosofía que subyace en Seis Sigma posiblemente pueda reducir significativamente el coste y el número de fallos debido a una calidad deficiente en el diseño y la ejecución de los proyectos de construcción. Veamos aquí, como siempre, con ánimo divulgativo, alguno de los aspectos más característicos de esta metodología.

La historia de Seis Sigma se inicia a mediados de los años 80 en Motorola, cuando un ingeniero (Mikel Harry) comienza a estudiar la reducción en la variación de los procesos para mejorarlos. Esta herramienta tenía una fuerte base estadística y pretendía alcanzar unos niveles de calidad en los procesos y en los productos de la organización próximos a los cero defectos. Constituye una metodología sistemática para reducir errores, concentrándose en la mejora de los procesos, el trabajo en equipo y con una gran implicación por parte de la Dirección (de Benito, 2000; Membrado, 2004; Harry y Schroeder, 2004).

En los años 90, Jack Welch, presidente de General Electric, decidió utilizar Seis Sigma consiguiendo resultados económicos espectaculares. Desde entonces, Seis Sigma se ha convertido en una de las herramientas de mejora más empleadas, habiendo sido adoptada por compañías como Motorola, General Electric, Allied Signal, Polaroid, Toshiba, Honeywell, City Bank o American Express. Más recientemente, Seis Sigma ha llegado a Europa, donde numerosas empresas están empezando a implantarla (en España, empresas como Telefónica, e-La Caixa o Iberia).

La letra griega sigma (s) se emplea en estadística para representar la variación típica de una población. El “nivel sigma” de un proceso mide la distancia entre la media y los límites superior e inferior de la especificación correspondiente (Figura 3). Ha sido habitual considerar como suficiente que un proceso tuviese una desviación de ±3s, lo cual significa que dicho proceso era capaz de producir solo 2,7 defectos por cada mil oportunidades. La idea de un “porcentaje de error aceptable” (a veces denominado un “nivel de calidad aceptable”) es un curioso remanente de la era del “control de calidad”. En aquellos tiempos se podían encontrar maneras de justificar estadísticamente los naturales fallos humanas, sosteniendo que nadie podía ser perfecto. Hoy día dicho nivel de calidad es inaceptable para muchos procesos (supondría aceptar 68 aterrizajes forzosos en un aeropuerto internacional cada mes, o bien 54.000 prescripciones médicas erradas por año). Seis Sigma hace referencia a un nivel de calidad capaz de producir con un mínimo de 3,4 defectos por millón de oportunidades (0,09 aterrizajes forzosos en un aeropuerto internacional cada mes, o una prescripción médica errada en 25 años). Esta calidad se aproxima al ideal del cero-defectos y puede ser aplicado no solo a procesos industriales, sino a servicios y, por supuesto, al proceso proyecto-construcción.

Sin embargo, los principios estadísticos anteriores poco tienen que ver con lo que actualmente se entiende por Seis Sigma. De hecho, es una filosofía que promueve la utilización de herramientas y métodos estadísticos de manera sistemática y organizada, que permite a las empresas alcanzar considerables ahorros económicos a la vez que mejorar la satisfacción de sus clientes, todo ello en un periodo de tiempo muy corto.

Los cambios radicales se consiguen básicamente traduciendo las necesidades de los clientes al lenguaje de las operaciones y definiendo los procesos y las tareas críticas que hay que realizar de forma excelente. En función de las intervenciones de análisis y mejora siguientes, Seis Sigma lleva el funcionamiento de los productos, servicios y procesos a niveles nunca conseguidos anteriormente.

Seis Sigma se utiliza para eliminar los costes de no calidad (desperdicios, reprocesos, etc.), reducir la variación de un aspecto o característica de un producto, acortar los tiempos de respuesta a las peticiones de los clientes, mejorar la productividad y acortar los tiempos de ciclo de cualquier tipo de proceso, centrándose en aquellas características o atributos que son clave para los clientes y, por tanto, mejorando notablemente su satisfacción. Para ello, la Dirección identifica las cuestiones que más incidencia tienen en los resultados económicos y asigna a los mejores profesionales, tras formarlos intensivamente, a trabajar en los mismos.

Los elementos clave que soportan la filosofía Seis Sigma son los siguientes: (a) conocimiento de los requerimientos del cliente, (b) dirección basada en datos y hechos, (c) mejora de procesos y (d) implicación de la Dirección.

Un elemento básico en Seis Sigma es la formación. Para ello se definen diferentes papeles para distintas personas de la organización, con denominaciones peculiares y características. El directivo que va a definir, concretar, monitorizar y apoyar los proyectos de mejora se designa Champion. Para desarrollar estos proyectos se escogen y preparan expertos conocidos con los nombres de Master Black Belt, Black Belt y Green Belt, quienes se convierten en los agentes de cambio, en conjunto con los equipos de trabajo seleccionados para los mismos.

LA METODOLOGÍA SEIS SIGMA

El proceso comienza con un “cambio radical… de actitud”. La Dirección debe ser consciente de que la mejora continua ya no es suficiente para alcanzar los objetivos estratégicos, financieros y operativos. La mejora radical es necesaria para reducir con rapidez los desperdicios crónicos.

Los proyectos son seleccionados en función de los beneficios. La empresa Seis Sigma aporta una metodología de mejora basada en un esquema denominado DMAIC: Definir los problemas y situaciones a mejorar, Medir para obtener la información y los datos, Analizar la información recogida, Incorporar y emprender mejoras en los procesos y, finalmente, Controlar o rediseñar los procesos o productos existentes. Las claves del DMAIC se encuentran en:

Medir el problema. Siempre es necesario tener una clara noción de los defectos que se están produciendo, tanto en cantidad como en coste.
Enfocarse al cliente. Sus necesidades y requerimientos son fundamentales, y deben tenerse siempre en consideración.
Verificar la causa raíz. Es necesario llegar hasta la causa relevante de los problemas, y no quedarse en los efectos.
Romper los malos hábitos. Un cambio verdadero requiere soluciones creativas.
Gestionar los riesgos. La prueba y el perfeccionamiento de las soluciones es una parte esencial de Seis Sigma.
Medir los resultados. El seguimiento de cualquier solución significa comprobar su impacto real.
Sostener el cambio. La clave final es conseguir que el cambio perdure.

La metodología DMAIC hace mucho énfasis en el proceso de medición, análisis y mejora y no está planteada como un proceso de mejora continua, pues los proyectos Seis Sigma deben tener una duración limitada en el tiempo. Los proyectos Seis Sigma surgen bajo el liderazgo de la Dirección, quien identifica las áreas a mejorar, define la constitución de los equipos y garantiza el enfoque hacia el cliente y sus necesidades y a los ahorros económicos. Sin embargo, antes de que un equipo Seis Sigma aborde el ciclo de la mejora, han de desarrollarse una serie de actividades necesarias para el éxito del proyecto: (1) identificación y selección de proyectos, (2) constitución del equipo, (3) definición del proyecto, (4) formación de los miembros del equipo, (5) ejecución del proceso DMAIC y (6) extensión de la solución.

Seis Sigma utiliza casi todo el arsenal de herramientas conocidas en el mundo de la calidad. Sin embargo, no son los instrumentos los que fundamentan por sí solos el éxito de la metodología Seis Sigma; de hecho, es la infraestructura humana y su formación la que con estas herramientas consigue el éxito.

Referencias:

DE BENITO, C.M. La mejora continua en la gestión de calidad. Seis sigma, el camino para la excelencia. Economía Industrial, 331, p. 59-66.
HARRY, M.; SCHROEDER, R. Six Sigma. Ed. Rosetta Books, 2000.
MEMBRADO, J. Curso Seis Sigma. Una estrategia de mejora. Qualitas Hodie, 95, p. 16-21.
PÉREZ, J.B.; SABADOR, A. Calidad del diseño en la construcción. Ed. Díaz de Santos, 2004.
YEPES, V.; PELLICER, E. (2005). Aplicación de la metodología seis sigma en la mejora de resultados de los proyectos de construcción. Actas IX Congreso Internacional de Ingeniería de Proyectos. Málaga, 22, 23 y 25 de junio de 2005, libro CD, 9 pp. ISBN: 84-89791-09-0.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.