Etiqueta: evaluación

Diferencias entre impacto social e impacto académico de la ciencia

Es importante distinguir entre el impacto académico y el social para comprender con precisión las múltiples dimensiones en las que la investigación científica aporta valor a la sociedad actual. Mientras que el primero mide la transformación dentro de las fronteras de la propia ciencia, el segundo evalúa su capacidad de repercusión más allá de la academia. Aunque ambos tipos de impacto están íntimamente relacionados y, en numerosos casos, se retroalimentan y se producen de manera conjunta, responden a lógicas, indicadores y públicos completamente diferentes.

El impacto académico o científico se refiere a la influencia que una investigación ejerce sobre la ciencia y el conocimiento. Se produce principalmente en la comunidad científica, entre quienes generan, consumen y evalúan el conocimiento, e incluye a investigadores, instituciones académicas y colegas científicos que utilizan, citan y construyen sobre trabajos previos. Este impacto puede canalizarse a través de publicaciones científicas, redes académicas, conferencias y otros medios de comunicación propios de la comunidad investigadora. Por tanto, su análisis se centra en determinar en qué medida los resultados de una investigación contribuyen al avance del conocimiento y ejercen influencia sobre otros investigadores o sobre nuevas líneas de trabajo.

El impacto social, también denominado no académico, se produce cuando los resultados de la investigación trascienden la comunidad científica y generan cambios en la sociedad. Se entiende como el cambio o conjunto de cambios duraderos que se producen en ámbitos como la economía, la salud, el medio ambiente, la seguridad social, la pobreza, el empleo, la tecnología o, en general, en la vida colectiva, como resultado de acciones de I+D+i que aportan valor a productos, servicios, procesos y tecnologías. Evaluar este impacto implica analizar si los resultados de la investigación llegan a personas y organizaciones ajenas al ámbito académico, si se utilizan y, especialmente, si contribuyen a modificar comportamientos, decisiones o prácticas. Estos efectos pueden aparecer a corto o a largo plazo y traducirse en mejoras concretas en ámbitos como la calidad de vida, el desarrollo social, el empleo o la protección del medio ambiente.

Metodologías de medición

Tradicionalmente, el impacto científico o el conocimiento se ha evaluado con base en los resultados de la actividad científica y tecnológica, mediante el análisis de los niveles de citación de los trabajos científicos. Los impactos en el conocimiento se miden habitualmente mediante técnicas bibliométricas que analizan las citas en las publicaciones académicas.

El impacto social, a diferencia de los niveles anteriores, es un tema abordado en una época más reciente y que aún carece de metodologías estándar para su medición, debido, sobre todo, a su complejidad. Las métricas de impacto social incluyen citas en documentos de políticas públicas, menciones en medios de comunicación, citas en patentes, citas en guías clínicas, menciones en sitios web y blogs profesionales y difusión en redes sociales generalistas .

Temporalidad del impacto

El impacto académico tiende a manifestarse de manera más inmediata y mensurable. Una vez publicado un artículo, las citas pueden comenzar a acumularse en un plazo relativamente corto y las bases de datos bibliográficas permiten un seguimiento sistemático.

El impacto social puede tardar más en manifestarse y, a menudo, resulta más difícil atribuirlo directamente a una investigación específica. Los cambios en las políticas públicas, las mejoras en la calidad de vida o las transformaciones en las prácticas profesionales pueden requerir años para materializarse y suelen ser el resultado de múltiples factores, no solo de una investigación concreta.

Audiencias objetivo

El impacto académico tiene como audiencia principal a la comunidad científica: investigadores, académicos, estudiantes de posgrado y profesionales que publican en revistas especializadas. La comunicación se realiza mediante el lenguaje técnico y los formatos propios de la academia (artículos, conferencias, pósteres científicos).

El impacto social tiene como destinatarios a personas que no pertenecen al ámbito académico: responsables políticos, agentes sociales, profesionales de diversos sectores y la ciudadanía en general. La difusión se produce cuando se dan a conocer los resultados de la investigación a la comunidad científica, a los responsables políticos, a los agentes implicados o a la ciudadanía en general.

Relación entre difusión, transferencia e impacto

Es importante no confundir el impacto con la difusión y la transferencia de los resultados de una investigación. La difusión se produce cuando se dan a conocer los resultados de la investigación, ya sea a la comunidad científica, a los responsables políticos, a los agentes implicados o a la ciudadanía en general. La transferencia ocurre cuando los resultados publicados y difundidos son utilizados por los destinatarios.

El término «resultado» abarca el espectro de salidas, logros e impactos. Es una realidad que sin resultados no hay impacto; por sí mismos, solo constituyen un impacto potencial, no el impacto real. El impacto es un beneficio medible, logrado, que aportó a la economía, favoreció a alguien o mejoró algo.

Tabla comparativa

Dimensión Impacto académico Impacto social
Definición Influencia en el pensamiento de otros investigadores a través de publicaciones y redes académicas Cambios duraderos en la sociedad, economía, medio ambiente y calidad de vida como resultado de la investigación
Ámbito Comunidad científica e instituciones académicas Sociedad en general, incluyendo economía, salud, empleo, medio ambiente
Audiencia Investigadores, académicos, estudiantes de posgrado Responsables políticos, profesionales, ciudadanos, agentes sociales
Métricas principales Citas en publicaciones académicas, factor de impacto de revistas, índices h Citas en políticas públicas, patentes, guías clínicas, menciones en medios, impacto en ODS
Temporalidad Relativamente inmediata y mensurable Puede tardar años en manifestarse, más difícil de atribuir
Lenguaje Técnico, especializado, formatos académicos Accesible, adaptado a diferentes audiencias no académicas
Canales Revistas científicas, conferencias, redes académicas Medios de comunicación, políticas públicas, redes sociales, informes institucionales
Evaluación Técnicas bibliométricas estandarizadas Metodologías diversas, menos estandarizadas, mayor complejidad

Interrelación entre ambos impactos

Las fuentes plantean que el impacto académico y el social están interrelacionados y no se excluyen mutuamente, sino todo lo contrario. El impacto académico puede ser un camino hacia el impacto social, ya que la validación por pares y la visibilidad en la comunidad científica pueden facilitar su posterior transferencia a la sociedad.

Sin embargo, hay procesos de investigación que no priorizan el impacto académico como vía hacia el impacto social, sino que buscan generar impacto social directamente desde el diseño del proyecto. Esto es especialmente relevante en investigaciones aplicadas, participativas o de acción social, en las que la colaboración con actores no académicos es central desde el inicio.

Reconocimiento institucional

Tradicionalmente, los sistemas de evaluación y recompensa académica han priorizado el impacto académico por encima del social. El reconocimiento y la recompensa adecuados del enfoque social de la investigación son objetivos fundamentales que requieren cambios en las políticas de evaluación.

Existe una discrepancia significativa entre los resultados de las investigaciones y su impacto social real. Muchos entrevistados perciben una diferencia muy sutil entre las publicaciones y el impacto social, reflejada en declaraciones como «cuando publicas tu trabajo y la gente te lee, la gente está usando tu trabajo y eso también es un impacto».

Desafíos en la medición

La investigación científica afecta tantos aspectos de la sociedad que medir la totalidad de sus impactos es una tarea ardua. Además, los impactos más significativos son los más difíciles de medir, por lo que resulta complicado identificar buenas métricas de impacto social.

A diferencia del impacto académico, que cuenta con indicadores estandarizados y ampliamente aceptados (como el factor de impacto o el índice h), el impacto social requiere metodologías más diversas y contextuales que capturen la complejidad de los cambios sociales.

Conclusión

La distinción entre impacto académico e impacto social no implica jerarquía, sino complementariedad. Ambos tipos de impacto son valiosos y necesarios para que la ciencia cumpla su función social. Mientras el impacto académico asegura la calidad, el rigor y el avance del conocimiento en la comunidad científica, el impacto social garantiza que ese conocimiento trascienda las fronteras de la academia y contribuya a mejorar la vida de las personas y de la sociedad en su conjunto. Reconocer y evaluar adecuadamente ambos tipos de impacto es esencial para una ciencia responsable y socialmente relevante.

En esta conversación puedes escuchar las ideas más interesantes sobre este tema.

Este vídeo resume bien el contenido de lo que hemos visto en este artículo.

Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

Conferencia inaugural de las VI Jornadas Internacionales sobre Innovación Docente en las Titulaciones Técnicas

Es un placer anunciar la invitación cursada desde por las VI Jornadas Internacionales sobre Innovación Docente en las Titulaciones Técnicas para impartir la conferencia inaugural el jueves 26 de octubre de 2023 en Granada.

Se trata de un foro donde el personal docente e investigador de universidad pueda compartir experiencias y continuar avanzando en la mejora de la docencia de la mano de la innovación y la tecnología.

Una de las cosas positivas que ha traído la crisis de la pandemia es la aparición de nuevos enfoques metodológicos cuyo éxito nos anima a incorporarlos de forma definitiva en las aulas.  Estos enfoques, junto con otros estudios y prácticas innovadoras de interés para la mejora de la calidad de la docencia, son el objetivo de esta nueva edición de las jornadas que estarán organizadas sobre los siguientes ejes:

  • Metodologías docentes y de evaluación, tutorización y seguimiento.
  • Trabajos fin de título en ingeniería.
  • Formación en competencias transversales.
  • Otros temas de interés relacionados con la innovación y buenas prácticas docentes en las enseñanzas técnicas.

Las Jornadas tendrán lugar en la Escuela Técnica Superior de Ingeniería de Caminos, Canales y Puertos de la Universidad de Granada, un centro líder en la formación en Ingeniería Civil y en Ingeniería de Caminos, Canales y Puertos.

La conferencia inaugural de INDOTEC 2023, presentada por Víctor Yepes, aborda la crucial necesidad de innovación en las titulaciones técnicas en el contexto de un mundo en constante cambio. La presentación justifica esta necesidad, propone criterios para seleccionar innovaciones docentes y analiza la gestión del conocimiento en el ámbito universitario. Se explora el concepto de «cliente» de la universidad, el objetivo de las titulaciones técnicas, y el cambio de paradigma en el proceso de aprendizaje, pasando de un modelo tradicional centrado en el profesor a uno centrado en el estudiante y el aprendizaje activo. Se identifican los cambios necesarios en profesores, estudiantes y universidades para adaptarse a este nuevo paradigma. Se discuten las características de las técnicas de innovación docente, incluyendo el miedo al cambio y la confusión entre tecnología e innovación. Finalmente, se aborda la «Economía del Conocimiento» en la docencia y se presentan ejemplos prácticos de técnicas utilizadas por el ponente.

Os dejo la presentación que voy a realizar en este conferencia inaugural.

Glosario de términos clave

  • Innovación docente: Introducción de novedades o mejoras en las prácticas de enseñanza y aprendizaje para aumentar la efectividad y relevancia educativa.
  • Titulaciones técnicas: Programas académicos universitarios orientados a preparar a los estudiantes con conocimientos, habilidades y competencias específicas para campos profesionales que requieren formación técnica, científica o tecnológica (ingenierías, arquitectura, etc.).
  • Cambio de paradigma en el proceso de aprendizaje: Transformación fundamental de un modelo de enseñanza centrado en el profesor y la transmisión unidireccional de información a un enfoque centrado en el estudiante, el aprendizaje activo y la comprensión profunda.
  • Economía del conocimiento: En el contexto universitario, implica gestionar y aprovechar la información y el saber de manera eficiente y efectiva en la docencia, priorizando conocimientos y habilidades clave y utilizando la tecnología.
  • Agentes (en el proceso educativo): Las diferentes partes interesadas que participan e influyen en el proceso educativo, incluyendo profesorado, estudiantes y la institución universitaria.
  • Competencias: Conjunto de conocimientos, habilidades y actitudes que un estudiante debe adquirir para desempeñarse exitosamente en un campo profesional específico.
  • Evaluación formativa: Proceso de evaluación continua que busca medir el progreso del estudiante a lo largo del curso y proporcionar retroalimentación para mejorar.
  • Aprendizaje a lo largo de la vida: Mentalidad que promueve la actualización constante de conocimientos y habilidades y la disposición a seguir aprendiendo después de completar la formación inicial.
  • Tecnologías de la Información y la Comunicación (TIC): Herramientas y recursos digitales utilizados para mejorar el acceso al conocimiento, la colaboración y el aprendizaje.
  • Gamificación: Integración de elementos de juego en entornos de no juego (como la educación) para aumentar la motivación, el compromiso y el aprendizaje de los estudiantes.
  • Teoría del Cisne Negro: Concepto que describe eventos inesperados y de gran impacto que alteran significativamente la situación y requieren tomar decisiones fuera de la norma.
  • Proceso de Bolonia: Iniciativa europea que busca crear un Espacio Europeo de Educación Superior armonizando las estructuras de los sistemas educativos universitarios.
  • Comunicación bidireccional (en docencia): Interacción en la que tanto el profesor como el estudiante son emisores y receptores, permitiendo el diálogo, la retroalimentación y la discusión.
  • Estadísticas (en medición de la innovación docente): Técnicas cuantitativas utilizadas para analizar objetivamente el impacto y la efectividad de las técnicas de innovación educativa.
  • MAPA mental / MAPA conceptual: Herramientas visuales para organizar información y conceptos, donde el mapa mental se centra en un tema central y ramificaciones, mientras que el mapa conceptual organiza ideas y relaciones de forma jerárquica.
  • Brain writing (6-3-5): Técnica de generación de ideas en grupo donde cada participante escribe 3 ideas en una hoja, la pasa a la siguiente persona y repite 5 veces.
  • SCAMPER: Técnica de pensamiento creativo para generar nuevas ideas a partir de una idea existente mediante la aplicación de verbos de acción (Sustituir, Combinar, Adaptar, Modificar, Poner en otro uso, Eliminar, Reorganizar).
  • Seis sombreros para pensar: Técnica de pensamiento lateral que permite analizar un problema o situación desde seis perspectivas diferentes representadas por sombreros de distintos colores.
  • MOOC (Massive Open Online Course): Cursos en línea masivos y abiertos, a menudo gratuitos, ofrecidos por universidades y otras instituciones.
  • Booklab / Mentimeter: Herramientas digitales de participación interactiva que permiten a los ponentes hacer preguntas a la audiencia en tiempo real y mostrar los resultados.

¿Qué son los resultados de aprendizaje en el ámbito universitario?

Un resultado de aprendizaje se puede definir como “una declaración de lo que el estudiante se espera que conozca, comprenda y sea capaz de hacer al finalizar un periodo de aprendizaje”. Este concepto se considera como uno de los pilares del proceso de Bolonia (R.D. 1027/2011; ANECA, 2014). Sin embargo, esta noción, muy relacionada con el aprendizaje del estudiante, muchas veces se ha confundido con los objetivos de una asignatura, que suelen ser declaraciones generales que indican los contenidos, el enfoque, la dirección y los propósitos que hay detrás de la asignatura o el programa, desde el punto de vista del profesor. Un ejemplo de objetivo sería el siguiente: “presentar a los estudiantes los procedimientos de construcción básicos de túneles”. Como se puede comprobar, no es algo que se pueda evaluar. En cambio “elegir los procedimientos y la maquinaria más adecuada para la excavación de túneles” sí que se encuentra relacionado con lo que puede lograr el estudiante, y se puede evaluar. También se podrían diferenciar los resultados de aprendizaje en función del nivel de enseñanza terminado: de un módulo, de una materia o de una asignatura, que identifica lo que se espera que el estudiante sepa, comprenda y sea capaz de hacer al término de la correspondiente unidad académica. En este caso, los resultados del aprendizaje están directamente vinculados con una estrategia concreta de enseñanza y con unos métodos específicos de evaluación. Este alineamiento entre resultados, actividades de enseñanza y estrategias de evaluación dota de transparencia el proceso global de enseñanza- aprendizaje y permite garantizar la coherencia interna de los módulos y las asignaturas.

Figura: Estructura de competencias y resultados de aprendizaje (Yepes, 2017)

Por otra parte, la frontera entre resultado de aprendizaje y competencia a veces se difumina en función del contexto. De hecho, hay países donde ambos conceptos son sinónimos:

  • El Marco Europeo de Cualificaciones para el aprendizaje permanente (EQF) considera que las competencias son parte de los resultados del aprendizaje.
  • El proyecto Tuning (Estructuras educativas en Europa) considera que las competencias se dividen en específicas y genéricas e incluyen “conocimientos y comprensión”, “saber cómo actuar” y “saber cómo ser”. En Tuning los resultados del aprendizaje, por su parte, expresan el nivel de competencia adquiridos.
  • En el Marco de Cualificaciones del EEES los resultados del aprendizaje son el producto del proceso de enseñanza. El término competencias se utiliza en un sentido amplio permitiendo la graduación de habilidades o destrezas, y se considera que está incluido en el concepto de resultados del aprendizaje.

En España, el uso del término “competencias” está más extendido que el de “resultados del aprendizaje”. Así, el R.D. 1393/2007 señala que “los planes de estudios conducentes a la obtención de un título deberán tener en el centro de sus objetivos la adquisición de competencias por parte de los estudiantes, ampliando, sin excluir, el tradicional enfoque basado en contenidos y horas lectivas”. Los resultados del aprendizaje se mencionan en la exposición de motivos (“Se proponen los créditos europeos, ECTS, como unidad de medida que refleja los resultados del aprendizaje y volumen de trabajo realizado por el estudiante para alcanzar los objetivos establecidos en el plan de estudios”) y en el punto 8 del Anexo I (la universidad debe presentar el “procedimiento general de la Universidad para valorar el progreso y los resultados del aprendizaje de los estudiantes”). Las órdenes ministeriales relacionadas con los títulos que habilitan para una actividad profesional regulada hablan de competencias, y no de resultados de aprendizaje. Éste último término sí que se utiliza en el R.D. 1027/2011 por el que se establece el Marco Español de Cualificaciones para la Educación Superior (MECES).

Ante esta confusión, se aconseja seguir el criterio de la Guía de apoyo de ANECA, en donde se considera que los resultados del aprendizaje son concreciones de las competencias para un determinado nivel y que son el resultado del proceso de enseñanza-aprendizaje. Por tanto, se considera que los resultados del aprendizaje describen lo que los estudiantes deben ser capaces de hacer al término del proceso formativo o de la asignatura. Para que ello sea posible deben definirse con claridad; deben ser observables y evaluables; deben ser factibles y alcanzables por los estudiantes; deben diseñarse para asegurar su idoneidad y relevancia con respecto a la asignatura o enseñanza; deben guardar relación directa con los resultados del aprendizaje del programa; y deben corresponder al nivel definido en el MECES.

Los resultados del aprendizaje se definen con frases con un verbo de acción, un contenido u objeto sobre el que el estudiante tiene que actuar y un contexto o condiciones en las que se producirá la acción. Suele utilizarse la jerarquía de Bloom para su redacción. La “Guía de apoyo para la redacción, puesta en práctica y evaluación de los resultados del aprendizaje” (2014) da recomendaciones para definir los resultados:

  1. Incluir la siguiente frase, antes de enumerar los resultados del aprendizaje “Al terminar con éxito esta asignatura/enseñanza, los estudiantes serán capaces de…”
  2. Comenzar con un verbo de acción seguido del objeto del verbo y del contexto.
  3. Evitar considerar únicamente resultados del aprendizaje relacionados con las categorías más bajas.
  4. Incluir resultados del aprendizaje que incluyan o combinen tres planos (cognitivo, subjetivo y psicomotor).
  5. Incluir únicamente aquellos resultados del aprendizaje que el estudiante vaya a ser capaz de alcanzar, evitando ser demasiado ambicioso.
  6. Establecer cuidadosamente el nivel de ejecución correspondiente al resultado pertinente para un determinado nivel académico.
  7. La redacción ha de ser comprensible por otros profesores, estudiantes y la sociedad en general.
  8. Considerar cómo se pueden medir y evaluar los resultados del aprendizaje.
  9. Incluir aquellos resultados que se consideren elementales para definir el aprendizaje esencial de la asignatura.
  10. Un número entre 5 y 10 se considera bastante habitual.

Otro aspecto importante es la relación entre los resultados de aprendizaje y su evaluación. En este sentido, los métodos y las actividades formativas y los sistemas de evaluación deben coordinarse para alcanzar los resultados del aprendizaje. Así, la ANECA considera importante esta alineación, como así queda reflejado en el “Criterio 6. Resultados de aprendizaje”, en donde la directriz 6.1 a valorar para su cumplimiento indica “Las actividades formativas, sus metodologías docentes y los sistemas de evaluación empleados son adecuados y se ajustan razonablemente al objetivo de la adquisición de los resultados de aprendizaje previstos.” Por último, señalar que los resultados de aprendizaje son dinámicos, siendo aconsejable su revisión periódica y sistemática así como su interrelación con las metodologías docentes y las prácticas de evaluación.

Referencias:

ANECA (2014). Guía de apoyo para la redacción, puesta en práctica y evaluación de los resultados de aprendizaje.
YEPES, V. (2017). Proyecto docente. Concurso de Acceso al Cuerpo de Catedráticos de Universidad. Universitat Politècnica de València, 642 pp.

Licencia de Creative Commons
Este obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.

 

 

La evaluación de competencias a través de una rúbrica

Las rúbricas son guías precisas de valoración y puntuación utilizadas en la evaluación de los niveles de desempeño de los estudiantes en un aspecto determinado, que describen las características específicas de un producto, proyecto o tarea en varios niveles de rendimiento.

Su FINALIDAD es

  • Clarificar lo que se espera del trabajo del alumno valorando la ejecución.
  • Facilitar al alumno los criterios que el profesor espera de él en sus actividades de aprendizaje y con los que será evaluado.
  • Ofrecer feedback a los alumnos para mejorar su aprendizaje.
  • Evaluar de forma objetiva y consistente, sobre todo aquellas áreas consideradas subjetivas, complejas e imprecisas, mediante criterios que cualifiquen progresivamente el logro de aprendizajes, conocimientos y competencias, desde un nivel incipiente hasta un nivel experto.
  • Motivar y promover expectativas positivas sobre la evaluación, clarificando cómo los alumnos pueden alcanzar los mejores resultados.
  • Facilitar la comunicación con el estudiante sobre los resultados de sus aprendizajes, su progreso y su producto final.
  • Promover el pensamiento crítico y la creatividad.

Para ello HAY QUE:

  • Determinar los objetivos del aprendizaje.
  • Identificar los aspectos a valorar.
  • Definir descriptores, escalas de cualificación y criterios.
  • Determinar el peso-calificación de cada criterio.
  • Revisar la rúbrica y reflexionar sobre su impacto educativo.
  • Explicar a los alumnos el funcionamiento y la metodología de aplicación.

En el siguiente enlace encontrarás una herramienta para crear rúbricas.

Os dejo a continuación algunos vídeos al respecto que espero os sean de interés:

Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 Internacional.