1. Educación

XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
COEVALUACIÓN ITERATIVA CON RÚBRICA DE
EXPOSICIONES ORALES EN LA EDUCACIÓN
SUPERIOR
Murillo Zamorano, Luis R.1; Montanero Fernández, Manuel2
1: Departamento de Economía
Facultad de Ciencias Económicas y Empresariales
Universidad de Extremadura
Campus universitario. Badajoz
e-mail: [email protected]
2: Departamento de Ciencias de la Educación
Facultad de Educación
Universidad de Extremadura
Campus universitario. Badajoz
e-mail: [email protected]
Resumen. En este estudio preliminar, de carácter exploratorio, se analiza la
percepción de una muestra de estudiantes del grado en Economía en una experiencia
de innovación didáctica (CIR+VISUAL), centrada en la mejora de competencias
transversales a partir de la ayuda entre iguales. La experiencia consistió en la
coevaluación iterativa con rúbrica (CIR) de las exposiciones orales de contenidos
disciplinares por parte de los estudiantes. La gestión de dicha coevaluación se apoyó
además con dos plataformas digitales: VISUAL y Moodle. Los resultados ponen de
manifiesto un alto grado de satisfacción de los participantes con la experiencia, no sólo
respecto a la mejora percibida de la competencia transversal, sino también con el
aprendizaje de los contenidos disciplinares. En función de éstos y otros datos, se
analiza la utilidad de los diversos recursos didácticos que integran la experiencia y las
perspectivas futuras de innovación e investigación.
Palabras clave: Competencias transversales, Coevaluación, Rúbrica, plataformas
digitales.
1. INTRODUCCIÓN
La coevaluación entre iguales de tareas prácticas es un recurso potencialmente relevante
para la adquisición de competencias. Por un lado, identificar los logros y errores de
otros nos ayuda a reconocer los propios. Para ello es necesario que la coevaluación no
se limite a una calificación del trabajo del compañero. Cuando los alumnos justifican las
necesidades de mejora de un producto de aprendizaje se ven forzados a verbalizar las
estrategias y razonamientos que ellos mismos emplearon, lo que les ayuda a mejorar su
propia competencia.
Por otro lado, la mayoría de los alumnos se implican más en discutir y revisar
críticamente los propios trabajos cuando las evaluaciones proceden de los compañeros
que las del propio profesor. Dicha evaluación es especialmente útil cuando forma parte
de un proceso iterativo, en que el alumno puede volver a entregar y/o defender el
trabajo, después de revisarlo, explicitando las mejoras introducidas, y argumentado las
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
sugerencias no aceptadas.
Algunos trabajos, sin embargo, han puesto de manifiesto una fuerte limitación de las
actividades de coevaluación por pares en general, relacionada con la incomodidad que
muchos estudiantes sienten cuando evalúan o son evaluados por sus compañeros (Liu,
Lin, Chiu y Yuan, 2001; White, 2009). Los estudiantes de niveles educativos superiores
suelen responder mal ante las críticas de sus compañeros, en gran parte porque
consideran que no tienen las habilidades necesarias para evaluarles (Wen y Tsai, 2006).
Un recurso de apoyo que se ha mostrado muy útil para reducir estos efectos y potenciar
la calidad de la colaboración es un tipo de escala de apreciación, que se ha traducido
como rúbrica (del inglés “rubric”). Una rúbrica es una escala descriptivo-ordinal,
compuesta por una serie de criterios o categorías de evaluación de una habilidad o
producto operativizada en niveles de ejecución (normalmente cuatro) que son
enunciados con cierta precisión. La rúbrica facilita que cada alumno conozca su
situación con respecto a los objetivos que debe alcanzar en la realización de una tarea
concreta (Gallavan y Kottler, 2009; Schamber y Mahoney, 2006). Esta información
puede ayudarle a autorregular su aprendizaje y a potenciar su sentimiento de
autoeficacia (Arter y McTighe, 2001; Jonsson y Svingby, 2007; Panadero, AlonsoTapia y Huertas, 2014; Panadero y Jonsson, 2013). A diferencia de una escala de
calificaciones meramente cuantitativa, cuando los alumnos se coevalúan con una rúbrica
no se limitan a calificar a los compañeros sino que se centran en describir lo que
observan en las sus producciones y lo que pueden mejorar. Se ha comprobado que la
necesidad de seleccionar uno de esos niveles en cada criterio de la rúbrica desencadena
una interacción más rica entre los compañeros, en cantidad y calidad, de modo que se
activan con más facilidad procesos de toma de conciencia y negociación de los
significados sobre los desempeños observados. De hecho, al analizar los registros
verbales de las actividades de coevaluación con rúbrica en niños de Primaria hemos
encontrado más mensajes y ayudas colaborativas entre las aportaciones de los
estudiantes, que en los registros de las parejas que no se apoyaron en una rúbrica.
En este marco, lo que hemos denominado coevaluación iterativa con rúbrica (CIR)
(Montanero, Lucero y Fernández, 2014) constituye un método innovador en la
enseñanza universitaria de gran potencialidad como alternativa para facilitar el
aprendizaje de competencias transversales. El objetivo del presente trabajo es evaluar
los efectos de dicho método en el aprendizaje y en la satisfacción de los alumnos, en
relación, tanto al aprendizaje de los contenidos disciplinares y técnicos de una
asignatura de grado, como a la adquisición de una de las competencias transversales
más relevantes en el ámbito universitario y profesional: la capacidad de comunicación
oral.
Además, el método de CIR se enriqueció con una innovación técnica: la plataforma
multimedia online de aprendizaje VISUAL que facilita los procesos de coevaluación de
las producciones de los estudiantes. La disponibilidad, estructura e inmediatez de acceso
que caracteriza a este tipo de tecnología de presentación interactiva, aporta un doble
beneficio a las actividades de coevaluación. En primer lugar, el poder volver una y otra
vez sobre las producciones (en nuestro caso las exposiciones orales), realizadas por los
alumnos, facilita los procesos de autoevaluación y evaluación entre iguales. En segundo
lugar, la organización por temas y contenidos de los vídeos subidos a la plataforma
genera una videoteca educativa de contenidos que puede ser de gran utilidad para su
estudio.
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
2. EXPERIENCIA DE INNOVACIÓN
2.1.
Contexto y participantes
La experiencia docente presentada en este trabajo se estructura en torno a una actividad
de aprendizaje consistente en la elaboración y coevaluación por parte de los alumnos de
exposiciones orales en el aula sobre los contenidos técnicos de la asignatura de
Crecimiento Económico, con el apoyo de la plataforma multimedia online de
aprendizaje VISUAL.
Se llevó a cabo en la Facultad de Ciencias Económicas y Empresariales de la
Universidad de Extremadura, dentro del Grado en Economía y con la participación de
los alumnos de la asignatura de Crecimiento Económico, impartida en el cuarto curso
del citado Grado.
La muestra de nuestro estudio está constituida por 15 alumnos que representan la
totalidad de los alumnos matriculados en la asignatura de Crecimiento Económico
durante el primer semestre del curso académico 2013-2014. El 67 % de dicha muestra
fueron hombres y el 33 % mujeres. La edad de los participantes osciló entre los 21 y 26
años.
2.2.
Procedimiento y materiales
A lo largo del curso cada uno de los 15 alumnos matriculados realizó 3 exposiciones
orales con apoyo visual (powerpoint, keynote, prezi) y con una duración máxima de 4
minutos cada una. La primera y la segunda se realizaron a mediados de curso y la
tercera al final del mismo. En la primera exposición el profesor se limitó a asignar los
contenidos a desarrollar por cada uno de los alumnos y a dar unas mínimas indicaciones
generales sobre la estructura y tiempos de la exposición. Esta primera tarea expositiva,
por tanto, se fundamentó exclusivamente sobre el bagaje previo que cada alumno tenía
sobre la elaboración de exposiciones orales.
Las exposiciones orales fueron grabadas en vídeo y puestas a disposición de los
alumnos bajo la forma de diversas presentaciones interactivas alojadas en
www.prezi.com. El resultado final fue la constitución de una plataforma online
multimedia de aprendizaje (VISUAL) donde cada alumno, además de poder visualizar
su exposición oral antes y después del proceso de coevaluación, recibe información
sobre la parte del tema que le ha correspondido desarrollar y sobre el compañero al que
evaluar y por el que será evaluado (Figura 1). La privacidad de los vídeos quedó
garantizada al restringir el acceso a la citada plataforma interactiva exclusivamente a los
alumnos participantes en esta actividad de innovación docente.
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
Figura 1.
Distribución de contenidos y ponentes en VISUAL.
Una vez realizada la primera exposición por parte de todos los alumnos y subidos los
vídeos de todas ellas a la plataforma online VISUAL, cada alumno dispuso de un plazo
de dos días para elaborar y remitir al profesor el informe de evaluación del compañero
que le había correspondido coevaluar, apoyándose para ello en una rúbrica de
elaboración de exposiciones orales específicamente desarrollada para esta actividad
(Anexo 1). Posteriormente, las diferentes parejas de alumnos fueron convocadas en
horas de tutoría no programadas con la finalidad de proceder a un “careo” en donde
cada alumno debía argumentar ante el compañero evaluado los resultados de su
evaluación conforme a la rúbrica.
Finalizada esta primera fase de evaluación entre iguales, todos los alumnos dispusieron
de otros dos días para mejorar su exposición conforme a los comentarios recibidos de
sus evaluadores y volver a repetir la misma en una nueva sesión grabada en vídeo e
igualmente subida a la plataforma visual de aprendizaje. Por último, tras la defensa de
estas dos primeras exposiciones orales, cada alumno elaboró y remitió al profesor un
informe de autoevaluación indicando los aspectos en los que, en su opinión, había
mejorado de la primera a la segunda, así como las principales debilidades y fortalezas
que había detectado en su preparación y defensa.
La actividad diseñada concluyó con una tercera exposición oral pero, en este caso, sobre
los contenidos de un nuevo tema, elegido por cada alumno de entre los ofertados por el
profesor. El objetivo de esta última exposición fue el de consolidar la competencia de
comunicación oral de los alumnos mediante la transferencia de los conocimientos
adquiridos en la exposiciones anteriores a un nuevo contexto. Como las anteriores, esta
exposición fue también grabada en vídeo y puesta a disposición de los alumnos en la
plataforma interactiva de aprendizaje VISUAL. En este caso, además, se entregó a los
alumnos un informe de heteroevaluación final elaborado por el profesor conforme a la
rúbrica de elaboración de exposiciones orales diseñada para esta actividad.
Las diferentes entregas de informes de heteroevaluación, evaluación entre iguales y
autoevaluación que forman parte de esta experiencia de Coevaluación Iterativa con
Rúbrica (CIR), así como el diverso material de apoyo facilitado a los alumnos para la
elaboración de los mismos, se gestionó mediante la entrega de tareas y subida de
archivos a través del aula de la asignatura en el Campus Virtual de la Universidad de
Extremadura (CVUEx) en la plataforma Moodle.
Finalmente, los estudiantes cumplimentaron, también a través de CVUEx, un
cuestionario anónimo, basado en una escala tipo “Likert”, para cuantificar su percepción
o satisfacción con respecto a los recursos didácticos empleados a los resultados de
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
aprendizaje, particularmente en relación a la competencia transversal “exponer ideas
oralmente”.
3. RESULTADOS
Los resultados de la encuesta se resumen en las siguientes figuras. Como puede
apreciarse, los estudiantes manifestaron un grado de satisfacción muy elevado con la
experiencia didáctica y los resultados de aprendizaje disciplinar y transversal. Más del
90% de los sujetos declararon un alto grado de conformidad con la utilidad de la
experiencia para la comprensión de los contenidos técnicos y disciplinares de la
asignatura (figura 2). La proporción de estudiantes que se manifiesta totalmente de
acuerdo con los beneficios de la experiencia en la mejora de la competencia transversal
“exponer ideas en público” es aún mayor y apenas un sujeto se muestra sólo
parcialmente de acuerdo (figura 3). Globalmente, los participantes muestran también un
grado de satisfacción muy alto con la experiencia de innovación, en relación a lo que
habitualmente se hace en las asignaturas del título (figura 4).
Figura 2.
Distribución de los alumnos en función de su percepción de la influencia de la CIR en la
comprensión de los contenidos de la asignatura (0: Nada de acuerdo; 7: Totalmente de acuerdo)
Figura 3.
Distribución de los alumnos en función de su percepción de la influencia de la CIR en la
mejora en la competencia para realizar exposiciones orales (0: Nada de acuerdo; 7: Totalmente de
acuerdo).
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
Figura 4.
Distribución de los alumnos en función de la valoración del método didáctico en relación al
de otras asignaturas del título (0: Muy por debajo de la media; 7: Muy por encima de la media)
Como se observa en la última figura, la rúbrica, así como los vídeos de las propias
exposiciones publicados en la plataforma digital, son los recursos didácticos valorados
como más útiles (por casi el 90% de los estudiantes). Otro dato interesante es la
percepción de la utilidad de los diferentes agentes de evaluación. Los estudiantes le
atribuyen una menor utilidad a la coevaluación y, particularmente, al acceso a los
registros audiovisuales de las exposiciones de los compañeros, que a la actividad de
autoevaluación y a la de heteroevaluación realizada por el profesor (figura 5).
Figura 5.
Distribución de los alumnos en función de la valoración de la influencia de los componentes
de la CIR en la mejora de la competencia expositiva
4. CONCLUSIONES
En síntesis, esta primera experiencia de innovación CIR+Visual ha sido muy bien
valorada por los estudiantes, como estrategia didáctica para abordar competencias
transversales, al tiempo que los propios contenidos curriculares. Dicha conclusión
inicial es coherente con las investigaciones que han mostrado que discusiones que se
producen durante la coevaluación proporcionan mayores posibilidades de ayuda y
retroalimentación que otras actividades de aprendizaje individual y generan una elevada
motivación de los participantes (Liu et al., 2001). La rúbrica se ha mostrado, además,
como un instrumento potencialmente útil para vehicular la coevaluación entre los
estudiantes de modo que consigan valorar con cierta precisión su propio nivel de logro
en una competencia con respecto a un determinado estándar. La gestión de este proceso
se ha visto claramente facilitado por la plataforma multimedia online de aprendizaje
VISUAL, gracias a la cual los alumnos pudieron observar tantas veces como desearon
XI Jornadas Internacionales de Innovación Universitaria
Educar para transformar
sus propias exposiciones y las del resto de compañeros.
Una de las principales limitaciones de estos resultados proviene del hecho de estar
basados únicamente en la percepción subjetiva de los participantes. Actualmente
estamos analizando los vídeos de las exposiciones para poder documentar qué aspectos
específicos de la competencia transversal “exponer ideas en público” mejora realmente
tras las experiencia CIR+VISUAL, en comparación con un grupo de control.
Al tratarse de una competencia eminentemente transversal, que aparece explícitamente
recogida en muchos títulos universitarios, estas conclusiones tienen implicaciones
prácticas en diversos contextos. El más claro es la preparación de los actuales trabajos
de fin de grado en los que, independientemente del título en que se encuadren, es común
otorgar mucha importancia a su exposición en público ante un tribunal.
REFERENCIAS
Arter, J. A., & Mctigue, J. (2001). Scoring Rubrics In The Classroom: Using
Performance Criteria For Assessing And Improving Student Performance. Thousand
Oaks, CA: Corwin Press.
Asgari, S. y Dall’Alba, G. (2011). Improving group functioning in solving realistic
problems. International Journal for the Scholarship of Teaching and Learning, 5(1),
1-14.
Gallavan, N., G. & Kottler, E. (2009). Constructing rubrics and assessing progress
collaboratively with social studies students, social studies students. The Social
Studies, 100 (4), 154-158.
Graesser, A. C., Parson, N., & Mangliano, J. (1995). Collaborative dialog pattern in
naturalistic one-on-one tutoring. Applied Cognitive Psychology, 9, 359-387.
Hanrahan, S.J. y Isaacs, G. (2001). Assessing self- and peer-assessment: the student’s
views. Higher Education Research and Development, 20 (1), 53-70.
Jonsson A. & Svingby, G. (2007). The Use Of Scoring Rubrics: Reliability, Validity
And Educational Consequences, Educational Research Review, 2, 130–144.
Karaca, E. (2009). An Evaluation of Teacher Trainees’ Opinions of the Peer
Assessment in Terms of Some Variables. World Applied Sciences Journal, 6(1), 123128.
Liu, E.; Lin, S.; Chiu, C., y Yuan, S. (2001). Web-based peer review: the learner as both
adapter and reviewer, IEEE Transactions on Education, 44 (3), 246-251.
Montanero, M., Lucero, M., & Fernández, M. J. (2014). Iterative co-evaluation with a
rubric of narrative texts in Primary Education. Infancia & Aprendizaje, 37 (1), 184220.
Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment
purposes revisited: A review. Educational Research Review, 9 (0), 129-144.
Panadero, E., Alonso-Tapia, J., & Huertas, J. A. (2014). Rubrics vs. Self-assessment
Scripts: Effects on First Year University Students’ Self-regulation and performance.
Infancia & Aprendizaje, 37 (1), 149-183.
Schamber, J. F.,& Mahoney, S. L. (2006). Assessing And Improving The Quality Of
Group Critical Thinking Exhibited In The Final Projects Of Collaborative Learning
Groups. Journal Of General Education, 55 (2), 103–137.
Wen, M.L. y Tsai, C.C. (2006). University student’s percepcions of and attitudes toward
(online) peer assessment. Higher Education, 51, 27-44.
White, E. (2009). Student perspectives of peer assessment for learning in a public
speaking course. Asian EFL Journal, 33(1), 1-36.
6. Adecuación
temporal
5. Apoyo visual
4. Comunicación no
verbal
3. Conclusiones
2. Desarrollo
DIMENSIONES
1. Introducción
(0-24)
(25-49)
(50-74)
(75-100)
(0-24)
(25-49)
(50-74)
(75-100)
(0-24)
(25-49)
(50-74)
(75-100)
(0-24)
(25-49)
(50-74)
(75-100)
(0-24)
(25-49)
(50-74)
(75-100)
1. El ponente convierte su exposición en un mero ejercicio de lectura.
2. El ponente no lee durante la exposición, pero tampoco modula la voz o consigue establecer contacto visual con la audiencia.
3. El ponente no lee durante la exposición, establece contacto visual con la audiencia y modula la voz.
4. El ponente no lee durante la exposición, modula su voz, establece contacto visual con la audiencia y además consigue interactuar con ella.
3. CONCLUSIONES
1. No se exponen conclusiones, ni se realiza un resumen del tema expuesto.
2. Se termina la exposición simplemente repitiendo alguna idea importante.
3. Se resumen las ideas más importantes, en relación al objetivo inicial, pero la conclusión final no queda del todo clara.
4. Se resumen las ideas más importantes, en relación al objetivo inicial, de modo que la conclusión final queda clara.
4. COMUNICACIÓN NO VERBAL
1. Durante la exposición, frecuentemente se adopta una postura corporal inadecuada (se da la espalda a la audiencia, se agacha la cabeza, etc.)
2. En general la postura corporal resulta adecuada, aunque en ocasiones se descuida este aspecto.
3. La postura corporal y los gestos resultan adecuados, pero no transmiten seguridad en uno mismo ni resultan elocuentes.
4. La postura corporal y los gestos demuestran seguridad en uno mismo y resultan elocuentes, dotando de fuerza a la exposición.
5. APOYO VISUAL
1. No hay apoyo visual o está mal hecho (deteriorado, con errores, etc.)
2. Hay apoyo visual pero casi no se ve (imágenes muy pequeñas, demasiado texto, muy mal organizado, tipografía no homogénea, etc.)
3. El apoyo visual es adecuado, pero apenas se utiliza durante la exposición.
4. El apoyo visual es adecuado, se utiliza frecuentemente y ayuda a comprender mejor las ideas.
6. ADECUACIÓN TEMPORAL
1. El tiempo de exposición es un 50% inferior o superior al tiempo asignado.
2. El tiempo de exposición es un 25% inferior o superior al tiempo asignado.
3. El tiempo de exposición respeta el asignado, pero los últimos aspectos de la misma son desarrollados con prisas.
4. El tiempo de exposición respeta el asignado y todos los aspectos de la misma logran desarrollarse con tranquilidad.
(0-24)
(25-49)
(50-74)
(75-100)
(0-24)
(25-49)
(50-74)
(75-100)
Escala
(0-24)
(25-49)
(50-74)
(75-100)
X
1. El ponente se hace un lío explicando. La exposición carece de un hilo argumental definido.
2. El ponente explica bien algunas ideas, pero la información es insuficiente, tiene errores o no es la más relevante.
3. El ponente explica bien la mayoría de las ideas, pero hay demasiada información o se explica de manera un poco desordenada.
4. El ponente explica bien todas las ideas, con claridad, siguiendo un hilo conductor y resaltando las más relevantes.
2.3. CAPACIDAD PARA CAPTAR LA ATENCIÓN DEL AUDITORIO
1. INTRODUCCIÓN
1. El ponente no hace ninguna introducción.
2. El ponente saluda, se presenta y nombra el tema del que va a hablar.
3. El ponente saluda, se presenta, identifica el tema y el objetivo que pretende con la exposición.
4. El ponente saluda, se presenta, identifica brevemente el tema, el objetivo que pretende y los apartados de los que va a hablar.
2.1. CONTENIDOS TÉCNICOS
1. El ponente demuestra no entender bien el tema de la exposición.
2. El ponente demuestra dominar sólo algunas partes del tema a exponer.
3. El ponente demuestra un dominio suficiente del tema.
4. El ponente demuestra un completo y exhaustivo dominio del tema.
2.2. CLARIDAD
NIVELES DE EJECUCIÓN
ANEXO 1. Rúbrica para evaluar la exposición oral de un tema con apoyo visual.
Educar para transformar
XI Jornadas Internacionales de Innovación Universitaria
Nota