Eficàcia de l’eina de WIRIS quizzes en un curs de matemàtiques en línia



Els cursos de matemàtiques sovint presenten moltes dificultats als estudiants universitaris d’estudis científics, especialment en carreres d’enginyeria. Aquestes dificultats de vegades no són únicament imputables als estudiants, sinó que estan relacionades amb les estratègies d’ensenyament i avaluació. En aquest treball es presenta una experiència d’innovació docent en el marc de la Universitat Oberta de Catalunya. L’experiència se centra en el plantejament d’una avaluació contínua feta a través de l’ús sistemàtic dels anomenats qüestionaris WIRIS, que són autoavaluables i poden donar una retroacció immediata, i que permet seguir un ritme d’aprenentatge individualitzat. Els resultats acadèmics són molt positius, tant des del punt de vista quantitatiu com qualitatiu, en els dos semestres analitzats.

 

Vídeo: El cas que ens ocupa inicia en el minut 5:29

Desenvolupament

 

 

Introducció

En termes generals, els cursos de matemàtiques sovint plantegen greus dificultats als estudiants d’enginyeria: la taxa de deserció és alta i el rendiment és baix. El 2007, el personal acadèmic de l’àrea de matemàtiques a la Universitat Oberta de Catalunya (UOC) va emprendre una revisió de les estratègies d’ensenyament i va proposar una sèrie de canvis destinats a millorar l’experiència d’aprenentatge i l’assoliment de millors resultats acadèmics. El primer pas va ser revisar i actualitzar els materials d’estudi (Sancho-Vinuesa i Masià, 2007) i desenvolupar aplicacions específiques per a entorns d’aprenentatge en línia (Sancho-Vinuesa i Gras-Martí, 2010; Escudero-Viladoms i Sancho-Vinuesa, 2010).

L’exploració de diferents eines que podrien satisfer les expectatives va portar a l’aplicació WIRIS quizzes, desenvolupada per Maths for More. WIRIS quizzes és una eina per a generar qüestionaris en l’entorn virtual Moodle, enriquida amb la calculadora WIRIS, que permet generar preguntes amb paràmetres que prenen valors aleatoris, i escriure i interpretar expressions matemàtiques per a ser avaluades automàticament. En concret, el material fou desenvolupat per a l’assignatura «introducció a les matemàtiques per a l’enginyeria». Els resultats van ser molt positius (Escudero-Viladoms i Sancho-Vinuesa, 2016).

L'èxit va fer reflexionar sobre l’estratègia metodològica i el sistema d’avaluació que s’estaven utilitzant, i la possibilitat d’ampliar l’aplicació de l’eina a altres assignatures, de cara a disminuir l’abandonament i millorar el rendiment acadèmic d’aquestes assignatures.

Objectius

Els objectius en el context de l’ampliació a altres assignatures de la metodologia que havia tingut èxit en l’assignatura d’iniciació a les matemàtiques són tres: en primer lloc, reflexionar sobre el procés òptim d’avaluació; en segon lloc, reduir la taxa d’abandonament; en tercer lloc, millorar el rendiment acadèmic dels estudiants.

Metodologia

La nova estratègia d’ensenyament que hem dissenyat s’ha aplicat a les assignatures anàlisi matemàtica i matemàtiques II, incloses, respectivament, en el grau en enginyeria informàtica i en el grau en tecnologies de la telecomunicació, oferts pels Estudis d’Informàtica, Multimèdia i Telecomunicació de la UOC. Són dues assignatures que comparteixen professorat i, malgrat que el temari difereix en un 30%, les estratègies d’ensenyament i d’avaluació són idèntiques. A més, els materials d’estudi estan desenvolupats pel mateix equip d’autors; per tant, l'enfocament, la nomenclatura i l’estil són idèntics. Tot això ha permès aplicar la proposta de manera transparent, sense biaix, pel que fa a dos dels agents implicats en la nova metodologia: el material i el guiatge en el procés d’aprenentatge de l’estudiant.

Els resultats d’aquestes dues assignatures han estat analitzats des del segon semestre del curs 2010-2011 (als gràfics serà 20102) fins al segon semestre del curs 2014-2015 (als gràfics serà 20142). Veurem que és possible detectar la diferència entre semestres que utilitzen metodologies d’ensenyament diferenciades. Durant els primers set semestres, es va aplicar l’estratègia tradicional de la UOC, centrada en les tradicionals proves d’avaluació contínua, anomenades PAC. El termini de lliurament d’una PAC és, almenys, de dues setmanes a partir de la publicació de l’enunciat; el període entre el lliurament d’una PAC i la publicació de l’enunciat següent és també d’unes dues setmanes; la retroalimentació per part del professor és, almenys, d’una setmana. Tot això comporta que la quantitat de PAC sigui entre 3 i 4.

Durant els dos semestres del curs 2014-2015, es va aplicar la nova estratègia metodològica d’aprenentatge/avaluació, basada en exercicis introductoris en format de lliçó i una pràctica per a consolidar coneixements, i l’avaluació mitjançant qüestionaris interactius. Tots tres tipus d’activitats es presenten en l’entorn virtual Moodle, i recolzen en una retroalimentació automàtica i immediata, excepte una pregunta de desenvolupament. En els primers dos mòduls de l’assignatura, es va donar als alumnes un qüestionari d’avaluació cada setmana, durant cinc setmanes, amb terminis curts de lliurament (un màxim de dos dies). En els mòduls restants, només hi va haver 2 qüestionaris, amb un termini de lliurament de tres setmanes. La tasca inicial de consolidació de conceptes estava feta i només calia mantenir un cert nivell de treball.

El model d’avaluació va ser sempre el mateix, amb un examen final presencial, complementat amb la nota de l’avaluació contínua en un 35%.

Avaluació i resultats

A continuació es fa una anàlisi quantitativa dels resultats relatius a la participació i a l'èxit dels qüestionaris d’avaluació contínua.

En primer lloc, s’observa un augment significatiu en el nombre d’estudiants que segueixen l’avaluació contínua i l’aproven. En els dos últims semestres, aquest nombre (la línia vermella al gràfic 1) se situa en un 20% per sobre de la mitjana total de l’assignatura, mentre que en els altres semestres la màxima distància positiva de la mitjana és d'un 9%.

 

Gràfic 1. TOTAL mostra la mitjana ponderada d’anàlisi matemàtica i matemàtiques II, i Mean correspon a la mitjana total al llarg dels 9 semestres

 

En segon lloc, hi ha un augment significatiu en el nombre d’alumnes que superen el curs. En els dos darrers semestres, el nombre d’estudiants que aproven (la línia vermella al gràfic 2) és del 8% per sobre de la mitjana total de l’assignatura, mentre que en els altres semestres, a excepció del 20132, el percentatge d’aprovats estava sempre a tocar de la mitjana, quan no era un 7% inferior a aquesta.

 

Gràfic 2. TOTAL mostra la mitjana ponderada d’anàlisi matemàtica i matemàtiques II, i Mean correspon a la mitjana total al llarg dels 9 semestres

 

En tercer lloc, es detecta un lleuger augment en la proporció d’alumnes que superen el curs respecte al nombre d’alumnes que es presenten a l’examen final (la línia vermella al gràfic 3). Aquesta proporció d’èxit només se supera en un semestre, el que consta al gràfic com a 20132. D’altra banda, cal destacar que, tot i que el nombre d’estudiants que es presenten a l’examen final en els dos últims semestres és superior als dels que s’hi havien presentat en els semestres anteriors, aquest augment no fa reduir la taxa d'èxit general.

 

Gràfic 3. TOTAL mostra la mitjana ponderada d’anàlisi matemàtica i matemàtiques II, i Mean correspon a la mitjana total al llarg dels 9 semestres.

Impacte

També hem recollit les opinions dels diversos actors que intervenen en l’experiència per saber l’impacte provocat en la seva manera de treballar/estudiar. D’acord amb els resultats de l’enquesta institucional enviada als estudiants, i que té una taxa de resposta del 15%, els graus de satisfacció amb la nova estratègia són, en general, més grans que en semestres anteriors: indiquen que aquesta nova metodologia els suposa un augment de dedicació a l’assignatura però que està compensat pels resultats finals obtinguts. El professorat involucrat ha treballat molt en el desenvolupament i l’aplicació dels nous materials; en té una percepció també molt positiva, perquè ha notat que la seva feina, ara, és més eficaç i creativa: en disminuir les tasques administratives i repetitives, pot dedicar el temps a fer noves propostes de millora.

Així, doncs, des d'un punt de vista qualitatiu, es pot dir que tant els estudiants com el professorat tenen una percepció molt positiva de la nova estratègia educativa.

Línies futures

Els resultats positius d’aquesta experiència ens animen a continuar desenvolupant aquest tipus de materials i a ampliar aquesta metodologia d’ensenyament al màxim possible, sense oblidar d’observar-ne de prop l’ús a les aules per tal de reorientar-la quan calgui perquè segueixi essent efectiva. Per a això és necessari fer estudis més profunds sobre l’eficàcia de l’ús regular d’aquestes eines d’avaluació automàtica. Es pretén fer petites variacions d’aquesta metodologia amb un grup d’estudiants, els resultats dels quals es contrastarien amb els resultats de la resta d’estudiants. L’objectiu seria mantenir la tensió de l’estudiant amb activitats amb alta freqüència que els permetés arribar al final del semestre amb els coneixements ben assolits i preparats per a l’examen sense necessitat de fer un gran esforç els últims dies.

També es vol estudiar quin seria el període adequat per a mantenir oberts els qüestionaris per tal de no generar un estrès innecessari però marcar una pauta de treball contínua.

Conclusió

El disseny i la implementació dels materials d’estudi i estratègies d’avaluació per als cursos de càlcul en carreres d’enginyeria de la UOC sempre s’han centrat a millorar la qualitat de l’aprenentatge dels estudiants.

Un nou paradigma de l’avaluació formativa, basada en l’activitat contínua amb retroalimentació immediata a través d’exercicis i proves de WIRIS, ha demostrat ser eficaç en la millora dels resultats finals dels estudiants. De la mateixa manera, els estudiants i el professorat involucrat en l’experiència mostren una gran satisfacció amb la nova metodologia.

 

Referències bibliogràfiques

Escudero-Viladoms, N.; Sancho-Vinuesa, T. (2010). «Educational Social Software for Context-Aware Learning: Collaborative Methods and Human Interaction». Analysis of Interactions through a Web Annotation Tool in a Pre-University Mathematics Online Course. IGI Global, p. 79-97.

Escudero-Viladoms, N., & Sancho-Vinuesa, T. (2016). «Confidence and Learning: Affective and Cognitive Aspects in Online Mathematics with Automatic Feedback». En S. Caballé i R. Clarisó (ed.) Formative Assessment, Learning Data Analytics and Gamification in ICT Education, p. 87-106). Elsevier.

Himmel, E. (2011). «Evaluación de aprendizajes en la educación superior: una reflexión necesaria». Pensamiento Educativo. Revista de Investigación Educacional Latinoamericana, 33 (2), p. 199-211.

Sancho-Vinuesa, T.; Masià, R. (2007). «A Virtual Mathematics Learning Environment for Engineering Students». Interactive Educational Multimedia, 14, p. 1-18.

Sancho-Vinuesa, T.; Gras-Martí, A. (2010). «Educational Technology in Practice: Research and Practical Case Studies from the Field». En Teaching and Learning Undergraduate Mathematics in an Online University, p. 145-152. Information Age Publishing Inc..

Imatges

Gràfic 1



Gràfic 2



Gràfic 3



  • Universitat / Facultat
    Universitat Oberta de Catalunya (UOC)
  • Tipus
    Eines i aplicacions
  • Equip de treball / Contacte

    Remei Calm, Ramon Masià, Carme Olivé, Núria Parés, Francesc Pozo, Jordi Ripoll, Teresa Sancho-Vinuesa

    Contacte: Teresa Sancho-Vinuesa (tsancho@uoc.edu)

  • Any
    2016