Ús de les analítiques de l’aprenentatge en entorns col·laboratius en línia: seguiment i avaluació d’interaccions comunicatives en l’assignatura de competències TIC de la UOC



La interacció comunicativa, com a factor clau en el procés d’aprenentatge col·laboratiu en línia, pot ser analitzada mitjançant les analítiques de l’aprenentatge facilitant el seguiment i avaluació dels equips de treball. A partir de la definició de categories, mètriques i indicadors per a oferir als professors criteris per a facilitar l’avaluació d’activitats col·laboratives, hem dissenyat una eina per a aplicar al campus de la UOC. Aquesta innovació presenta el resultat d’una prova pilot en l’entorn acadèmic d’educació superior de la UOC per a valorar l’impacte de l’eina sobre el seguiment i l’avaluació d’activitats col·laboratives en línia, més específicament en interaccions comunicatives en línia, com és el cas dels debats virtuals.

 

Vídeo: El cas que ens ocupa inicia en el minut 2:38:

Desenvolupament

 

 

Introducció

L’aprenentatge col·laboratiu, com a part de la metodologia didàctica que cal desplegar dins l’ambient virtual, permet que els estudiants adoptin un paper actiu en el procés d’aprenentatge i adquireixin competències transversals necessàries per al seu desenvolupament acadèmic i professional. No obstant això, quan porten a terme activitats d’aprenentatge col·laboratives en línia, es generen situacions complexes des del punt de vista docent que ens han de garantir el seguiment i l’avaluació del rendiment individual de l’estudiant.

Les analítiques de l’aprenentatge són una gran ajuda en aquesta tasca docent; sabem que els entorns virtuals d’ensenyament i aprenentatge proveeixen d’informació sobre l’activitat de l’estudiant dins la plataforma, però el problema radica a definir quines mètriques són idònies per a facilitar el procés docent per a cada fase del treball col·laboratiu, com ha de ser analitzada tota aquesta informació, quins patrons podem detectar en les dades i en quina mesura pot ser utilitzada per a desplegar una estratègia docent que asseguri un seguiment individualitzat de l’aprenentatge de l’estudiant. La figura 1 mostra el context de les analítiques de l’aprenentatge de l’estudiant.

L’aprenentatge col·laboratiu i les analítiques s’apliquen en el marc d’una assignatura transversal als graus de la Universitat Oberta de Catalunya (UOC).

Aquesta assignatura, anomenada competències TIC (CTIC), de 6 crèdits i recomanada del primer semestre, la cursen una mitjana de 4.000 estudiants anualment, i s’hi adquireixen les competències d’ús i aplicació de les TIC en l’àmbit acadèmic i professional, i de treball en equip en xarxa.

Objectius

 Aquesta recerca aplicada en el marc d’aquesta assignatura planteja els següents objectius:

- Definir indicadors i mètriques específiques per a oferir als professors criteris per a facilitar l’avaluació d’activitats col·laboratives en línia en què el component d’interacció comunicativa esdevé el factor clau.

- Desenvolupar i implementar una eina d’analítica de l’aprenentatge que mesuri el grau d’idoneïtat de les dades analitzades per a ser aplicades dins el context metodològic del treball col·laboratiu en línia.

- Portar a terme proves pilot per a recollir dades que seran analitzades amb l’objectiu de valorar l’impacte de l’eina sobre el seguiment i l’avaluació d’activitats col·laboratives en línia, més específicament en interaccions comunicatives en línia, com és el cas dels debats virtuals.

- Analitzar els resultats de les proves pilot per tal de millorar l’eina analítica.

Metodologia

Aquest projecte d’innovació docent segueix una metodologia centrada en un estudi de cas dins l’àmbit de l’educació superior en diferents etapes.

- Etapa 1: identificació de les diferents fases del treball col·laboratiu en línia.

- Etapa 2: definició d’una proposta d’indicadors analítics aplicables al seguiment i l’avaluació d’activitats col·laboratives en línia.

- Etapa 3: desenvolupament i implementació d’una solució a mida d’analítiques de l’aprenentatge.

- Etapa 4: execució de les proves pilots que serviran per a la posterior recollida d’informació sobre l’experiència d’innovació docent.

- Etapa 5: anàlisi de dades i elaboració de conclusions.

Avaluació i resultats

En aquesta experiència es van obtenir diversos resultats o productes, des del punt de vista docent, d’acord amb els objectius de la recerca.

  1. Definir categories, indicadors i mètriques partint de les diferents fases identificades del treball col·laboratiu virtual (TCV), mitjançant les quals podem classificar els factors clau que hem d’atendre per a fer el seguiment i l’avaluació del TCV (veg. la taula 1: Categories i indicadors).

Els indicadors es defineixen mitjançant una sèrie de mètriques, però hi ha una gran dificultat en la identificació de mètriques específiques per a uns indicadors determinats, ja que depenen directament de l’activitat col·laborativa que cal desenvolupar i de l’entorn on es porti a terme. No obstant això, la interacció comunicativa és un factor clau, comú a qualsevol procés de treball en grup, raó per la qual va ser relativament senzill definir mètriques per a aquesta categoria del TCV. A la taula 2 es pot apreciar una llista amb les mètriques específiques de cada indicador de la categoria «Interacció comunicativa».

  1. Dissenyar i implementar una eina experimental sobre analítiques de l’aprenentatge a les aules virtuals de la UOC, que implementava la categoria d’interacció comunicativa i facilitava als professors de l’assignatura CTIC de la UOC el seguiment i l’avaluació del debat virtual, una de les activitats d’avaluació obligatòries.

La representació de les mètriques és molt heterogènia. La figura 2 mostra un exemple amb mètriques globals calculades sobre un debat d’una aula, mentre que la taula 3 visualitza les mètriques individuals d’aquest mateix debat per a cada estudiant. Amb aquesta informació, el professor va oferir una retroacció personalitzada a l’estudiant. Els indicadors transversals de dimensió ètica i social (taula 1) són els que no es poden definir per unes mètriques pròpies, sinó que, per a ser valorats, han de recolzar en dades d’altres indicadors. En aquest estudi era rellevant conèixer el grau d’importància que els professors atorgaven a cada mètrica, juntament amb la definició dels descriptors de cada indicador transversal.

  1. Es va posar en funcionament una prova pilot el segon semestre del curs 2015-2016 en què els 14 professors implicats van experimentar l’eina. Posteriorment els van lliurar un qüestionari en línia i van analitzar les respostes.
  2. L’anàlisi del pilot va permetre definir el grau d’importància que atorguen els professors col·laboradors a cadascuna de les 19 mètriques avaluades; així hem pogut conèixer el rànquing d’elements que els són útils a l’hora de fer el seguiment dels estudiants. A la  taula 4 es pot apreciar el resultat de l’anàlisi per a cada mètrica. L’anàlisi de la descripció dels indicadors transversals ens revela que hi ha una certa tendència a l’hora de definir-los. Dit això, alguns indicadors no van ser definits amb cap mètrica, però no podem concloure si va ser per la manca de relació o bé pel nombre de respostes analitzades. Això ens fa plantejar d’eliminar alguns indicadors (Competència, Transparència i «Resolució de problemes i conflictes») i agrupar-ne d’altres; d’aquesta manera, els indicadors transversals que suggerirem a partir d’ara seran els següents: compromís i constància; transparència; respecte; predisposició al treball d’equip; lideratge; responsabilitat.

Es va proposar també als professors que suggerissin alertes perquè l’eina avisés en unes situacions determinades i, davant les respostes rebudes, es va modificar l’eina experimental i es van crea les següents alertes  aquests motius:

 

  • No haver participat en cap moment dins una conversa.
  • No haver participat un nombre mínim i/o màxim de vegades en una conversa.
  • No arribar al grau de dispersió/concentració desitjat en una conversa.

 

Un cop revisades les propostes de millora, plantegem l’afegit de noves mètriques que ens ajudaran a completar la informació que podem obtenir de l’activitat dels estudiants. En concret, afegirem les següents mètriques dins l’eina experimental.

 

  • Grau d’adequació del discurs en el camp semàntic.
  • Nombre d’arxius totals publicats/adjuntats al grup.
  • Nombre d’enllaços externs totals publicats.

Impacte / Sostenibilitat

En la primera prova pilot hi van participar 14 professors que representaven uns 1.000 estudiants. Per a garantir-ne la sostenibilitat, es creà una versió millorada de l’eina, anomenada DIANA 2.0 (DIalogue ANAlysis), que recull el coneixement adquirit en la fase prèvia i que s’implementarà durant el primer semestre del curs 2016-2017 a un total de 41 assignatures CTIC de diferents graus i al màster d’Educació i TIC de la UOC, fet que implica més de 50 professors que monitoritzaran uns 4.000 estudiants.

A mitjà termini es vol implementar com una eina del mateix campus de la UOC, la qual cosa afectaria tots els docents i estudiants de la UOC, sempre que es dugués a terme algun tipus d’activitat col·laborativa.

Conclusió  

Millorar el seguiment i l’avaluació d’activitats col·laboratives en línia és possible, però requereix l’ús de tècniques i metodologies pertanyents a diversos camps del coneixement. Les analítiques de l’aprenentatge afavoreixen aquest objectiu: si és cert que les dades recollides ens donen informacions tant quantitatives com qualitatives, també és cert que el paper del docent és essencial en aquest procés, de fet, esdevé un factor clau, ja que les analítiques de l’aprenentatge ens ofereixen una informació elaborada sobre el grau d’acompliment dels objectius d’aprenentatge de cada estudiant, però és el docent mateix l’encarregat d’interpretar aquestes dades en un context més ampli que el farà tenir en consideració no tan sols un nombre reduït d’indicadors i mètriques, sinó també el contrast amb d’altres que descriguin completament el que ha passat durant l’activitat.

Línies futures / Noves oportunitats

Amb les dades de la darrera prova pilot, podrem conèixer quines mètriques són les descriptores d’alguns indicadors transversals de tipus qualitatiu, com per exemple el respecte, el compromís, el lideratge, etc. També podrem saber com s’ha fet servir l’eina en sentit  metodològic i si realment ha facilitat als professors la tasca de seguiment i avaluació del TCV.

A més, s’obre l’oportunitat de fer una anàlisi de les causes per les quals un estudiant no assoleix els objectius de l’activitat col·laborativa proposada. Això implica ser capaços de predir el comportament d’un estudiant en base a la interpretació que fa el professor de les dades que l’eina analítica mostra sobre l’activitat que aquest estudiant ha portat a terme durant un cert període de temps.

 

Referències bibliogràfiques

Barberà, E.; Litwin, E. (2006). Cambios en la acción docente: de la presencialidad a la virtualidad. Material didàctic UOC. Universitat Oberta de Catalunya.

Barkley, E. F.; Cross, K. P.; Major, C. H. (2014). Collaborative Learning Techniques: A Handbook for College Faculty. John Wiley & Sons.

Campbell, J. P.; DeBlois, P. B.; Oblinger, D. G. (2007). «Academic Analytics: A New Tool for a New Era». EDUCAUSE Review, 42 (4), p. 40.

Casanova, M. O.; Álvarez, I. M.; Alemany, I. G. (2009). «Propuesta de indicadores para evaluar y promover el aprendizaje cooperativo en un debate virtual». Edutec-e. Revista Electrónica de Tecnología Educativa, 28, p. 3.

Cerro, J. P. ; Guitert, M. (2013). «Diseño instruccional de actividades didácticas secuenciadas, de carácter colaborativo y personalizables». Congrés UNIVEST 2013. Universitat de Girona. Consultat l’11/1/16 en http://hdl.handle.net/10256/8312.

Elias, T. (2011). «Learning Analytics: Definitions, Processes and Potential». Learning, 23, p. 134-148.

Espasa, A.; Guasch, T.; Álvarez, I. M. (2013). «Analysis of Feedback Processes in Online Group Interaction: a Methodological Model». Digital Education Review, 23, p. 59-73.

Greller, W.; Drachsler, H. (2012). «Translating Learning into Numbers: a Generic Framework for Learning Analytics». Educational Technology & Society, 15 (3), p. 42–57.

Guitert, M.; Romeu, T.; Pérez-Mateo, M. (2007). «Competencias TIC y trabajo en equipo en entornos virtuales». Article en línia. Revista de Universidad y Sociedad del Conocimiento (RUSC), vol. 4, núm. 1. UOC. Consultat l’11/1/16 en http://www.uoc.edu/rusc/4/1/dt/esp/guitert_romeu_perez-mateo.pdf . ISSN 1698-580X.

Huang, S. L.; Shiu, J. H. (2012). «A User-Centric Adaptive Learning System for E-Learning 2.0». Educational Technology & Society, 15 (3), p. 214-225. Consultat l’11/1/16 en http://www.ifets.info/journals/15_3/16.pdf.

Jordan, S. (2012). «Student Engagement with Assessment and Feedback: some Lessons from Short-Answer Free-Text E-Assessment Questions». Computers & Education, 58, p. 818-834.

Kordaki, M. (2010). «The Role of Context Free Collaboration Design Patterns in Learning Design within LAMS: Lessons Learned from an Empirical Study». Austràlia: Universitat de Sidney. Consultat l’11/1/16 en http://lams2010.lamsfoundation.org/pdfs/04c.pdf.

Navia, C.; Silva, R.; Lozano, G. (2007). «Evaluación del aprendizaje en un ambiente virtual de aprendizaje: un enfoque axiológico». Universitat Pedagògica de Durango, Universitat Autònoma de Nayarit, CUCSH. Consultat l’11/1/16 en http://www.lerif.net/mexique/TEXTES3/Mexico_2007/ambiente.pdf.

Leris, D.; Fidalgo, Á.; Sein-Echaluce, M. L. (2014) «A Comprehensive Training Model of the Teamwork Competence». International Journal of Learning and Intellectual Capital, vol. 11, núm. 1, p.1-19.

Romeu, T.; Guitert, M. (2011). «La formación en línea: un reto para el docente». Cuadernos de Pedagogía, 418, p. 77-81.

Walkington, C. A. (2013). «Using Adaptive Learning Technologies to Personalize Instruction to Student Interests: The Impact of Relevant Contexts on Performance and Learning Outcomes». Journal of Educational Psychology, 105 (4), p. 932.

Wever, B. de, Schellens, T., Valcke, M.; Van Keer, H. (2006). «Content Analysis Schemes to Analyze Transcripts of Online Asynchronous Discussion Groups: a review». Computers & Education, 46 (1), p. 6-28.

Zajac, M. (2008). «Learning Styles as a Tool for Personalization in Online Learning». Readings in Education and Technology: Proceedings of ICICTE 2008, 26, 256-265.

Imatges

Figura 1



  • Universitat / Facultat
    Universitat Oberta de Catalunya (UOC)
    Estudis de Psicologia i Ciències de l’Educació /Àmbit de Competències Digitals.
  • Tipus
    Eines i aplicacions
  • Equip de treball / Contacte

    Grup de Recerca Edul@b / Montse Guitert Catasús (mguitert@uoc.edu), Teresa Romeu (tromeu@uoc.edu), Juan Pedro Cerro (jcerrom@uoc.edu)

  • Any
    2016