Eina de suport als docents: sapiguem més i millor què passa a les nostres aules



Les plataformes d’aprenentatge virtual ja són una eina més en qualsevol universitat. Qui les fa servir deixa un rastre d’ús que pot ser analitzat. L’objectiu del projecte és analitzar aquests rastres per a construir un coneixement més veraç i profund sobre els estudiants, les seves necessitats i les assignatures que cursen.

Per a fer-ho s’han identificat un conjunt d'indicadors i s’han integrat en un quadre d'indicadors que permet observar fàcilment el progrés dels estudiants, les incidències a les aules i l’evolució de les assignatures, la qual cosa ajuda a practicar una docència més personalitzada i dirigida a les necessitats de cada aula i de cada estudiant. El següent enllaç conté un vídeo explicatiu del quadre d’indicadors: https://youtu.be/wLztuyNYe3I

Desenvolupament

 

 

Introducció

Com a docent, disposo de les eines necessàries per a enriquir les meves activitats d’aprenentatge o fer una docència més personalitzada per a crear un valor afegit i diferencial? Aquesta és una pregunta que tots els docents ens hem fet i ens continuem fent sovint. Els entorns virtuals d’aprenentatge actuals són molt sofisticats i proveeixen de moltes funcionalitats, però la provisió d’eines analítiques per al suport a la docència no acostuma a ser-ne una. La nostra activitat diària encara inclou una multitud de tasques repetitives i automatitzables que s’han de fer tant sí com no de manera manual per a poder avaluar el

funcionament d’una aula, l’evolució dels seus estudiants o les possibles millores en la docència o en unes determinades activitats d’aprenentatge. Aquestes tasques suposen un malbaratament del temps del docent, que ha d’estar fent clics i recollint informació en comptes de fer accions docents de valor afegit.

La Universitat Oberta de Catalunya (UOC) ha començat a treballar per donar resposta a aquesta necessitat analítica creant un magatzem de dades que conté informació de la interacció dels diferents agents que intervenen en els processos d’ensenyament/aprenentatge. Aquest magatzem permet trobar fàcilment les dades d’interès per als docents, però cal definir sistemes que consultin aquestes dades per tal de presentar automàticament informació de context i actualitzada als docents, amb l’objectiu que puguin identificar ràpidament com està funcionant tot plegat, quins possibles problemes hi ha a les seves aules, quins estudiants necessiten una atenció més personalitzada i quines oportunitats de millora existeixen. Això ens permetrà enfocar els esforços dels docents a resoldre els problemes en comptes de buscar-los.

Objectius

L’objectiu principal d’aquest projecte és crear un sistema analític que proveeixi informació actualitzada, agregada, contextualitzada i navegable sobre l’estat de la seva docència a cada docent de la UOC.

Com a projecte d’innovació tecnològica, les accions que caldrà fer són aquestes:

1. Dissenyar un quadre d’indicadors que doni suport als docents de la UOC.

2. Crear un sistema que pobli de manera sistemàtica i periòdica (diàriament) el quadre d’indicadors proposat.

3. Avaluar la utilitat del quadre d’indicadors implementat.

4. Proposar possibles accions de futur en funció dels resultats de la prova pilot.

Metodologia

Aquest projecte va començar fa temps en el context de la tesi doctoral d’Isabel Guitart (Guitart, 2017). Durant aquesta etapa, es van dissenyar i validar un conjunt d’indicadors docents i es va crear un prototipus que els integrava en un quadre d’indicadors que mostrava la informació a les aules. A partir d’aquest moment, la UOC va concedir un projecte APLICA1 (projecte d’innovació docent) per a fer una prova pilot i avaluar-ne la viabilitat.

https://www.uoc.edu/portal/es/elearncenter/innovacio/convocatoria-aplica/index.html.

Per a la implementació del quadre d’indicadors, s’utilitzarà una metodologia basada en prototipatge per a anar-hi incorporant els canvis al projecte, de forma natural, a mesura que els usuaris vagin provant diferents versions del quadre d’indicadors. Això implicarà reunions periòdiques i de curta durada per a seguir i revisar expectatives.

Seguint la proposta de (Guitart & Conesa, 2016), la definició del projecte s’ha estructurat en tres diferents fases, que permeten justificar amb dades la necessitat i utilitat de la proposta, definir i executar el projecte i validar-ne els resultats. A continuació es descriuen amb més detall:

- Justificació del projecte: En els anys previs s’han definit els indicadors i el quadre d’indicadors i se n’ha validat la utilitat. Aquesta validació es va fer mitjançant una enquesta a tots els professors dels estudis d’informàtica, multimèdia i telecomunicació de la UOC. Dels prop de 60 professors, més d’un 70% van respondre a l’enquesta. Els resultats van demostrar la necessitat d’un quadre d’indicadors com el proposat, ja que més del 95% varen manifestar que els agradaria utilitzar el quadre proposat per a les seves assignatures. Arran d’aquests resultats, es va plantejar de fer una prova pilot més massiva i duradora per a avaluar-ne la utilitat i analitzar-ne la possible implantació a més gran escala.

- Execució del projecte: En aquests moments som en aquesta fase, on s’està creant una versió operativa i eficient del quadre d’indicadors proposat. Aquesta fase es compon de les següents etapes:

a. Anàlisi de la informació. S’ha d’analitzar si les dades necessàries per a calcular els indicadors estan disponibles.

b. Desenvolupament d’un magatzem de dades analític per al quadre d’indicadors. El temps de calcular els indicadors és costós. Per tal de garantir que el sistema tindrà un bon temps de resposta, cal calcular prèviament els indicadors i emmagatzemar-los en una base de dades.

c. Càrrega de dades: Es defineixen i s’implementen els processos d’extracció, transformació i càrrega per a calcular les dades dels indicadors diàriament.

d. Desenvolupament dels quadres d’indicadors: S’implementarà el quadre d’indicadors a l’aula, a l'assignatura i al programa.

- Anàlisi de resultats, proposta d’evolució i proposta d’implantació: S’analitzaran els resultats obtinguts de la prova pilot. Fruit de l’avaluació, es farà un document de millores i un d’implantació (en cas que els resultats ho justifiquin).

Avaluació i resultats

Per a validar de forma objectiva l’impacte que té el quadre d’indicadors en la docència, s’emprarà un model d’avaluació de la satisfacció de l’usuari (End-User Computer Satisfaction) (Doll & Torkzadeh, 1988). Concretament, utilitzarem el model de Hou (Hou, 2012), dissenyat per a avaluar els sistemes analítics. Aquest model permet la validació de les següents dimensions:

- Satisfacció de l’usuari: Avalua el contingut de la informació del quadre d’indicadors, la fiabilitat, la facilitat d’us i el temps de resposta.

- Rendiment individual: Avalua l’impacte que té el quadre d’indicadors en el rendiment del treball, la productivitat individual i l’eficàcia a la feina. També avalua fins a quin punt el quadre permet augmentar la qualitat en la presa de decisions o reduir el temps necessari per a identificar possibles problemes.

- Ús del sistema: Avalua la utilitat del quadre d’indicadors en les decisions docents i en la compartició de coneixement entre l’equip de professorat.

A part de l’avaluació del sistema global, també s’avaluarà fins a quin punt els indicadors proposats han estat útils i quins altres indicadors s’han trobat a faltar. Per a fer-ho, es preguntarà, per a cada indicador proposat, la seva utilitat i la seva representació gràfica (a fi de descobrir els casos en què s’ha triat una representació poc usable per a un determinat indicador).

Impacte / Sostenibilitat

Al final del projecte s’espera obtenir un sistema analític que permeti als docents de la UOC conèixer l’estat de les seves aules, contextualitzat en els últims 4 semestres. Aquest sistema serà compost per un quadre d’indicadors relatiu a l’aula (per als professors), un quadre d’indicadors relatiu a l'assignatura (per als coordinadors d’assignatura) i un quadre d’indicadors relatiu al programa (per als coordinadors de programa). Addicionalment, algunes de les peces del sistema final (per exemple, els magatzems analítics creats) podran ser utilitzats com a fonts de dades per a altres projectes analítics. En acabar el projecte, les eines estaran totalment implementades i prou provades per a decidir si és viable implantar-les a gran escala.

Des del punt de vista docent, creiem que el sistema presentat causarà impacte en la qualitat en diversos àmbits. D’una banda, el professorat tindrà més coneixement sobre la seva activitat docent, fet que li permetrà anticipar-se a possibles problemes, millorar la seva docència i fer

un seguiment més personalitzat dels estudiants; d’altra banda, els directors acadèmics disposaran d’un entorn integrat amb informació en detall i agregada sobre les assignatures, els itineraris i les àrees temàtiques del seu programa. Això els proporcionarà una anàlisi de viabilitat en diferents nivells d’agregació. Pel que fa a l’organització, el sistema presentat contribuirà a augmentar la maduresa analítica de la universitat.

No s’espera que hi hagi problemes de sostenibilitat, ja que el projecte s’implementa fent servir eines de programari lliure, la infraestructura necessària per a mantenir-lo és mínima i probablement es podrà reutilitzar maquinari existent. Els requeriments de màquina són un servidor en el núvol que estigui actiu només durant el procés de càrrega de dades diari i un servidor de bases de dades per a proporcionar les dades dels indicadors.

Línies futures / Noves oportunitats

Som davant un projecte que tan sols s’endinsa tímidament en les possibilitats que ofereix l’analítica en els entorns d’aprenentatge virtual (Guitart & Conesa, 2016b). No obstant això, creiem que els projectes com aquest són necessaris per a sistematitzar l’ús de l’analítica en la docència i evangelitzar el professorat sobre el potencial de l’anàlisi de dades i els avantatges que pot proporcionar. Si el projecte acaba amb èxit, serà una bona llavor per a demostrar-ho i un primer pas en la creació i el test de diferents sistemes analítics més sofisticats que permetin, per exemple, la identificació d’estudiants en risc d’abandonament, l’ús de tècniques d’anàlisi de sentiment per a identificar aules que tinguin una deriva negativa, per a veure l’estat d’ànim dels estudiants i poder així personalitzar el tracte amb ells o per a esbrinar la motivació dels docents i fer una assignació d’aules més acurada.

Conclusió

Els entorns virtuals d’aprenentatge permeten recollir totes les interaccions que fan els usuaris, tant professors com estudiants. Recollir, contextualitzar i analitzar aquesta informació ens permet conèixer, en primera instància, què passa a les aules i com gestionen els docents i els estudiants les seves tasques. Aquesta informació, ben analitzada i interpretada, permet que els docents monitoritzem la nostra docència i albirem quines oportunitats de millora tenim o bé quins estudiants necessiten una atenció especial i com proporcionar-los-la. És aquesta línia la que s’ha explotat en el present projecte, construint un sistema analític que aporta als docents més informació sobre les seves aules i sobre els estudiants, la qual cosa permet fer accions més personalitzades i de més impacte. Aquest sistema s’ha implementat i validat seguint una

estratègia orientada a unes evidències per a mostrar també la importància de fer servir una estratègia basada en dades per a definir i implementar projectes d’innovació.

Cal dir, com s’ha comentat en l’apartat anterior, que aquest projecte és una tímida aproximació al veritable potencial de l’analítica en entorns docents. Quan fem servir entorns virtuals d’aprenentatge, una gran part del procés d’aquest aprenentatge queda enregistrat, i això permet no solament veure què passa, sinó també preveure què pot passar en un futur, allò que s’anomena analítica predictiva, o bé quines accions podem dur a terme per a millorar certs aspectes en un futur, allò que s’anomena analítica prospectiva. Esperem que en un futur proper tinguem més eines d’aquest tipus perquè els docents puguem centrar-nos a fer activitats d’impacte, personalitzades i innovadores, i perquè els estudiants tinguin més informació sobre com gestionar millor els seus processos d’aprenentatge per a millorar-ne l’eficiència.

 

Referències bibliogràfiques

GUITART, I. (2017). «Estudi dels sistemes d’informació analítics en el context universitari: proposta d’un sistema analític universal per a la universitat». Tesi doctoral. Defensada l'abril del 2017. Universitat Oberta de Catalunya.

GUITART, I.; CONESA, J. (2016). «Evaluation of Analytic Projects in the Context of Higher Education». 2016 10th International Conference on Complex, Intelligent, and Software Intensive Systems (CISIS). p. 111-118. IEEE.

DOLL, W. J.; TORKZADEH, G. (1988). The measurement of end-user computing satisfaction. MIS Quarterly, p.259-274.

HOU, C. K. (2012). «Examining the effect of user satisfaction on system usage and individual performance with business intelligence systems: An empirical study of Taiwan's electronics industry». International Journal of Information Management, vol 32, núm. 6, p. 560-573.

GUITART, I.; CONESA, J. (2016b). «Creating university analytical information systems: A grand challenge for information systems research». Formative Assessment Learning Data Analytics and Gamification, p. 167-186.

Imatges

Taula 1



Taula 2



  • Universitat / Facultat
    Universitat Oberta de Catalunya (UOC)
  • Tipus
    Eines i aplicacions
  • Equip de treball / Contacte

    Grup de recerca: SmartLEARN (http://smartlearn.uoc.edu/)

    Equip de treball: Xavier Aracil, Santi Caballé, Jordi Conesa, Marc Fuentes, David Gañán, David Garcia, Isabel Guitart, José Lopez, Núria Molas, Antoni Pérez, Francesc Santanach i Jordi Serres.

    Contacte: Jordi Conesa i Caralt - jconesac@uoc.edu

  • Any
    2017