L’assegurament de la qualitat dels resultats dels programes formatius de la UAB



L’adquisició i assoliment de competències és un element indispensable per a qualsevol títol universitari que tingui per objectiu, entre d’altres, formar estudiants ben preparats. En aquesta comunicació es presenta un instrument que permet mesurar la intensitat dels resultats d’aprenentatge en l’avaluació de l’estudiant amb l’objectiu de detectar punts forts i febles en l’avaluació de competències. També es mostren resultats sobre l’impacte que té aquesta eina en l’acreditació de les titulacions.

 

Vídeo: El cas que ens ocupa inicia en el minut 5:02

Desenvolupament

 

Context normatiu

L’establiment de les bases de l’adaptació a l’EEES per part dels títols universitaris es duu a terme amb l’aplicació de la Llei orgànica 4/2007, de 12 d’abril, per la qual es modifica la Llei orgànica 6/2001, de 21 de desembre, d’universitats (LOMLOU). Seguidament, l’aplicació del Reial decret 1393/2007, de 29 d’octubre (modificat pels reials decrets 861/2010 i 99/2011), que establia l’ordenament dels ensenyaments universitaris oficials, va augmentar l’autonomia universitària en deixar a les universitats la creació i proposta, d’acord amb les regles establertes, dels ensenyaments i títols que cal impartir sense estar subjectes a l’existència d’un catàleg previ establert.

Aquesta major autonomia de les universitats suposa que les propostes de nous ensenyaments s’hagin de sotmetre a un procés d’avaluació previ i a un procés d’avaluació posterior. Entre tots dos processos, les universitats duen a terme un seguiment anual del desenvolupament de les titulacions implantades, tot, d’acord amb el seu sistema de garantia interna de qualitat (SGIQ). Els criteris per a aquestes avaluacions els estableixen conjuntament les agències de qualitat d’acord amb els estàndards i directrius internacionals per a l’assegurament de la qualitat i la resta de normatives legals.

A Catalunya, l’Agència de Qualitat Universitària de Catalunya (AQU) i totes les universitats catalanes van aprovar el marc per a la verificació, el seguiment, la modificació i l’acreditació (VSMA), que estableix que, qualsevol títol, un cop passats quatre o sis anys des de l’avaluació ex-ante (verificació), ha de sotmetre’s a un procés d’avaluació ex-post (acreditació). En aquesta comunicació ens centrem, sobretot, en el procés d’acreditació que, segons l’AQU, és la comprovació, a partir d’una visita externa, que la titulació s’està desenvolupant com estava planificada en la verificació.

El procés d’acreditació a la UAB

La UAB va iniciar en el curs 2013-2014 el procés d’acreditació de les primeres titulacions verificades amb l’objectiu, entre d’altres, d’identificar els punts forts i de millora a partir de l’aplicació de determinats estàndards que s’estableixen en la Guia per a l’acreditació de les titulacions oficials de grau i màster dissenyada per AQU Catalunya. Aquesta guia inclou el marc legal, els tràmits i documents necessaris per a l’avaluació i, el més important, els estàndards d’avaluació i les rúbriques per a avaluar-los.

L’estàndard on se situa l’anàlisi de la comunicació és el de l’avaluació de la qualitat dels resultats dels programes formatius (estàndard 6 de la guia); entenent aquests com els resultats de l’aprenentatge dels estudiants, les dades d’inserció laboral, l’evolució dels indicadors acadèmics i, per últim, la satisfacció dels grups d’interès. De manera específica, ens centrem en l’avaluació dels aprenentatges dels estudiants a través del grau d’assoliment dels resultats d’aprenentatge recollit en l’ESG 1.3 (Avaluació de l’alumnat), que recomana que «l’alumnat ha de ser avaluat d’acord amb criteris, regles i procediments publicats i aplicats amb coherència» (ENQA, 2005). La pertinència de l’aplicació d’aquests criteris i procediments és el que el procés d’acreditació pretén analitzar per garantir que les activitats de formació i d’avaluació són coherents amb el perfil de formació de la titulació.

De manera específica, el model que es presenta en el següent apartat intenta donar resposta al subestàndard 6.2. Les activitats formatives, la metodologia docent i el sistema d’avaluació són adequats i pertinents per a garantir l’assoliment dels resultats d’aprenentatge previstos. Per a poder valorar el conjunt de l’estàndard 6, la Guia per a l’acreditació d’AQU proposa que s’aportin com a evidències la documentació del SGIQ sobre els processos relacionats amb els programes formatius i la recollida de resultats, i l’accés a tota la informació de les assignatures seleccionades com a mostra, que inclou les guies docents, el professorat i les mostres d’activitats d’avaluació fetes pels estudiants.

Model proposat per avaluar

Davant l’objectiu que es proposa l’estàndard comentat en l’anterior punt, l’Oficina de Qualitat Docent (OQD) de la UAB proposa un sistema de recollida i avaluació de les activitats formatives i d’avaluació amb les competències i els resultats d’aprenentatge que aquestes treballen que, amb el vistiplau d’AQU, es presenta com a model de valoració del subestàndard 6.2. a les titulacions que, des del curs 2013-2014, han dut a terme el procés d’acreditació.

Aquest sistema parteix de tota la informació que consta a les guies docents de les assignatures, que cada curs actualitzen els responsables docents i coordinadors de titulació i que estan publicades al web de la UAB, entre d’altres. A les guies docents es pot disposar de la informació de les activitats formatives i dels resultats d’aprenentatge que aquestes treballen i del temps dedicat a cadascuna (veg. la taula 1) i de les activitats d’avaluació amb els resultats i les competències que s’avaluen, el temps dedicat i el pes que té per a l’estudiant cada activitat d’avaluació (veg. la taula 2). A partir d’aquí, la coordinació de la titulació pot elaborar un registre de tota aquesta informació per a totes i cadascuna de les assignatures, i detectar-hi les càrregues de treball, la diversitat d’activitats formatives i d’avaluació, els resultats i les competències treballades i avaluades i el seu pes, etc. (veg. la taula 3). Per al procés d’acreditació, les titulacions han de seleccionar una sèrie d’assignatures mostra que serveixen com a evidència per a comprovar l’estàndard (veg. la taula 4). A banda de l’anàlisi conjunta i individual de les assignatures mostra, també es pot elaborar a nivell de titulació per a garantir completament que l’assoliment de les competències del perfil és adient i satisfactori.

Per a elaborar la matriu d’intensitats de l’avaluació de competències i resultats d’aprenentatge per a les assignatures seleccionades com a mostra en el procés d’acreditació, s’ha d’anar a la informació de la guia docent de cadascuna de les assignatures i observar quin pes té, en l’avaluació de l’estudiant, cada resultat a través de la ponderació de cada activitat en la nota final de l’estudiant. Per exemple, si el resultat d’aprenentatge X s’avalua en l’activitat 1, que té un pes del 20% i en l’activitat 2, que té un pes del 40%, podem dir que la intensitat amb què s’avalua aquest resultat és moderada segons l’escala de valors establerta. Aquesta escala estableix que un resultat d’aprenentatge que té un pes de menys del 20% té una intensitat baixa, entre el 20 i el 60%, intensitat moderada i més del 60%, intensitat alta. Aquesta matriu d’intensitats permet detectar qualsevol desequilibri en l’avaluació de competències i mostrar que totes s’assoleixen amb el nivell esperat. Que un resultat d’aprenentatge tingui una intensitat baixa no és un resultat negatiu; s’ha d’analitzar el conjunt de resultats d’aprenentatge que componen la competència i veure que les intensitats estan equilibrades i que realment es pot garantir que la competència s’avalua i, per tant, l’estudiant l’assoleix.

Resultats

En aquest punt ens centrem en les valoracions obtingudes per a cadascuna de les titulacions de la UAB que han passat per un procés d’acreditació des del 2014 fins al primer semestre del 2016. AQU atorga una valoració global i una valoració per a cada estàndard de cada titulació. Com es pot veure a les figures 5 i 6, 24 titulacions han obtingut la valoració màxima, «s’assoleix en procés d’excel·lència», 72 titulacions amb la valoració «s’assoleix» i 1 titulació que va rebre la valoració de «s’assoleix amb condicions».

Si ens centrem només en les titulacions que han obtingut la valoració «s’assoleix en procés d’excel·lència» (24 títols), des de l’inici fins ara, durant l’any 2015 només un 25% de les titulacions van obtenir aquesta valoració, mentre que la resta, un 75%, la van obtenir durant el primer semestre del 2016. Aquest increment es deu, en part, al major nombre de titulacions que en el 2016 han passat pel procés d’acreditació (veg. el gràfic 1), però també a l’aprenentatge aconseguit per part de tots els agents implicats en el procés. Una altra dada interessant relacionada amb les titulacions que s’han acreditat amb excel·lència és que el percentatge per a màsters (83%) és molt superior al dels graus (17%). Tanmateix, també cal comentar que l’acreditació amb excel·lència només s’ha assolit en titulacions pertanyents a centres propis de la UAB.

Si ens fixem amb les dades per estàndards (veg. el gràfic 2), el primer que podem veure és que els estàndards 1 i 5 són els que tenen un percentatge de titulacions més alt amb la valoració «acreditades» (90%). El segon aspecte important són els percentatges amb la valoració «acreditades amb excel·lència» per als estàndards 2, 4 i 6, que se situen entorn d’un 25-30%. I tot seguit cal destacar la valoració «acreditades amb condicions», que se situa bàsicament als estàndards 3 i 4 (25% aprox.). Si sumem els percentatges de les valoracions «acreditades» i «acreditades amb excel·lència», veiem que tots els estàndards, excepte el 3 i el 4, superen el 90% i, per tant, es pot afirmar que aquests estàndards estan molt ben assolits per a la gran majoria de les titulacions de la UAB.

Finalment, per al model presentat en la comunicació, ens interessa destacar que l’estàndard 6 (Qualitat dels resultats) obté un percentatge del 95% de titulacions acreditades amb la valoració «acreditades» o «acreditades amb excel·lència», el percentatge més alt de tots els estàndards que componen el procés d’acreditació. Aquestes dades ens permeten continuar treballant amb aquest model d’avaluació de l’adquisició de competències amb la garantia que s’assegura la qualitat dels resultats dels programes formatius.

 

Referències bibliogràfiques

Agència per a la Qualitat del Sistema Universitari de Catalunya (2016). Guia per a l’acreditació de les titulacions universitàries oficials de grau i màster. Barcelona. Lloc web: http://www.uab.cat/doc/GuiaAcreditacioTitulacions

European Association for Qualitaty Assurance in Higher Education (2009) Standards and Guidelines for Quality Assurance in the European Higher Education Area. Hèlsinki. Lloc web: http://www.enqa.eu/wp-content/uploads/2013/06/ESG_3edition-2.pdf.

Imatges

Figura 1



Figura 2



  • Universitat / Facultat
    Universitat Autònoma de Barcelona (UAB)
  • Tipus
    Sistemes i programes d’avaluació
  • Equip de treball / Contacte

    Núria Marzo Cabero (tècnica superior)

    Mari Pau Álvarez del Castillo (cap d’oficina)

    Oficina de Qualitat Docent (oqd@uab.cat)

  • Any
    2016