El protagonisme dels estudiants en la seva pròpia avaluació: validació del procés i dels instruments d’avaluació de l’aprenentatge pràctic i d’una competència associada



S’exposa l’estratègia d’avaluació combinada (avaluació tradicional + autoavaluació) de les pràctiques de laboratori i d’una competència transversal associada, Capacitat d’aprenentatge i responsabilitat, implementada en una de les assignatures de farmàcia galènica del grau de farmàcia de la UB. Els resultats finals de l’autoavaluació feta pels alumnes s’aproximen als de l’avaluació dels professors, fet que permet validar el procés d’avaluació i l’instrument emprat (rúbrica), així com garantir la validesa de les qualificacions. La participació dels alumnes en el procés d’avaluació és beneficiosa per a ells mateixos, en prendre consciència sobre què i com s’avalua, i també per als professors, en assegurar-se que l’avaluació sigui rellevant, la qual cosa, finalment, ajuda a complir els objectius docents establerts.

 

Vídeo: El cas que ens ocupa inicia en el minut 2:58:

Desenvolupament

 

 

Introducció

El grau de farmàcia UB desenvolupa el procés d’ensenyament-aprenentatge de la matèria farmàcia galènica en un conjunt d’assignatures impartides en 1r, 3r, 4t i 5è curs. En l’actual context educatiu, en què l’adquisició de competències és un dels punts centrals en l’EEES (Martínez, M i Viader, M., 2008; M. Alcanyís, 2008), el Grup d’Innovació Docent de Tecnologia Farmacèutica (GIDTF) es va proposar desenvolupar gradualment la competència transversal «capacitat d’aprenentatge i responsabilitat» associant-la a les activitats pràctiques de les esmentades assignatures (M. Aróztegui et al., 2014; A. Brillas et al. , 2015).

Per al desenvolupament d’aquesta competència, es va optar pel model ensenyament-aprenentatge en espiral (J. S. Bruner, 2006; M. E. Guilar, 2009), (veg. la figura 1) per a fomentar un aprenentatge significatiu i efectiu, com es va establir en treballs anteriors (L. Halbaut et al., 2014 i 2015 b).

L’actual enfocament de la formació universitària per competències considera l’avaluació com una poderosa eina formativa que, a més, condiciona el resultat de l’aprenentatge (L. K. J. Baartman, 2006 i 2007 a, b, c). Per això convé promoure estratègies participatives dels estudiants en el procés d’avaluació (J. M. Jornet, 2011) i tenir en compte els beneficis de l’autoavaluació i coavaluació (G. Rodríguez et al., 2013).

Objectius

Tot seguit s’exposa l’estratègia duta a terme en el procés d’avaluació de les pràctiques de l’assignatura de farmàcia galènica I (FGI) i de la competència transversal associada «capacitat d’aprenentatge i responsabilitat», així com els resultats de l’anàlisi de la doble avaluació, amb el propòsit de validar el procés d’avaluació amb l’instrument dissenyat (rúbrica).

Aquest treball forma part del projecte 2014 PID-UB/050 i dóna continuïtat a la línia d’actuació de dos projectes precedents (2011 PID-UB/16 i 2013 PID-UB-009).

Metodologia

El desenvolupament de les pràctiques es planteja com un treball col·laboratiu de laboratori en grups de dos o tres integrants. S’opta per l’avaluació clàssica feta pel professor i, a més, requereix l’autoavaluació dels alumnes, com es va fer en altres assignatures (L. Halbaut et al., 2014 i 2015 a,b), amb l’únic propòsit de validar el procés i l’instrument d’avaluació.

La rúbrica d'avaluació emprada (veg. les taules 1 i 2) prové de a dissenyada inicialment (L. Halbaut et al., 2015a), modificada per tal de poder integrar en la nota final de pràctiques (10% de la nota del curs) la nota d’un test postpràctiques (40% de la nota de pràctiques). La rúbrica es mostra als estudiants en dues ocasions: el primer dia de classe i en la primera sessió de pràctiques. Per a cada alumne, els professors anoten, en cada sessió, les puntuacions atribuïdes a cada element d'avaluació, en una escala de l’1 al 4.

Els alumnes s’autoqualifiquen de manera seriosa i crítica, i registren les notes corresponents al campus virtual, on es va crear amb aquesta finalitat una tasca de realimentació amb la plataforma Moodle.

La coordinadora de pràctiques confecciona una base de dades amb totes les notes de la doble avaluació (alumnes i professors) de les pràctiques i altres informacions d’interès per a poder validar el procés, els instrument d’avaluació de les pràctiques i de la competència associada.

Avaluació i resultats

- Participació de l'alumnat

En el curs 2014-2015, 338 dels 349 alumnes de FGI van fer les pràctiques en 5 sessions de 3 hores organitzades en 31 torns i supervisats per un total de 36 professors. Cada alumne va ser avaluat, com a mínim, per 5 professors (un per sessió). D’aquests, 283 (83,7%) van dur a terme l'activitat d’autoqualificació en el període establert; la resta no la va fer.


- Freqüència d’atribució de les puntuacions de l’1 al 4

La freqüència de puntuació amb les notes 1 (0,4%), 2 (1,9%), 3 (11,8%) i 4 (86,1%) per part dels professors i 1 (0,0%), 2 (1,4%), 3 (31,1%) i 4 (67,5%) per part dels alumnes (veg. la figura 2) reflecteix la tendència de l’alumnat a atribuir notes inferiors a les del professorat, fet que coincideix amb estudis amb anteriors (L. Halbaut et al., 2014 i 2015 b). A més, es detecta una certa reticència de l’alumnat a puntuar-se amb la nota més baixa (1) i, paral·lelament, un cert fre a puntuar-se amb una nota de 4, ja que opta majoritàriament per la nota 3 en l’autoqualificació dels indicadors de capacitat d’aprenentatge.

En comparar el conjunt de notes atribuïdes pels alumnes amb les dels professors, bé de manera global o per ítem, s’observen diferències estadísticament significatives (p <0,001), excepte en el cas de l’assistència.
 

- Notes resultants per responsabilitat, capacitat d’aprenentatge, test final i nota final de pràctiques

La figura 3 mostra la distribució de notes mitjanes de responsabilitat en l’autoavaluació feta per alumnes (Re-A), enfront de l’obtinguda en la dels professors (Re-P), així com de les notes mitjanes de la capacitat d’aprenentatge (Ap-A-70% i AP-70%, respectivament) i de les notes finals (nota final A i nota final P, respectivament).

La figura 3 també permet comparar el diagrama de distribució de les notes del test postpràctica, que val un 40% de la nota de pràctiques, enfront de la resta dels ítems avaluats en la capacitat d’aprenentatge (Ap-P- 30%). En aquest test, un 35,9% dels alumnes van treure notes d’ excel·lent (> 3,6 sobre 4), un 32,6% de bé/desitjable (entre un 3 i un 3,5), un 27,8% de suficient/mínim (entre un 2,0 i un 2,9) i finalment, un 3,6% el va suspendre (12 alumnes).

D’altra banda, es van analitzar les parelles de notes alumne/professor. Es calcula la diferencia aritmètica [nota alumne – nota professor] per a cada alumne, i es consideren acceptables variacions ≤ 0,5 sobre 4 (± 12,5%). Els resultats (veg. la figura 4A) mostren una tendència a la subestimació dels alumnes (més diferències negatives) en responsabilitat, mentre que en capacitat d’aprenentatge no va destacar cap tendència, ni tampoc entre parelles de notes finals.


- Qualificacions finals

La figura 4B mostra la distribució de les notes finals, segons l’autoavaluació dels estudiants i l’avaluació dels professors. El corresponent estudi comparatiu no va evidenciar diferències estadísticament significatives entre l’una i l’altra (p > 0,9531), la qual cosa que permet validar el procés d’avaluació i garantir la validesa de les notes atribuïdes pels professors. Finalment, tots els alumnes van superar les pràctiques i el nivell de competència exigit, la gran majoria (96,2%) amb bones notes (> 3,0 sobre 4), la resta (3,8%) amb notes de suficient. La nota mitjana global de les pràctiques i la competència associada va ser de 3,6 ± 0,3 sobre 4.


- Opinió dels alumnes sobre el procés i l’instrument d’avaluació

Majoritàriament els alumnes van opinar que el format de la rúbrica (92,3%), els elements avaluats (74,6%), l’escala de qualificació (89,2%) i la informació sobre el procés d’avaluació (79, 1%) van ser bons o excel·lents (veg. la figura 5).

Impacte / Sostenibilitat

La participació dels alumnes en el procés d’avaluació de les pràctiques els anima a prendre consciència sobre què i com s’avalua, i, per tant, promou un aprenentatge més efectiu i beneficiós a l’hora d’avaluar l’adquisició de competències i complir els objectius docents.

L’estratègia proposada no suposa una càrrega de treball addicional gaire forta per al professorat ni per a l’alumnat, si bé a vegades pot ésser estressant per al professor quan hi ha grups d’alumnes poc autònoms que requereixen una atenció acaparadora -sovint perquè no s’han llegit prèviament la guia de pràctiques-. La relació entre oportunitat d’aprenentatge i esforç sol ser molt positiva si les activitats estan ben planificades i permeten una bona autonomia dels estudiants.

Línies futures / Noves oportunitats

S’han pogut avaluar conjuntament les pràctiques i la competència transversal associada, capacitat d’aprenentatge i responsabilitat, en l’assignatura FGI i en cinc més de l’àmbit de la farmàcia galènica del grau de farmàcia i també en dos mòduls de postgrau. En set d’aquestes s’hi va aplicar el mètode d’avaluació combinada (L. Halbaut, 2014, 2015 a i 2015 b). Aquesta estratègia d’avaluació és fàcilment aplicable a l’àmbit pràctic d’altres assignatures.
 

Conclusió

L’anàlisi dels resultats de l’avaluació combinada de les pràctiques de FGI i de la competència transversal capacitat d’aprenentatge i responsabilitat mostra la tendència dels alumnes a puntuar lleugerament més baix que els professors en alguns ítems. Aquesta tendència s’ha apreciat també en altres assignatures de farmàcia galènica (L. Halbaut et al., 2015 b), si bé aquestes diferencies no són estadísticament significatives i, per tant, es pot garantir la validesa del procés i de l’instrument d’avaluació. Els beneficis de l’avaluació participativa dels alumnes es doble: per a ells mateixos, en prendre consciencia dels aspectes fonamentals de l’aprenentatge proposat i saber valorar críticament el nivell d’assoliment i, per al professorat, en assegurar-se de la validesa dels resultats de l’avaluació i coherència amb els objectius d’aprenentatge.

L’estratègia de doble avaluació proposada suposa una carrega de treball addicional mínima tant per al professorat com per l’alumnat i es pot fàcilment implementar en altres assignatures.  

 

Referències bibliogràfiques

Alcañiz, M.; Pérez Marín, A. M. «Las Competencias transversales en una titulación de corte cuantitativo». En Univest 08. Girona: la Universitat. Recuperat de http://hdl.handle.net/10256/1032.

Alderson, J. C.; Wall, D. (1993). «Does Washback Exist?» Applied Linguistics 14, p. 115-129.

Aróztegui, M.; Brillas, A.; Halbaut, L.; Bosch, B.; Torres, B.; Pérez, M. P.; Suñé, J. M. (2014). «Una estrategia de evaluación de las prácticas y de una competencia transversal». IV Congrés CIDUI, Tarragona, 2, 3 i 4 de juliol de 2014. CIDUI, 2 (2014). Recuperat de http://www.cidui.org/revistacidui/index.php/cidui/article/view/715/686

Baartman, L. K. J.; Bastiaens, T. J.; Kirschner, P. A.; Van der Vleuten, C. P. M. (2006). «The Wheel of Competency Assessment. Presenting Quality Criteria for Competency Assessment Programs». Studies in Educational Evaluation, 32, p. 153-177.

Baartman, L. K. J.; Bastiaens, T. J.; Kirschner, P. A.; Van der Vleuten, C. P. M. (2007 a) «Teachers' Opinions on Quality Criteria for Competency Assessment Programs». Teaching and Teacher Education, 23, p. 857-867.

Baartman, L. K. J.; Prins, F. J.; Kirschner, P. A.; Van der Vleuten, C. P. M. (2007 b). «Determining the Quality of Competences Assessment Programmes: A Self-Evaluation Procedure». Studies in Educational Evaluation, 33, p. 258-281.

Baartman, L. K. J.; Bastiaens, T. J.; Kirschner, P. A.; Van der Vleuten, C. P. M. (2007c). «Evaluating Assessment Quality in Competence-Based Education: A Qualitative Comparison of Two Frameworks». Educational Research Review, 2, p. 114-129.

Brillas, A.; Pozo, A. del; Halbaut, L.; Viscasillas, A.; Suñer, J.; Cañadas, C.; Llambí, F. (2015). «Educación en salud: la formación por competencias en formulación magistral y oficinal». INFARMA Barcelona, 24, 25 i 26 de març 2015.

Bruner, J. S. (2006). In Search of Pedagogy. The Selected Work of Jerome S. Bruner. Londres / Nova York: Taylor & Francis e-Library - Routledge.

Guilar, M. E. (2009). Las ideas de Bruner: «De la revolución cognitiva a la revolución cultural». EDUCERE. Vol. 13, 44, p. 235-241. Recuperat de  http://www.saber.ula.ve/bitstream/123456789/28865/1/ideas3.pdf

Halbaut, L.; Aróztegui, M.; Miñarro, M.; Aparicio, R. M,; García-Montoya, E.; Pérez Lozano, P.; Suñer, J.; Suñé, J. M.; Tic, J. R.; Viscasillas, A.; Fábregas, A.; Torres, B. (2014). «Implementación de la evaluación de la competencia de Aprendizaje y Responsabilidad en el ámbito de la formación práctica de la farmacia galénica». INNOVADOC, 2014. Dipòsit digital de la UB. Universitat de Barcelona, 6 de novembre de 2014. Recuperat de http://hdl.handle.net/2445/59449

Halbaut, L.; Aróztegui, M.; Miñarro, M,; Aparicio, R.M,; García-Montoya, E.; Pérez Lozano, P.; Suñer, J.; Suñé, J. M.; Ticó, J. R.; Viscasillas, A.; Fábregas, A.; Torres, B. (2015 a). «Validación del proceso y de los instrumentos de evaluación de la competencia "Capacidad de aprendizaje y responsabilidad" en el ámbito de la formación práctica en farmacia galénica». INNOVADOC, 2015. Dipòsit digital de la UB. Universitat de Barcelona; 5 d’octubre de 2015. Recuperat de http://hdl.handle.net/2445/67124

Halbaut, L.; Aróztegui, M.; Gracia, A.; Brillas, A.; Pérez Lozano, P.; Viscasillas, A.; Aparicio, R. M.; García, E. (2015 b). «Revalidación del proceso e instrumentos de evaluación de la competencia de aprendizaje y responsabilidad (nivel novel) en el ámbito de la formación práctica». 8.ª Trobada de Professorat de Ciències de la Salut. Barcelona 4, 5 i 6 de febrer de 1015. Dipòsit digital de la UB. Universitat de Barcelona; febrer de 2015. Recuperat de http://hdl.handle.net/2445/67797

Jornet, J. M.; González, J.; Suárez, J. M. i Perales, M. J. (2011). «Diseño de procesos de evaluación de competencias: consideraciones acerca de los estándares en el dominio de las competencias». Revista de Orientación Pedagógica, 63 (1), p. 125-145.

Martínez, M.; Viader, M. (2008). «Reflexiones sobre aprendizaje y docencia en el actual contexto universitario. La promoción de equipos docentes». Revista de Educación, número extraordinario 2008, p. 213-234. Recuperat de http://www.revistaeducacion.mec.es/re2008/re2008_09.pdf . Consultat el 12/9/2013.

Rodríguez, G.; Ibarra, M. S.; García, E. (2013). «Autoevaluación, evaluación entre iguales y coevaluación: conceptualización y práctica en las universidades españolas». Revista de Investigación en Educación, 11 (2), p. 198-210. Recuperat de http://webs.uvigo.es/reined/ . Consulta tel 14/2/2013. 

Imatges

Taula 1



Taula 2



Taula 3



Taula 4



  • Universitat / Facultat
    Universitat de Barcelona (UB)
    Facultat de Farmàcia
  • Tipus
    Instruments i models d’avaluació
  • Equip de treball / Contacte

    Grup d’Innovació Docent de Tecnologia Farmacèutica (GIDTF) - Universitat de Barcelona (UB)

    Lyda Halbaut Bellowa (coordinadora); Rosa M. Aparicio Pelegrín,; Ana Calpena Campmany; Alfonso del Pozo Carrascosa; Encarna García Montoya; Mireia Mallandrich Miret; M. José Martínez Viñas; Montserrat Miñarro Carmona; Anna Nardi Ricart; Pilar Pérez Lozano ; Josep Ramon Ticó Grau; Joaquim Suñer Carbó; Josep M. Suñé Negre ; Begoña Torres Gallardo; Anna Viscasillas Clerch.

    Contacte: halbaut@ub.edu

  • Any
    2016