Diagnosi de l’avaluació dels treballs de final de grau. Cas d’estudi de la Universitat de Girona



Aquest estudi analitza el procés d’avaluació de l’assignatura de treball de final de grau (TFG) en 38 graus de títols universitaris de ciències, tecnologia, salut, turisme, dret, ciències socials i economia de la Universitat de Girona, comparant les qualificacions obtingudes en els diferents centres i estudiant l’existència o no de la relació entre aquestes qualificacions i factors com l’ús de rúbrica i la participació del tutor en el procés d’avaluació.

Els resultats mostren que les qualificacions són significativament, més altes quan s’usa rúbrica i també quan el tutor participa en l’avaluació. A partir dels resultats, es plantegen algunes recomanacions.

Desenvolupament

 

Introducció

 

Una assignatura comuna a tots els estudis, i d’avaluació tan complexa com decisiva, és el treball final de grau (TFG), en la qual cada facultat, i de vegades, cada grau, adopta els seus propis criteris d’avaluació. El TFG es desenvolupa en el darrer curs de tots el graus i està dissenyat per establir un escenari formatiu on l’estudiant pugui integrar les competències i coneixements adquirits al llarg dels seus estudis. És una assignatura planificada i desenvolupada per l’alumne de forma autònoma (Hernández-Leo, 2013), on el tutor adopta un paper d’orientador, assessor i acompanyant. L’avaluació del TFG és diversa. De vegades inclou una avaluació formativa i sumadora per part d’un tribunal format per diversos professors, a més del tutor assignat (Voorhoes, 2001). Hi ha graus on els tutors són actius en l’avaluació, i d’altres on no hi influeixen. Des de la Xarxa d’Innovació Docent en Avaluació de l’Institut de Ciències de l’Educació Josep Pallach de la Universitat de Girona (UdG) testem, analitzem i avaluem els processos i resultats que s’aconsegueixen en els diferents mètodes d’avaluació.

Objectius

 

L’objectiu principal és fer una diagnosi del procés actual d’avaluació del TFG en tots els centres docents de la UdG, a partir de l’anàlisi de les principals variables que afecten aquesta avaluació: centre docent, ús de rúbriques i participació del tutor del TFG en l’avaluació, així com formular propostes per a millorar el procés.

Metodologia

 

La informació de les metodologies avaluadores emprades en el TFG s’extreu de la web dels 38 estudis de la UdG. El Gabinet de Planificació i Avaluació (GPA) de la UdG proporciona, d’una manera anònima, la informació de l’expedient acadèmic dels estudiants que finalitzaren els estudis entre els anys 2009 i 2013. Les dades es tracten estadísticament amb SPSS. Per a analitzar el comportament de la distribució de les qualificacions entre els diferents centres, es fa un Boxplot a nivell de centre, juntament amb un test de normalitat (Kolmogrov-Smirnov). Quan es pot assumir la hipòtesi de normalitat per a les qualificacions de cada centre, s’usa un test d’ANOVA amb hipòtesi nul·la afirmant que no hi ha diferències significatives entre les mitjanes per a cada centre. Quan no es pot assumir, es descarta la utilització de l’ANOVA i s’utilitza el test de Welch. Quan els tests d’ANOVA o de Welch mostren diferències significatives entre les distribucions dels diferents centres, es duu a terme un test de comparacions múltiples, que compara les mitjanes (o medianes) per a cada parella de centres; aquests tests indiquen entre quines parelles de centres hi ha una diferència significativa.

S’analitzen les qualificacions del TFG versus la variable binària «Existència de rúbrica en l’avaluació del TFG», i versus «Existència de qualificació del tutor». Les dades es visualitzen mitjançant Boxplot i es comprova si segueixen una distribució normal dins les dues categories (amb rúbrica i sense rúbrica; amb qualificació del tutor i sense qualificació del tutor) mitjançant la prova de Kolmogrov-Smirnov. Quan es pot assumir una normalitat, s’usa un contrast basat en una prova t i, en cas contrari, un contrast no paramètric de medianes. L’objectiu, en ambdós casos, és determinar si la variable binària té efecte significatiu o no sobre les qualificacions.

Avaluació i resultats

 

Hi ha una gran heterogeneïtat procedimental, d’execució i de qualificació del TFG entre titulacions: enfocament del treball (professionalitzador o de recerca), realització individual o en grup, selecció del tema (propostes prèvies o iniciativa de l’alumne), assignació del tutor (institució o petició de l’estudiant), seguiment del treball (tutor o oficina tècnica), nombre de convocatòries anuals (1-3), extensió de la memòria escrita (limitada o no), idioma (català, castellà o anglès), format del document (electrònic o en paper), nombre de còpies que cal lliurar (1-3), índex del document (predefinit o no), durada de l’exposició oral (20-40’), composició del tribunal (nombre de membres i variació d’aquests), paper del tutor en l’avaluació (emissió d’un informe valoratiu sense pes en la nota o amb pes; membre o no membre del tribunal) i ús o no ús de rúbriques. La utilització de rúbriques i la participació directa del tutor en la qualificació són les que més afecten el procés d’avaluació i són les analitzades.

Tot i que la funció del tutor és fer el seguiment del treball, la seva influència sobre la qualificació és diferent segons el grau. En alguns estudis emet un informe valoratiu, que es lliura al tribunal sense que afecti la qualificació final del TFG (A); en d’altres, dona una qualificació que es pondera amb la qualificació del tribunal (B), i altres vegades forma part directament del tribunal (C). Els casos B i C impliquen una influència directa del tutor en la qualificació final, mentre que en el cas A l’efecte no és directe i depèn de si el tribunal considera les opinions del tutor o no.

En l’anàlisi de les rúbriques es detecta una confusió conceptual, ja que alguns graus afirmen utilitzar-ne quan realment són graelles d’avaluació. Considerem que la rúbrica ha de descriure els possibles graus d’assoliment per a cadascun dels criteris o dimensions que s’avaluen, i que alhora serveix perquè l’avaluat pugui entendre el progrés dels objectius valorats i reflexionar-hi (Allen i Tanner 2006).

Comparació entre les qualificacions de TFG als diferents centres

En la majoria dels casos les notes es concentren entre les qualificacions 7 i 9. Als centres d’Educació i Psicologia, Lletres, Ciències, Infermeria i Medicina s’aprecia una major concentració de les qualificacions. A la resta de centres hi ha més discriminació de qualificacions, que abasten tot l’interval possible (5-10).

Els resultats del test de comparacions múltiples mostren que les facultats d’Educació i Psicologia, Lletres, Ciències i Medicina no presenten diferències entre les seves medianes, essent aquestes més altes que en la resta de centres. Les facultats d’Econòmiques i Empresarials, Dret, Turisme i Escola Politècnica formen un segon grup que tampoc no presenten diferències entre si i mostren medianes més baixes. Finalment, Infermeria té una mediana similar a Dret i lleugerament superior al segon grup.

Efecte del tutor en la qualificació del TFG

El contrast no paramètric de medianes ens confirma que la participació del tutor en la qualificació és rellevant pel que fa a la mediana d’aquesta qualificació. Quan el tutor intervé en la nota, les qualificacions són més altes que quan no hi intervé. A més, les notes també estan més agrupades. Com que el tutor segueix tot el procés d’elaboració del document, esdevé menys crític en la seva avaluació, mentre que els examinadors es limiten a avaluar el producte final (Lungren et al., 2008).

Efecte de la rúbrica sobre les qualificacions del TFG

Els resultats del contrast no paramètric de medianes demostra que hi ha diferències significatives en les qualificacions si s’utilitza rúbrica o no s’utilitza. Aquestes són més altes quan s’utilitza rúbrica i hi ha més concentració de qualificacions.

Impacte / Sostenibilitat

 

Atès que la mostra analitzada és de 6.432 casos, els resultats presentats esdevenen molt rellevants per implicar tots els graus de la UdG i per ser extrapolables a altres estudis/universitats on s’avaluï el TFG amb rúbrica o sense i amb la intervenció o no del tutor.

Línies futures / Noves oportunitats

 

Per complementar l’estudi, estem recollint la percepció que els coordinadors dels graus de la UdG tenen de l’avaluació del TFG. Ens interessa també obtenir la percepció dels estudiants que hagin acabat de presentar el TFG i la del professorat implicat, i analitzar si hi ha discrepàncies entre les valoracions que tutor i tribunal facin d’un mateix TFG. Fóra ideal arribar a proporcionar un sistema d’avaluació marc vàlid per a l’avaluació de tots els TFG.

Conclusió

 

L’anàlisi mostra qualificacions significativament més altes quan el tutor participa en el procés d’avaluació del TFG i quan s’utilitza rúbrica. La valoració més positiva dels tutors pot reflectir la dificultat d’avaluar el manuscrit final després d’haver participat en tot el procés de desenvolupament del TFG. A més, quan l’ús de rúbriques d’avaluació no és obligatori per als professors, els criteris d’avaluació poden variar substancialment entre tribunals, així com també entre membres d’un mateix tribunal. Sense valorar les repercussions d’obtenir qualificacions més altes o més baixes, fem les propostes següents:

 

  • La participació del tutor en la qualificació del TFG és aconsellable pel profund coneixement del procés de realització del TFG. Tanmateix, per temes d’objectivitat, convindria que aquesta participació es limités a una part de l’avaluació relativa al treball autònom de l’estudiant (iniciativa, capacitat d’aprenentatge, organització del treball, etc.), i deixés al tribunal l’exclusivitat de l’avaluació del resultat final del treball, ja que es detecta una tendència dels tutors a valorar molt positivament els estudiants propis.

  • L’ús de rúbriques és recomanable, atès que ajuda els estudiants a conèixer què es demana en el TFG i com serà avaluat, i esdevé una pauta d’avaluació objectiva per als professors avaluadors dels TFG d’un estudi.

Referències bibliogràfiques

Allen, D.; Tanner, K. (2006). «Rubrics: Tools for Making Learning Goals and Evaluation Criteria Explicit for Both Teachers and Learners». CBE-Life Sciences Education, 5, p. 197-203. DOI: 10.1187/cbe.06-06-0168.

Hernández-Leo, D.; Moreno, V.; Camps, I.; Clarisó, R.; Martínez-Monés, A.; Marco-Galindo, M. J.; Melero, J. (2013). «Implementación de buenas prácticas en los trabajos de fin de grado». Red de docencia Universitaria, 11, p. 269-278. DOI: 10.4995/redu.2013.5556.

 

Lundgren, S. M.; Halvarsson, M.; Robertsson, B. (2008). «Quality assessment and comparison of grading between examiners and supervisors of Bachelor Thesis in nursing education». Nurse Education Today, 28, p. 4-32. DOI: 10.1016/j.nedt.2007.02.009.

 

Voorhees, R. (2001). Measuring what matters: competency-based learning models in Higher Education. San Francisco: Jossey Bass.

  • Universitat / Facultat
    Universitat de Girona (UdG)
    Facultat de Lletres, Politècnica, Ciències i Educació
  • Tipus
    Sistemes i programes d’avaluació
  • Equip de treball / Contacte

    Carolina Martí Llambrich, Joan Pujol Planella, Gerard Arbat Pujolras, Lídia Feliu Soley, Joan Josep Sunyol Martínez, Francesc Castro Villegas i Anna Planas Lladó

    Contacte

    Carolina Martí Llambrich (carolina.marti@udg.edu)

  • Any
    2018