Un model de rúbrica per a la valoració dels programes educatius en l'educació superior. Estudi sobre les consideracions sorgides en el procés d’elaboració



En aquest treball, hom analitza el procés d’elaboració d’una rúbrica per a la valoració de la qualitat informativa de les guies docents en l’educació superior. En aquest procés hi van participar professors i investigadors en formació. Els resultats mostren l’absència de discrepàncies en les característiques del model educatiu que hauria de ser recollit en les guies docents. Les principals controvèrsies van sorgir en els aspectes tècnics de la rúbrica: el nombre de dimensions i el criteri de selecció, la distribució de les descripcions qualitatives en els nivells de consecució establerts, l’organització de la seqüència dels nivells esmentats i la redacció de les descripcions qualitatives, per tal que fossin clares i comprensibles per a tots els usuaris potencials.

Desenvolupament

 

 

Introducció

És necessari que la valoració de la qualitat educativa es produeixi a l’aula, a departament i en la titulació, en observança del marc general establert  institucionalment (Walvoord, Bardes i Denton, 1998). Però no sempre es disposa dels instruments de valoració adequats per a generar evidències de les millores educatives implantades (Blumberg i Pontiggia, 2011).

La construcció col·lectiva constitueix un lloc d’escolta atenta, diàleg i crítica constructiva (Maxwell, 2010), i podria generar alguns d’aquests instruments. En aquest sentit, les rúbriques afavoreixen el desenvolupament d’una cultura professional i la reflexió sobre el currículum de les titulacions (Cullen i Harris, 2009; Dunbar, Brooks, i Kubicka-Miller, 2006; Knight, 2006). Permeten també identificar amb més facilitat els aspectes que estan funcionant correctament i aquells altres que requereixen una atenció especial (Wolf i Stevens, 2007).

Objectius

L’objectiu d’aquest estudi és analitzar el procés d’elaboració d’una rúbrica per a la valoració de la qualitat informativa de les guies docents en l’educació superior.

Metodologia

La rúbrica va ésser dissenyada per un grup de professors i investigadors en formació. El punt de partença fou una proposta inicial elaborada per un dels professors que es va discutir mitjançant la tècnica de grup nominal fins a aconseguir-ne la versió definitiva, emprant una aplicació en línia implementada per a l’elaboració i utilització col·lectiva de la rúbrica. Atesa la complexitat de l’objecte, hom va considerar necessari estendre el procés durant gairebé un mes.

Posteriorment els dos investigadors que signen aquest estudi van dur a terme, per separat, una anàlisi sobre les diferents versions de la rúbrica proposades i els arguments utilitzats pels participants. Hom va aplicar un enfocament inductiu sobre quatre àmbits de reflexió: les característiques tècniques de la rúbrica, el model educatiu subjacent, els fonaments esgrimits i els principals focus de controvèrsia. El procés va culminar amb una posada en comú i discussió dels resultats, i l’elaboració d’una interpretació acordada.

Resultats

El procés d’elaboració de la rúbrica va suposar la discussió de quatre versions fins a aconseguir-ne una cinquena, que va constituir la rúbrica definitiva. Aquest procés es va desenvolupar sobre tres eixos rectors. Primer, havia d’ésser utilitzada per professors, estudiants i agents externs, de manera que hom va fer una depuració del llenguatge tècnic. Segon, la rúbrica no s’havia de dissenyar en atenció a allò que són les guies docents actualment, sinó en allò que haurien d’ésser en congruència amb el nou model educatiu. Tercer, hom va optar per elaborar una rúbrica analítica, que incorporés àmplies descripcions sobre els indicadors emprats, per tal d’afavorir-ne l’ús per part d’avaluadors no experts.

El model educatiu subjacent no va representar cap focus de controvèrsia. Hi va haver consens sobre les premisses que hauria de complir qualsevol proposta educativa recollida en les guies docents: (a) l’alineació dels diferents aspectes de l’entorn didàctic; (b) el grau en què l’estudiant se situa en el centre del procés educatiu, i (c) l’existència d’una avaluació coherent amb el paradigma de l’avaluació autèntica i l’avaluació sostenible.

Las característiques tècniques de la rúbrica van generar els majors debats. El primer motiu de discrepància fou el nombre de dimensions de la rúbrica, que passà de les vuit dimensions de la proposta inicial a les sis de la rúbrica definitiva. L’eix del debat fou si augmentar les dimensions afavoria la inclusió de descripcions qualitatives més detallades. Al final es va imposar l’argument segons el qual un major nombre de dimensions no necessàriament detalla els indicadors de qualitat; en realitat, afegia més criteris i feia més complex el maneig de la rúbrica.

El segon conflicte fou si el nombre de dimensions havia de reproduir el nombre d’apartats de la guia docent. Per bé que aquesta proposta permetia emprar cada dimensió com un bloc directament aplicable a un apartat, presentava dos desavantatges: alguns professors manifestaren un desacord amb l’estructura actual de la guia docent; àdhuc, l’estructura podia no ésser la mateixa en totes les universitats. La versió definitiva va incloure les sis dimensions següents: resultats d’aprenentatge, contingut de l’assignatura, recursos d’aprenentatge, activitats d’aprenentatge, modalitat d’aprenentatge i avaluació.

Una tercera divergència va afectar el fet de com es distribuïren les descripcions qualitatives en els quatre nivells de consecució pactats per a cada dimensió. Hom va revisar la proposta inicial per a aconseguir una organització més equilibrada entre els nivells de consecució, una clara distinció entre nivells contigus i que totes les dimensions presentessin graus d’exigència equiparables en els nivells de consecució homònims. El principal focus de controvèrsia fou com organitzar la seqüència dels nivells de consecució. Al final hom convingué que els nivells de consecució superiors recollissin allò dit en els inferiors i hi afegissin algun altre aspecte de qualitat. Encara que aquesta alternativa implicava l’extensió de la rúbrica, propiciava l’assimilació dels aspectes fonamentals i ressaltava els nous en cada nivell, cosa especialment útil per a l’avaluador no expert.

La redacció fou l’assumpte més polèmic i l’únic que no es va tancar amb un acord unànime de tots els participants.

Impacte i sostenibilitat

L’elaboració d’aquesta rúbrica exemplifica que la valoració de la qualitat dels centres requereix la participació rellevant dels professors i estudiants (Maxwell, 2010; Ward i Selvester, 2012), i que és necessària l’existència de grups de treball amb la capacitat tècnica i la cultura professional adequades.

La rúbrica fa seu el paradigma de l’avaluació autèntica i l’avaluació sostenible. Primer, perquè el seu objecte d’avaluació és de màxima importància en la valoració de la qualitat educativa Segon, perquè està desenvolupada d’acord amb el context en el qual serà utilitzada: atén a la complexitat del fenomen analitzat i del sistema d’avaluació amb totes les particularitats pròpies de cada centre. Tercer, perquè sol·licita la participació en el disseny i la utilització dels mateixos afectats pel procés avaluador. És dubtós que els sistemes d’avaluació de la qualitat siguin sostenibles sense aquesta col·laboració de la comunitat educativa involucrada.

Línies futures

Un cop dissenyada la rúbrica, és imprescindible procedir a validar-la. L’equip ja ha iniciat l’estudi de la validesa del sistema d’avaluació en el qual s’integra. D’acord amb el marc teòric establert per Messick (1989, 1990, 1995), hom ha procedit a l’anàlisi de les evidències sobre el contingut. Està en marxa una experiència pilot que permetrà l’examen de les facetes substantiva, estructural i externa de la validesa. Tot seguit hom procedirà a l’anàlisi de la fiabilitat intraavaluadors i interavaluadors, especialment important, perquè les guies docents han estat valorades amb la rúbrica per estudiants i professors.

Conclusió

No abunden els sistemes d’avaluació de les titulacions en el disseny dels quals ha intervingut la comunitat universitària directament involucrada. Aquest fet provoca desconfiança, resistència i fins i tot el refús de professors i estudiants, cosa que obstaculitza la implantació d’una nova cultura de l’avaluació de la qualitat educativa. A més a més, impossibilita utilitzar el coneixement expert d’aquests agents respecte de llurs titulacions per a incorporar evidències específiques de la qualitat d’aquestes titulacions i ajustar els sistemes d’avaluació a les particularitats dels centres d’estudi. La solució del problema depèn de múltiples factors: un decidit reconeixement de la missió educativa de la universitat, programes consistents de suport a la millora i a la innovació docent, i una formació del professorat universitari que prevegi també les pràctiques específiques de l’ensenyament-aprenentatge.

L’elaboració consensuada d’una rúbrica per a valorar la qualitat informativa de les guies docents és un exemple de com un grup d’innovació docent pot contribuir als sistemes de garantia de qualitat dels centres. Primer, mostra la importància de reflexionar sobre la pràctica docent: genera una consciència més sòlida sobre les particularitats del procés educatiu, promou un coneixement tècnic més profund –especialment en les metodologies d’anàlisi–, i encoratja a tenir un major compromís amb l’empresa col·lectiva de la millora progressiva de les titulacions. Segon, la rúbrica suposa un recurs que podria ésser utilitzat per a recopilar evidències sobre el funcionament dels plans d’estudi, servir a les autoritats acadèmiques per a plantejar actuacions concretes i anticipar els resultats de les successives fases d’avaluació.

 

Referències bibliogràfiques

Blumberg, P.;Pontiggia, L. (2011). «Benchmarking the Degree of Implementation of Learner-Centered Approaches». Innovative Higher Education, 36 (1), p. 189-202. Cullen, R.; Harris, M. (2009). «Assessing Learner-Centredness through Course Syllabi». Assessment & Evaluation in Higher Education, 34 (1), p. 115-125.

Dunbar, N.E.; Brooks, C. F.; Kubicka-Miller, T. (2006). «Oral Communication Skills in Higher Education: Using a Performance Based Evaluation Rubric to Assess Communication Skills». Innovative Higher Education, 31 (2), p. 115-128.
Knight, L. A. (2006). «Using Rubrics to Assess Information Literacy». Reference Services Review, 34 (1), p. 43-55.
Maxwell, S. (2010). Using Rubrics to Support Graded Assessment in a Competency Based Environment. Occasional Paper. Adelaide: National Centre for Vocational Education Research.
Messick, S. (1989). «Validity». En R. L. Linn (ed.), Educational Measurement (3a ed., p. 13-103). Nova York: American Council on Education and MacMillan.
Messick, S. (1990). «Validity of test interpretation and use». Advance Online Publication. Recuperat de http://www.eric.ed.gov/PDFS/ED395031.pdf.
Messick, S. (1995). «Validity of Psychological Assessment: Validation of Inferences from Persons’ Responses and Performances as Scientific Inquiry into Score Meaning». American Psychologist, 50 (9), p. 741–749.
Walvoord, B. E.; Bardes, B.;i Denton, J. (1998). «Closing the Feedback Loop in Classroom Based Assessment». Assessment Update, 10 (5). Recuperat de http://www.rwc.uc.edu/phillips/Assessment/AsUpdateSep98.html.
Ward, H. C.; Selvester, P. M. (2012). «Faculty Learning Communities: Improving Teaching in Higher Education». Educational Studies, 38 (1), p. 111-121.
Wolf, K.; STEVENS, E. (2007). «The Role of Rubrics in Advancing and Assessing Student Learning». The Journal of Effective Teaching, 7 (1), p. 3-14.

  • Universitat / Facultat
    Universitat de Barcelona (UB)
    Facultat de Belles Arts
  • Tipus
    Instruments i models d’avaluació
  • Equip de treball / Contacte

    José Luis Menéndez Varela (menendez@ub.edu) i Eva Gregori Giralt (gregori@ub.edu)

    Web: www.odas.es
  • Any
    2016