Psychometric Toolbox



El projecte estava adreçat a millorar la docència de l’assignatura de Psicometria del Grau de Psicologia. En el moment d’iniciar el projecte, disposàvem d’un entorn Excel amb algunes limitacions, motiu pel qual els docents de l’assignatura vam decidir ampliar i millorar l’entorn existent. El programa resultant havia d’esdevenir d’utilitat tant en la formació psicomètrica de futurs professionals de la Psicologia, com per a professionals que necessiten fer anàlisis psicomètriques.

Un cop finalitzat el projecte, l’equip de treball valorem molt positivament els resultats obtinguts, ja que s’han assolit els objectius proposats a tots els nivells.

Desenvolupament

 

Introducció

 

El projecte original del Psychometric Toolbox neix el curs 2016-2017, quan els docents de l’assignatura de Psicometria del Grau de Psicologia considerem que necessitem una nova eina per a les sessions pràctiques de l’assignatura. Vam explorar opcions ja existents, com el programa TAP (Brooks & Johanson, 2003) o el programa IRT-Lab (Penfield, 2003), però ambdós presentaven una sèrie de mancances. Així doncs, el curs passat vam crear el nostre propi paquet psicomètric basat en Microsoft Excel, i durant el curs vam anar detectant possibilitats de millora i ampliació amb el temps i amb la implementació en les sessions. Aquest fet ens va empènyer a demanar un projecte d’innovació docent per al curs 2017-2018, amb l’objectiu d’ampliar l’entorn del Psychometric Toolbox, per tal que esdevingués una eina encara més potent i accessible tant per als estudiants com per a professionals de la Psicometria.

Objectius

 

Els objectius generals van ser els següents:

(1) Ampliació de les funcions ja existents, dotant l’entorn macro d’un nombre considerable de tècniques psicomètriques, moltes de les quals no estan disponibles ni tan sols en paquets comercials. En particular, volíem incloure noves tècniques d’escalament psicològic, procediments de transformació de puntuacions, i models addicionals de TRI i d’anàlisi factorial.

(2) Millora dels algoritmes i procediments implementats en el projecte previ, per tal d’augmentar la precisió i optimitzar els temps de processament, i facilitar l’experiència d’usuari.

(3) Voluntat de prioritzar la difusió de les macros entre el grup de docents i investigadors relacionats amb la Psicometria i la mesura estadística, així com entre els professionals del sector.

Metodologia

 

El pla de treball constava de quatre fases:

  • 1a fase: fase prèvia a l’inici del projecte en si, en la qual es van preveure totes les modificacions i implementacions que caldria fer durant l’execució. També es va organitzar el repartiment de tasques, així com la temporització esperada.

  • 2a fase: fase d’execució, en la qual es van dur a terme totes les implementacions previstes, es van modificar les funcions que ho requerien i es van crear les funcions noves.

  • 3a fase: fase de depuració, en la qual ens vam centrar a revisar tots els errors i problemes trobats fins al moment, per tal de depurar el funcionament de les macros i aconseguir que fossin més estables.

  • 4a fase: fase final, en la qual vam dur a terme les últimes accions pertinents per finalitzar el projecte, així com tasques de difusió, com la participació en el congrés CIDUI 2018.

Tenint en compte que ja partíem del treball previ fet en el projecte anterior, l’actuació fonamental va ser implementar les noves funcions i millorar el rendiment de les ja implementades. A nivell general, el pla d’actuació va incloure:

  • Correcció de bugs (errors de programació) trobats amb la utilització de les macros durant el curs. Aquest és un procés habitual dins de l’àmbit de la programació informàtica, i es farà periòdicament, a mesura que apareguin possibles errors.

  • Revisió dels mètodes de càlcul ja implementats, així com implementació de les noves tècniques requerides per tal d’augmentar la difusió del projecte.

  • Ampliació de la guia docent i d’usuari, per tal de reflectir-hi tots els canvis i millores que s’han fet en l’entorn macro.

  • Tasques de difusió, com l’assistència al congrés CIDUI 2018.

La metodologia bàsica utilitzada per a dur a terme aquest projecte va ser el llenguatge de programació Visual Bàsic for Applications (VBA), que és el llenguatge de programació de tot el paquet Microsoft Office, incloent-hi Microsoft Excel. Així doncs, una bona part de la feina s’ha fet virtualment, i ha consistit a modificar el codi existent, així com a crear les noves funcions a través del llenguatge de programació.

A nivell de recursos, pràcticament tots van ser de caràcter virtual, excepte alguns de manuals que vam obtenir del CRAI de la facultat.

Avaluació i resultats

 

Els resultats obtinguts en relació amb els objectius plantejats van resultar satisfactoris. A continuació es detallen els resultats obtinguts per a cada objectiu proposat:

  1. S’han unificat les diferents macros en un únic fitxer, cosa que ha simplificat el sistema i ha facilitat la interacció entre els diferents mòduls. També s’han ampliat les funcionalitats del programa, ja que s’hi han inclòs un mòdul completament nou i diversos procediments addicionals.

  2. Els algoritmes han estat optimitzats, per tal de millorar el funcionament dels càlculs interns, cosa que ha repercutit en una millor experiència d’usuari. També s’ha fet una tasca de correcció de bugs (errors de programació).

  3. S’ha fet una tasca de difusió, tant a nivell oficial (participació en el congrés CIDUI 2018) com per altres vies, i s’han obtingut més visites a la pàgina web del projecte que l’any anterior (un 16% més de trànsit). Això també s’ha vist reflectit en l’atenció rebuda pels materials generats, tant de la guia d’usuari com de l’article científic publicat prèviament.

De manera més exhaustiva, la llista de canvis per a cada mòdul és el següent:

  • Data Preprocessor: la creació de subtests permet a l’usuari dividir un conjunt d‘items en diferents grups d’ítems de mides diferents.

  • Classical Item Analysis: es fa una anàlisi per subtests utilitzant els conjunts d’ítems generats en el mòdul Data Preprocessor. S’ha calculat també un índex de dificultat relativa, que mostra la dificultat dels ítems de 0 a 1 independentment del format de resposta.

  • Scoring and Norming: en la transformació individual només es mostren la transformació escollida i el seu interval, a més del percentil i la banda de percentils. La taula normativa es pot fer estesa per tal que es mostrin els intervals de confiança tant de les puntuacions transformades com dels percentils. S’han arreglat els eixos del gràfic de percentils, que no s’adequaven a les dades.

  • Scoring Multiple-Choice Tests: és un mòdul completament nou, dissenyat per a corregir tests de resposta múltiple i elaborar informes sobre el rendiment de cada ítem. L’anàlisi es pot dur a terme a través de tres fórmules de correcció, i els resultats s’analitzen amb Teoria Clàssica dels Tests.

A nivell d’interfície, hem agrupat les macros en un únic full d’Excel per facilitar la interacció entre els diferents mòduls i facilitar l’experiència d’usuari. El menú Ribbon ha patit alguns canvis. Per acabar, s’han corregit força errors (bugs) a totes les macros, inclosos alguns errors crítics en el funcionament del programa.

Impacte / Sostenibilitat

 

L’impacte en les sessions pràctiques de Psicometria ha estat molt bo: els alumnes han reaccionat molt positivament al Psychometric Toolbox, i a nosaltres com a docents ens ha facilitat la tasca d’ensenyar de manera pràctica el que es treballa en les sessions de teoria. El feedback que hem rebut dels alumnes és molt positiu, tant el que apreciem in situ com el que hem rebut de les enquestes de valoració del professorat.

D’altra banda, resta veure quin impacte es genera en altres universitats i grups de recerca, ja que amb la implantació de noves funcionalitats augmentem les possibilitats que abasti el temari d’altres universitats. Aquest impacte, però, pot tardar més a ser observable, ja que requereix una tasca de difusió constant per tal que altres investigadors i docents puguin conèixer el Psychometric Toolbox.

Línies futures / Noves oportunitats

 

El Psychometric Toolbox ha esdevingut un paquet psicomètric molt complet, amb funcions que no s’inclouen ni en paquets comercials actuals. No obstant, no el considerem acabat, ja que pretenem continuar donant suport al programa i actualitzar-lo regularment per polir encara el seu funcionament. Així mateix, també tenim la intenció de afegir funcions psicomètriques al paquet, per tal de poder seguir al dia en el camp d’estudi de la Psicometria, al mateix temps que donem eines als alumnes que desitgin ampliar coneixements.

Conclusió

 

Les conclusions sobre el projecte són clares: han suposat una millora verificable en la qualitat docent de l’assignatura. Tal i com hem desenvolupat en els altres apartats, ha suposat un benefici tant per als professors de l’assignatura com per als alumnes. Al professorat, ens ha suposat poder presentar els conceptes d’una manera pràctica, i remarcar així la connexió amb el coneixement que es dona en les sessions magistrals, mitjançant exemples i exercicis que utilitzaven dades reals. Això creiem que afavoreix la consolidació del temari, ja que ara tenim una eina per treballar-lo en tots els aspectes d’una manera fàcil.

 

Referències bibliogràfiques

 

Brooks, G. P., & Johanson, G. A. (2003). TAP: Test Analysis Program. Applied

Psychological Measurement, 27, 303-304.

Penfield, R. D. (2003). IRT-Lab: Software for research and pedagogy in item response theory. Applied Psychological Measurement, 27, 301-302.