Design and validation of a rubric to evaluate educational actions and projects on youth empowerment* Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil Laura CORBELLA MOLINA. Pre-doctoral Researcher. Universitat Autònoma de Barcelona (Laura.corbella@uab.cat). Carme TRULL OLIVA, PhD. Associate Professor. Universitat de Girona (Carme.trull@udg.edu). María PILAR RODRIGO-MORICHE, PhD. Associate Professor. Universidad Autónoma de Madrid (Pilar.rodrigo@uam.es). Xavier ÚCAR MARTÍNEZ, PhD. Professor. Autonomous Universitat Autònoma de Barcelona (Xavier.ucar@uab.cat). year 79, n. 280, September-December 2021, 537-555 Abstract: bric, within the framework of the HEBE Pro- In recent years, there has been a signifi- ject, for the evaluation of youth empowerment cant increase in international debates, re- actions and projects. The methodological pro- search and socio-educational programmes cess consists of three phases: (1) Design of the focusing on youth empowerment. One of the rubric; (2) Expert validation by 17 practition- main issues with this concept is related to how ers from different fields, 3 experts in evalua- revista española de pedagogía it is measured and evaluated. Evaluating so- tion and 5 young people; (3) And a compari- cio-educational actions and projects is crucial son by means of a pilot test with 20 projects in order to design, implement and improve or socio-educational services aimed at youth educational practices that help young people empowerment, in which 63 professionals par- to empower themselves. This article presents ticipate. The results show evidence of validity the process of building and validating a ru- and reliability of the rubric in order to evalu- * This paper forms part of a project funded within the Spanish State R&D&I Programme aimed at the Challenges of Society run by MINECO (the Ministry of Economy and Competitiveness) (Ref. EDU2017-83249-R). Revision accepted: 2021-02-27. This is the English version of an article originally printed in Spanish in issue 280 of the revista española de pedagogía. For this reason, the abbreviation EV has been added to the page numbers. Please, cite this article as follows: Corbella Molina, L., Trull Oliva, C., Rodrigo-Moriche, M. P. y Úcar Martínez, X. (2021). Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil | Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79 (280), 537-555. https://doi. org/10.22550/REP79-3-2021-05 https://revistadepedagogia.org/ ISSN: 0034-9461 (Print), 2174-0909 (Online) 537 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR ate the quality of socio-educational practices, construcción y validación de una rúbrica para and also to design and implement actions that la evaluación de acciones y proyectos educati- focus on youth empowerment. It is noted for vos de empoderamiento juvenil desarrollada being a validated and useful instrument for en el marco del Proyecto HEBE. El proceso making educational assessments related to metodológico consta de tres fases: (1) el dise- youth empowerment, and for its usefulness in ño del instrumento; (2) la validación por juicio generating processes of reflection that become de expertos de 17 profesionales de diferentes the basis for rethinking and improving peda- ámbitos, 3 expertos en evaluación y 5 jóvenes; gogical practices. (3) y el contraste que se realiza a través de una prueba piloto con 20 proyectos o servicios so- Keywords: youth, empowerment, programme cioeducativos de empoderamiento juvenil en evaluation, social pedagogy, educational as- los que participan 63 profesionales. Los re- sessment, reflection on practice. sultados denotan la validez y fiabilidad de la rúbrica para evaluar la calidad de las prácticas socioeducativas y para diseñar e implementar Resumen: acciones que apuesten por el empoderamiento En los últimos años ha habido un aumen- juvenil. Destaca por ser un instrumento vali- to significativo de los debates internacionales, dado y útil para la realización de diagnósticos las investigaciones y los programas socioe- educativos relacionados con el empoderamien- year 79, n. 280, September-December 2021, 537-555 ducativos centrados en el empoderamiento to juvenil y por su utilidad para generar pro- juvenil. Uno de los principales problemas de cesos reflexivos que se convierten en puntos este concepto está relacionado con las formas de partida para repensar y mejorar la práctica de medirlo y evaluarlo. Evaluar las acciones y pedagógica. proyectos socioeducativos es clave para el dise- ño, la implementación y la mejora de prácticas Descriptores: juventud, empoderamiento, educativas que ayuden a la juventud a empo- evaluación de programas, pedagogía social, revista española de pedagogía derarse. Este artículo presenta el proceso de diagnóstico educativo, reflexión de la práctica. 1. Introduction fined concept that is applied to very In the 1970s, the concept of empower- different situations and processes in very ment began to be used within the social different ways (Soler, 2017; Úcar et al., sciences. Since then, it has gradually per- 2016a; Morton and Montgomery, 2013). meated the language of everyday life and The range and diversity of perspectives that of the different sciences. when analysing it, the fact that it can be applied in very different fields (psycho- Despite the versatility and populari- logical, educational, political, economic, ty of the term, empowerment today re- social, cultural, etc.) and, finally, the mains a complex, ambiguous and ill-de- difficulties posed by its translation into 538 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment other languages (Bacqué and Biewener, Secondly, we carried out a systematic 2016; Richez et al., 2012; Luttrell et al., review of the research published on youth 2009), undoubtedly do not make it easy empowerment since the beginning of this to find a homogeneous and consensual millennium (Úcar et al., 2016b) and, based definition of empowerment. on this systematic review of the academic literature, we constructed a pedagogical Over the years, research has mostly model of youth empowerment (Soler et al., focused on adult empowerment process- 2017). Within the framework of the same es. In recent decades, however, it has also project, we adapted the initial set of person- started to be used in education with young al and community empowerment indica- people, especially with those who are at tors, specifically for youth empowerment risk or socially vulnerable. Recent years (Planas et al., 2016a; Planas et al., 2016b; show that there has been a significant in- Cevallos and Paladines, 2016). crease in international debates relating to youth policies and youth empowerment Once adapted, we wanted to test the ex- (Soler, 2017). And also in research on youth tent to which the set of indicators was valid empowerment and in the number of in- for analysing and evaluating youth em- tervention programmes with youth em- powerment. For this purpose, a validation powerment as their goal (Zimmerman et process was designed in three phases: an year 79, n. 280, September-December 2021, 537-555 al., 2018). academic validation through a systematic review of the literature (Úcar et al., 2016a), One of the main problems of empower- a validation by experts in the field of you- ment, to a large extent stemming from the th work and a validation of practice with aforementioned imprecision, is related to young people (Llena-Berñe et al., 2017; the ways of measuring or evaluating it. At Úcar et al., 2016b). The set resulting from present, there are still very few research the three phases of the validation process revista española de pedagogía papers that have specifically addressed is made up of 9 dimensions and 27 indica- this issue. This is likely to be because, as tors of youth empowerment (Planas et al., Wagaman (2011) notes, there are few stud- 2016a; Soler-Masó, 2020). ies that present operational definitions of youth empowerment that allow for a We have arranged the text into four sec- logical and clear interpretation of the tions. The first section shows the theoretical results obtained. foundations of the set of youth empowerment dimensions and indicators and their applica- Over the course of three consecutive bility to the design of the evaluation rubric. Spanish research projects (2010-2020), the The second section develops the methodology HEBE Project has led to new knowledge followed in the design and validation of the on youth empowerment. Firstly, among youth empowerment evaluation rubric. The other products, we created a set of person- third section presents the results obtained in al and community empowerment indica- the validation. Finally, the fourth section con- tors (Soler et al., 2014). tains the conclusions of the process. 539 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR 1.1. Youth empowerment, empower- skills (knowledge, attitudes, aptitudes, abilities, etc.) and that the environment ment indicators and evaluation rubrics facilitates the effective exercise of these It should be noted that the theoreti- skills (p. 22). cal perspective that frames the research work of our team is that of social peda- Empowerment, as a process or result, is gogy (Soler, 2017). It is well known that always the effect or consequence of a more the field of social pedagogy is diverse, het- or less intentional interaction between erogeneous and very wide-ranging. And the skills that a person possesses and the also that there is no general consensus possibilities offered by the environment on its specific areas of action and profes- in which he or she lives to develop or put sional development, which is why it has them into practice. developed differently in different coun- tries around the world (Janer and Úcar Úcar et al. (2016a) note that there is 2019). In the context of this research, we unanimity that the term generally refers will understand social pedagogy as refer- to the efficient growth of the young ring to education in a broad sense (Petrie, person by means of overcoming certain 2005). Following the classifications that situations through the acquisition of have been developed in our country, we skills. These same authors set out the chose to operationalise the field of action main elements that make up or are asso- year 79, n. 280, September-December 2021, 537-555 of social pedagogy in socio-education- ciated with the concept of empowerment al work with young people, in four spe- with regards to young people. They are: cific subfields of social action, which we a) growth and well-being; b) relation- use instrumentally for this study. They ships; c) training; d) politics; e) transfor- are: socio-cultural animation, specialised mation; and finally d) emancipation. Based education, formal education and occupa- on these ideas, we understand youth em- tional training (Froufe, 1997). powerment as a process that increases revista española de pedagogía the possibilities for a young person to de- The concept of empowerment under- cide and act consistently on everything pinning this paper is that developed by affecting his or her own life; and, in ad- Soler et al. (2017). According to these dition, to participate and intervene in a authors, shared and responsible way regarding anything affecting the community of empowerment is a process that in- which he or she forms part. creases the possibilities for a person to decide and act consistently on everything affecting his or her own life, partici- Based on all of these studies, in pate in decision-making and intervene in Table 1 we present the validated set of a shared and responsible way regarding dimensions and indicators. This set of anything affecting the community of dimensions and indicators is the basis which he or she forms part. This re- on which the evaluation rubric for youth quires two conditions: that the person ac- empowerment actions and projects is quires and develops a series of personal designed. 540 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment Table 1. Set of youth empowerment dimensions and indicators. Dimensions Indicators 1. Self-esteem 1.1- Being able to cope with difficult or adverse situations. 1.2- Knowing one's own capabilities and recognising one's limits. 1.3- Being satisfied with oneself. 1.4- Feeling self-confident. 1.5- Being able to express oneself to others. 1.6- Feeling recognised by others. 2. Responsibility 2.1- Undertaking commitments and tasks voluntarily and in a realistic manner. 2.2- Taking responsibility for the consequences of one's decisions and actions. 3. Efficacy 3.1- Being able to make decisions to achieve objectives. 3.2- Being methodical and consistent in the performance of tasks. 3.3- Achieving the objectives set. 4. Critical capacity 4.1- Being able to analyse problems or situations. 4.2- Having one's own viewpoint in relation to problems or situa- tions. 5. Autonomy 5.1- Showing initiative. 5.2- Ability to choose and act according to one's own convictions. 6. Teamwork 6.1- Getting involved in teamwork. 6.2- Being able to exercise leadership roles when working in a year 79, n. 280, September-December 2021, 537-555 team. 6.3- Being able to communicate. 6.4- Being able to negotiate and reach a consensus. 7. Community 7.1- Sharing the socio-cultural heritage of the community. identity 7.2- Actively identifying with the civic and associative processes that take place in the community. 7.3- Identifying public space as one's own and making use of it. 8. Meta-learning 8.1- Being aware of having acquired or improved one's knowledge and skills. revista española de pedagogía 8.2- Having developed the ability to learn how to learn. 8.3- Being aware of the power acquired to act. 9. Participation 9.1- Getting involved in collective actions or projects. 9.2- Being able to influence your environment. Source: Adapted from Planas et al. (2016a), and Soler-Masó (2020). The decision to transform the set The concept of rubric has been used in into an evaluation rubric is justified by education to describe instruments where the versatility, ease of use and formative criteria and standards are defined that cor- usefulness of this tool (Cubillos-Veja and respond to progressive levels of task perfor- Ferrán-Aranaz, 2018). In fact, it is these mance (Gil, 2007). A rubric could be said to characteristics that have led to the wide- be a standardised guide for the assessment spread use of evaluation rubrics in recent or self-assessment of certain behaviours, decades, especially in education. actions or situations. The great formative 541 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR potential of rubrics lies in the fact that they 2. Method can generate processes of reflection regard- Graph 1 shows the methodological ing self-analysis in the people who answer process followed for the design and vali- them; processes that have a high education- dation of the evaluation rubric for youth al and personal transformation value. In empowerment actions and projects. From this sense, Panadero and Jonsson (2013) now on, the term rubric is used to refer to state that rubrics are a type of formative the “evaluation rubric for youth empower- assessment, which have an effect on per- ment actions and projects”. The process formance as they provide information on has been divided into three phases: 1) the ways to achieve the objective set, meet design phase; 2) validation phase and 3) expectations and obtain the desired results. comparison phase. In all phases, informed Using the rubric not only assesses the per- consent is obtained from all participating formance of the empowerment action or individuals and institutions and ethical programme, but also trains and makes edu- criteria regarding data protection and con- cators reflect on youth empowerment. fidentiality are ensured. Graph 1. Rubric design and validation process. year 79, n. 280, September-December 2021, 537-555 revista española de pedagogía Source: Own elaboration. 2.1. Design of the evaluation rubric for velopment of scenarios, and c) review of youth empowerment programmes the rubric by HEBE project researchers The design process has three aspects: who were not involved in designing the a) rationale and decision-making, b) de- instrument. 542 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment a) A search is conducted on academic li- ly understand the extent to which the terature to provide the foundation for the educators or the project are placed in format, design and layout of the rubric. the chosen scenario. If a given sce- It is established that the objective of nario is not fulfilled, but does not fit the rubric is to evaluate actions and into the previous scenario either, this projects that promote youth empower- can be indicated by placing a “-” sign. ment at both individual and group level If the assessed behaviours or project and it is constructed based on the set exactly match a scenario, this can be of 9 dimensions and 27 indicators, indicated by placing “=”. And finally, if previously validated. A self-applicable the given scenario is exceeded, but the analytic rubric is chosen. next is not quite reached, this can be in- dicated with a “+” sign. Three criteria are taken into account to ensure the quality of the rubric: spe- Finally, below each indicator there cific definitions of each dimension, defi- is a space to add any evidence that ex- nition of the indicators and definition of plains and justifies the reasons for be- the scoring and graded-category strate- ing placed in one scenario or another, as gies (Doğan and Uluman, 2017; Gati- well as any observations that one wish- ca-Lara and Uribarren-Berrueta, 2012; es to add. year 79, n. 280, September-December 2021, 537-555 Reddy and Andrade, 2010). In order to meet these criteria, a clear and unam- c) The initial version of the instru- biguous definition for each dimension is ment is sent to the members of the first produced and an application guide HEBE project (professionals and acade- added to the rubric where the project, mics in the field of social pedagogy) who the youth empowerment dimensions did not participate in the instrument and indicators, the objective of the design process. The aim is to conduct revista española de pedagogía rubric, its usefulness and the instruc- a first review of the rubric and receive tions for application are contextualised. feedback from the team before starting the validation phase. b) The content of the scenarios is produced. A graded-category scale ac- 2.2. Validation of the instrument cording to performance is established through expert judgement with four scenarios of actions or behav- Validation of the rubric is done iours of increasing complexity. Perfor- through expert judgement. As can be mance, in this case, refers to the level, seen in Table 2, 25 intentionally select- in relation to youth empowerment, on ed validators took part. Their profiles which the action of the educators or the range from educators of youth projects project being evaluated is found. and services, in which work is carried out on youth empowerment in the four For each scenario, the signs “-, =, defined subfields of social action, to eval- +” are added in order to more precise- uation experts and young people. 543 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR Table 2. Profile of validators. al., 2019), the validity (Aiken’s V) and re- Professional field No. liability (Cronbach’s Alpha) of the rubric Socio-cultural animation 4 are calculated. The means and the percent- Specialised education 4 age rating of the scenarios are also calcu- lated to detect the existence of conflicting Formal education 6 scenarios (rating between “to some ex- Occupational training 3 tent” and “very much” below 90%). Fi- Evaluation experts 3 nally, the comments and observations Young people 5 made are analysed. Total 25 Source: Own elaboration. 2.3. Pilot testing of youth empower- ment projects or services They are asked via an electronic form In this phase, a pilot test of the rubric, to evaluate the indicator scenarios of the already validated by judges, is carried rubric using a Likert scale (not at all, a lit- out in socio-educational projects and ser- tle, to some extent, very much) according vices working on youth empowerment. to the following criteria: The pilot test process is carried out in three stages: 1) Comprehensibility: it is a clear and year 79, n. 280, September-December 2021, 537-555 intelligible definition that allows for a) Initial contact, by a facilitator from easy interpretation. the research team, with the professional/ team that is going to carry out the appli- 2) Relevance: it is sound information cation, in order to present them with the about the indicator; it captures or rubric and the application guide. represents key aspects and is impor- tant. b) Self-application of the rubric. Each revista española de pedagogía participating professional/team self-applies 3) Progression: this refers to the grad- the rubric without the presence of the fa- ed categories of the scenarios, that cilitator. is, whether or not they follow a good sequence and are appropriate. c) A cognitive interview (Beatty y Willis, 2007; Hilton, 2015; Neuert y Lenzner, In addition, it is requested that they 2015), conducted by the research team fa- make comments or observations on the cilitator with the professional/team after instrument and the indicators in the the rubric application process has been rubric. completed. The analysis strategy is as follows: As shown in Table 3, the rubric was pi- Following the procedure shown in other loted in 20 projects falling within the four studies for the validation of instruments subfields of social action set out, with a to- (León and Fernández, 2019; Miranda et tal of 63 professionals participating. 544 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment Table 3. Profile of projects and services participating in the comparison phase. Professional field No. of pilot projects No. of professionals and services participating Socio-cultural animation 5 17 Specialised education 5 17 Formal education 5 15 Occupational training 5 14 Total 20 63 Source: Own elaboration. Regarding the profile of the participants, 3.1. Results of the rubric validation phase there is a majority participation of youth work- As can be seen in Graph 2, the validators ers or counsellors, social educators and tea- consider the indicator scenarios in the rubric chers. The other profiles relate to project or to be comprehensible, relevant and progressive. pilot service managers or coordinators; youth Most of the answers given to the three criteria in the indicators are above 90% in “to some ex- specialists; leisure time managers or moni- tent” or “very much” (comprehensible, 93.5%; tors; social workers; psychologists; occupatio- relevant, 94.6%; and progressive, 92.7%). year 79, n. 280, September-December 2021, 537-555 nal therapists; and pedagogues. We analysed Aiken’s V by criterion in order to establish the validity of the rubric 3. Results by means of the level of agreement among This section presents the results of the validators and the result is positive, with a validation phase and comparison phase. total Aiken’s V of .85, which shows a high revista española de pedagogía Graph 2. Percentage rating regarding comprehensibility, relevance and progression. Source: Own elaboration. 545 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR level of agreement among validators in and progression, and for all of the criteria, relation to comprehension (.85), relevance as shown in Table 4. Based on the same co- (.84) and progression of the indicators (.87), efficient, the reliability of the instrument specifically. is further examined if one item is remov- ed, however the results are similar, which We observed positive results when me- asuring the reliability of the instrument indicates agreement among the validators by applying Cronbach’s alpha (α) for the and that all variables are important for the criteria of comprehensibility, relevance reliability of the instrument. Table 4. Cronbach's alpha according to the criteria of comprehensibility, relevance, progression and total. Exclusion Cronbach’s alpha (α) Comprehensibility 0.915 Relevance 0.944 Progression 0.942 Total 0.973 year 79, n. 280, September-December 2021, 537-555 Source: Own elaboration. If we take a closer look at the statis- Table 5 shows the mean, standard devia- tical data on the ratings given by the va- tion and percentage ratings between 3 and lidators, the means are all above 3 (“to 4 (“to some extent” and “very much”) for some extent”). For most of the indicators, all indicators. Eleven of them are below the percentage ratings between 3 and 4 90%. Criteria with a percentage rating revista española de pedagogía (“to some extent” and “very much”) are between 3 and 4 below 90% are marked above 90% for all three criteria evalua- in grey and are, therefore, considered to ted, and none of them fall below 75%. be conflicting. Table 5. Statistical data on ratings by indicator and evaluation criterion. Dimension (dim), Indicator (ind), Standard deviation (SD), Percentage ratings between 3 and 4 (%3-4) Dim/ind Comprehensibility Relevance Progression Mean SD %3-4 Mean SD %3-4 Mean SD %3-4 1.1 3.3 .676 87.5 % 3.5 .588 95.8 % 3.5 .721 87.5 % 1.2 3.5 .511 100.0 % 3.7 .565 95.8 % 3.6 .576 95.8 % 1.3 3.4 .647 91.7 % 3.5 .659 91.7 % 3.5 .722 87.5 % 1.4 3.7 .464 100.0 % 3.7 .637 91.7 % 3.5 .722 87.5 % 546 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment 1.5 3.5 .511 100.0 % 3.6 .495 100.0 % 3.4 .504 100.0 % 1.6 3.2 .779 79.2 % 3.5 .658 91.7 % 3.3 .751 83.3 % 2.1 3.7 .637 91.7 % 3.6 .576 95.8 % 3.7 .482 100.0 % 2.2 3.8 .442 100.0 % 3.8 .415 100.0 % 3.6 .654 91.7 % 3.1 3.7 .565 95.8 % 3.8 .415 100.0 % 3.6 .584 95.8 % 3.2 3.6 .654 91.7 % 3.4 .654 91.7 % 3.5 .509 100.0 % 3.3 3.5 .659 91.7 % 3.4 .711 87.5 % 3.6 .576 95.8 % 4.1 3.7 .482 100.0 % 3.8 .532 95.8 % 3.8 .532 95.8 % 4.2 3.5 .590 95.8 % 3.6 .584 95.8 % 3.5 .658 91.7 % 5.1 3.5 .823 88.0 % 3.7 .476 100.0 % 3.6 .638 92.0 % 5.2 3.2 .926 76.0 % 3.4 .757 84.0 % 3.1 .971 76.0 % 6.1 3.6 .707 96.0 % 3.8 .436 100.0 % 3.6 .569 96.0 % 6.2 3.6 .583 96.0 % 3.5 .510 100.0 % 3.5 .586 96.0 % 6.3 3.6 .645 92.0 % 3.7 .542 96.0 % 3.6 .645 92.0 % 6.4 3.6 .569 96.0 % 3.7 .542 96.0 % 3.6 .569 96.0 % 7.1 3.6 .577 96.0 % 3.6 .651 92.0 % 3.6 .569 96.0 % 7.2 3.6 .638 92.0 % 3.7 .557 96.0 % 3.6 .569 96.0 % 7.3 3.7 .458 100.0 % 3.6 .707 88.0 % 3.6 .583 96.0 % year 79, n. 280, September-December 2021, 537-555 8.1 3.6 .577 96.0 % 3.7 .557 96.0 % 3.5 .586 96.0 % 8.2 3.5 .714 88.0 % 3.6 .577 96.0 % 3.4 .707 88.0 % 8.3 3.4 .764 92.0 % 3.4 .768 84.0 % 3.4 .707 88.0 % 9.1 3.7 .557 96.0 % 3.8 .374 100.0 % 3.7 .557 96.0 % 9.2 3.4 .707 96.0 % 3.6 .651 92.0 % 3.4 .821 88.0 % Source: Own elaboration. revista española de pedagogía Based on the comments and observa- des the previous term, provides greater tions made by the validators and taking clarity and is more accurately aligned into account the statistical information with the wording of the scenarios. presented, changes are made to thirteen indicators of the rubric. The greatest dif- “Scenario” is also replaced with “ac- ficulty is identified with regard to the tivities”. Other wording is also replaced, “comprehensibility” criterion. 73% of for example, in scenarios 1, 2 and 3 of their comments point out the difficul- indicator 1.3. Being able to express one- ties in understanding the use of the term self to others where “express oneself to “spaces” in the indicators. The semantic others” is replaced with “express one’s versatility of the concept creates prob- emotions, feelings and ideas to others” lems of clarity. We decided to replace it equating these scenarios to the expres- with the term “activities” as this inclu- sion in scenario 4. 547 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR Another proposed improvement is re- ments and tasks voluntarily and in a solved by adding a specific term such as realistic manner; “accompanied by the “viable” to clarify scenario 4 of indicator educational team” in scenario 2 of indi- 4.1. Being able to analyse problems or sit- cator 8.2. Having developed the ability uations; and “other settings” in scenario to learn how to learn; or adjusting the 4 of indicator 6.4. Being able to negotiate scale between scenarios, such as adding and reach a consensus. In other cases, con- “it is the educational team who” in sce- fusing wording is removed, such as “or is nario 2 of indicator 3.2. Being methodi- allowed when it occurs spontaneously” in cal and consistent in the performance of scenario 1 of indicator 6.1. Getting in- tasks to clarify who monitors the com- volved in teamwork to promote compre- pletion of tasks. hensibility of the other scenarios. Furthermore, in order to improve Regarding the relevance criterion, the progression of the scenarios, the ex- there were no comments or observations pressions “occasionally” in scenario 2, or made necessitating any change in the rel- “specifically” in scenario 3 of the following evance of the scenarios. However, the indicators have been removed: 8.2 Having ratings analysed in these indicators lead developed the ability to learn how to learn, to the interpretation that there was con- 8.3. Being aware of the power acquired to year 79, n. 280, September-December 2021, 537-555 fusion regarding rating the relevance of act and 9.1. Getting involved in collective the indicator as opposed to the relevance actions or projects. of the scenario. 3.2. Pilot testing of youth empower- In terms of improving the progres- ment projects or services sion of the indicators, the four scenarios 100% of participants consider the tool of the following indicators are complete- to be useful in the present and in the fu- revista española de pedagogía ly modified: 3.3. Achieving the objec- ture, especially due to the fact that it is tives set and 5.2. Ability to choose and useful for reflecting on professional prac- act according to one’s own convictions. tice. 90% say that the rubric is the right Terms such as “take responsibility for” length and goes into sufficient detail re- are replaced by “reflect and assess” in garding empowerment work. It is easy for scenario 2 of indicator 2.2. Take respon- 85% to apply. sibility for the consequences of one’s own decisions and actions; “can carry out” The comments, moreover, confirm by “carry out” in scenario 3 of indica- their interest in the rubric for their work tor 8.2. Having developed the ability to as educators. They value it as a tool for learn how to learn. self-assessment and reflection that cre- ates awareness of the strengths and The addition of terms such as “vo- weaknesses of their socio-educational ac- luntarily” is also used in scenario 4 of tions. It enables learning to be equipped indicator 2.1. Undertaking commit- with functionality and changes and pro- 548 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment posals for improvement to be created in of the dimensions was changed. The interventions and programmes focused more complex dimensions (“self-es- on youth empowerment. teem”, “efficacy” and “meta-learning”) are moved to the middle of the rubric, 80% of professionals say that they had while the simpler ones (“participa- no problems filling in the rubric. 85% of tion”, “responsibility”, “community professionals understand all scenarios identity” and “teamwork”) are placed and 70% provide evidence for all indica- at the beginning and end. In addition, tors. Even so, 45% consider that some the application guide adds that sce- aspects need to be added to the rubric nario 1 includes the possibility of not or simplified. In order to streamline the working specifically on the indicator in use of the instrument, they generally rec- question. ommend simplifying dimensions such as “self-esteem” and grouping together The final contributions highlight indicators or dimensions such as “partic- the usefulness and necessity of this in- ipation” and “community identity”. Al- strument and make proposals for though the research team analyses the- improvement. Along these lines, two se comments, it decides not to make any changes are implemented. changes to the instrument, as the set of year 79, n. 280, September-December 2021, 537-555 dimensions and indicators has been pre- Firstly, it was recommended to add a viously validated and is not subject to as- heading in the rubric where the identif- sessment in the pilot test. ying characteristics of the project can be detailed. Many services carry out sev- However, 70% of professionals find it eral projects at the same time or imple- difficult to respond to one or more di- ment the same project for several consec- mensions or indicators. The difficulty utive years. This improvement makes it revista española de pedagogía regarding the “self-esteem” dimension possible to identify in which project or is particularly noteworthy, as it is con- period the rubric has been applied and sidered too vast and complex to be the to compare its results over time. From first variable in the instrument to be this point onwards, a new section was answered. They also express difficulties added at the beginning of the rubric, in responding to indicators that are not where data are requested on the name explicitly being worked on in the project of the project/programme; the entity/ or service that self-applies the rubric. institution; the educational field; and, This is mainly the case for indicators finally, the duration of the project. related to the dimensions of “efficacy” and “meta-learning”. Secondly, different professionals point out that it is the very process of fill- In order to compensate for these dif- ing in the rubric that increases aware- ficulties and to facilitate the reading ness regarding the degree of complian- and application of the rubric, the order ce with the proposed objectives and the 549 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR need to redirect actions. For all of these in dimensions, indicators and scenarios, reasons, a section was included so as to which allow for a logical and clear inter- be able to add thoughts and proposals pretation of the expected results. It is for improvement, during the process of also a tool for learning, capable of pro- applying the rubric, that are useful for viding feedback that helps socio-educa- learning and improving decision-mak- tional action professionals to self-assess ing regarding planning and developing and refine their practices (Bharuthram actions that help to empower young & Patel, 2017). people. The validity and reliability of the con- tent of the instrument is ensured by con- 4. Discussion firming the comprehensibility, relevance Despite the rapid popularisation of and progression of the indicator scenarios empowerment in everyday language, in in the rubric. As Fernández-Cruz et al. politics and in a good deal of the social (2018) correctly point out, paying atten- sciences, it is a very complex concept that tion to the validity and reliability of the requires further research and application instrument designed contributes to the in specific situations and processes. Over development of the scientific field of study. recent years, the research conducted as It is a process that provides sufficient evi- year 79, n. 280, September-December 2021, 537-555 part of the HEBE project has generated dence to prove the quality of the tool ob- a whole series of reflections and instru- tained (Tourón et al., 2018). ments specifically in relation to youth empowerment, from a socio-educational As is shown in Murphy and Ermel- approach and taking into account social ing’s (2016) study, structured instru- pedagogy (Soler, 2017). This article has ments that guide educators’ responses shown how the transformation of a set in order to assess their practice, such as revista española de pedagogía of youth empowerment indicators into the evaluation rubric presented, facili- a rubric is a process characterised by tate reflection and feedback so as to im- its richness, but also by its complexity prove educational processes. In addition (Cubillos-Veja & Ferrán-Aranaz, 2018; to evaluating the empowerment action García-Sanz, 2014). or programme, the rubric also creates a process of reflection that helps educators The process followed made it possible think thoroughly and critically about how for us to present the rubric as a valid and they work on the dimensions of youth reliable tool for evaluating the quality of empowerment and, moreover, sets expec- socio-educational practices and for design- tations and standards regarding how to ing and implementing new actions com- put them into practice. It is an instru- mitted to youth empowerment (Soler et ment to verify the efficacy of socio-edu- al., 2019). In line with Wagaman (2011), cational actions, which can be used to it aids the evaluation of empowerment evaluate the objectives of youth services based on a concept that is operationalised or projects, and also the empowerment 550 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment needs of young people (Andueza, 2019). Secondly, the difficulty of construct- The rubric can serve as a basis for re- ing qualitative evaluation processes flection on pedagogical practice, which using rubrics was proven throughout the is grounded in experience and oriented validation process. The denotative and towards change (Dimova and Loughran, connotative properties of language and 2009). Based on this practice, it is pos- their connection to local contexts often sible to design and develop new quality make it difficult to equate the scenario educational processes that focus on the constructed in the rubric with the char- empowerment of young people. The fact acteristic feature of the behaviours or that the rubric can be used by the team projects to be evaluated. of educators as a group produces dialogi- cal conversations that enhance the rich- By way of conclusion, the rubric is not only a tool aimed at encouraging re- ness of the reflections and increase their flection and improvement of socio-edu- potential to create change (Tinsley and cational practices as mentioned above, Sheats, 2020). rather it also becomes an open access instrument1 that is validated (HEBE Some of the difficulties encountered Project, 2019), capable of collecting re- both in the process of developing the liable data on the kind of socio-educa- year 79, n. 280, September-December 2021, 537-555 rubric and in its subsequent validation tional practices aimed at empowering should be noted. Firstly, working with a young people and educators’ thoughts concept as elusive and under-researched on said practices. In this way, new as youth empowerment. An example of areas of research come to light, aimed this is the criticism of the relevance of at performing educational assessments, some dimensions characterising youth analysing the evolution of youth-related empowerment, both in the expert judge- practices or the perspectives and reflec- revista española de pedagogía ment and in the pilot test. However, the tions of educators on their own practice. fact that all dimensions of youth em- Possible future areas of interest in the powerment are included in the rubric, field of study of youth empowerment even those less known or recognised, such from the perspective of socio-educatio- as efficacy or meta-learning, provides a nal action. space for reflection for educators that can direct them towards other lines of youth empowerment that have not been as Note 1 Link to the rubric: http://rubrica.projectehebe.com/es explored in socio-educational work, but which are just as necessary. Therefore, we understand that further research is need- References Andueza, A. (2019). Evaluación de la escritura ed, either separately or collectively, on académica: construcción y validación de un each of the indicators of youth empower- instrumento integrado basado en tareas para ment making up the current rubric. evaluar habilidades específicas de escritura 551 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR [Evaluation of academic writing: Construc- perfil de formación docente en tecnologías de tion and validation of an integrated task-based la información y comunicación | Design and instrument to evaluate specific writing skills]. validation of an instrument to measure tea- Revista Electrónica de Investigación y Eva- cher training profiles in information and com- luación Educativa, 25 (2), art. 5. https://doi. munication technologies. revista española org/10.7203/relieve.25.2.11163 de pedagogía, 76 (270), 247-270. https://doi. Bacqué, M.-H., & Biewener, C. (2016). El empodera- org/10.22550/REP76-2-2018-03 miento: una acción progresiva que ha revolucio- Froufe, S. (1997). Los ámbitos de intervención en nado la política y la sociedad [Empowerment: la educación social [The areas of intervention Progressive action that has revolutionised poli- in Social Education]. Aula, 9, 179-200. https:// tics and society]. Editorial Gedisa, S. A. revistas.usal.es/index.php/0214-3402/article/ Beatty, P. C., & Willis, G. (2007). Research synthe- view/3491 sis: The practice of cognitive interviewing. Pub- García-Sanz, M. P. (2014). La evaluación de compe- lic Opinion Quarterly, 71 (2), 287-311. https:// tencias en educación superior mediante rúbri- doi.org/10.1093/poq/nfm006 cas: un caso práctico [Assessing competencies Bharuthram, S., & Patel, M. (2017). Co-construct- in higher education by rubrics: a case study]. ing a rubric checklist with first year univer- Revista Electrónica Interuniversitaria de For- sity students: A self-assessment tool. Apples mación del Profesorado, 17 (1), 87-106. https:// – Journal of Applied Language Studies, 11 doi.org/10.6018/reifop.17.1.198861 (4), 35-55. https://doi.org/10.17011/apples/ Gatica-Lara, F., & Uribarren-Berrueta, T. del N. urn.201708073430 J. (2013). ¿Cómo elaborar una rúbrica? [How Cevallos, B., & Paladines, B. (2016). La autonomía to make a rubric?] Investigación en Educación personal: un indicador del empoderamiento year 79, n. 280, September-December 2021, 537-555 Médica, 2 (1), 61-65. https://doi.org/10.1016/ Juvenil [Personal autonomy: An indicator of S2007-5057(13)72684-X youth empowerment]. In P. Soler, J. Bellera, & Gil, J. (2007). La evaluación de competencias labo- A. Planas (Eds.), Pedagogía Social, Juventud y rales [Assessment of work-related competen- Transformaciones Sociales (pp. 370-377). Uni- cies]. Educación XX1, 10, 83-106. https://doi. versity of Girona. org/10.5944/educxx1.1.10.298 Cubillos-Veja, C., & Ferran-Aranaz, M. (2018). Di- seño y validación de una rúbrica para valorar Hilton, C. E. (2015). The importance of pretest- la resolución de casos prácticos relativos a de- ing questionnaires: A field research example rechos humanos [Design and validation of a of cognitive pretesting the Exercise referral revista española de pedagogía rubric for assessing the resolution of human Quality of Life Scale (ER-QLS). International rights case studies]. Revista Iberoamericana Journal of Social Research Methodology, 20 de Evaluación Educativa, 11 (2), 35-52. https:// (1), 21-34. https://doi.org/10.1080/13645579. doi.org/10.15366/riee2018.11.2.002 2015.1091640 Dimova, Y., & Loughran, J. (2009). Developing a big Janer, À., & Úcar, X. (2020). Social pedagogy in the picture understanding of reflection in pedagogi- world today: An analysis of the academic, trai- cal practice. Reflective Practice, 10 (2), 205-217. ning and professional perspectives. The British https://doi.org/10.1080/14623940902786214 Journal of Social Work, 50 (3), 701-721. https:// Doğan, C. D., & Uluman, M. (2017). A comparison doi.org/10.1093/bjsw/bcz025 of rubrics and graded category rating scales León, V., & Fernández, M. J. (2019). Diseño y vali- with various methods regarding raters’ relia- dación de una escala para evaluar el funciona- bility. Educational Sciences: Theory & Prac- miento de las tutorías en educación secunda- tice, 17 (2), 631-651. https://doi.org/10.12738/ ria [Design and validation of a scale to assess estp.2017.2.0321 the performance of tutorials in Secondary Fernández-Cruz, F. J., Fernández-Díaz, M. J., & Education]. Revista de Investigación Educa- Rodríguez-Mantilla, J. M. (2018). Diseño y tiva, 37 (2), 525-541. https://doi.org/10.6018/ validación de un instrumento de medida del rie.37.2.345251 552 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment Llena-Berñe, A., Agud-Morell, I., Páez de la Torre, Planas, A., Trilla, J., Garriga, P., Alonso, A., & Mon- S., & Vila-Mumbrú, C. (2017). Explorando seny, M. (2016a). ¿Qué dimensiones conforman momentos clave para el empoderamiento de el empoderamiento juvenil? Una propuesta de jóvenes a partir de sus relatos [Exploring key indicadores [What dimensions make up youth moments for youth empowerment based on empowerment? A proposal for indicators]. In young people’s stories]. Pedagogía Social. Re- P. Soler, J. Ballera, and A. Planas (Eds.), Pe- vista Interuniversitaria, 30, 81-94. https://doi. dagogía Social, Juventud y Transformaciones org/10.7179/PSRI_2017.30.06 Sociales (pp. 311-318). University of Girona. Luttrell, C., Quiroz, S., Scrutton, C., & Bird, K. http://hdl.handle.net/10256/13324 (2009). Understanding and operationalising Planas, A., Úcar, X., Páez de la Torre, S., Trilla, J., empowerment. https://www.1decada4.es/plu- & Garriga, P. (2016b). Aproximación a los indi- ginfile.php/189/course/section/47/understan- cadores de empoderamiento juvenil [Approach ding.pdf to youth empowerment indicators]. In C. Gon- Miranda, M., Burguera, J. L., Arias, J. M., & Peña, zález & M. Castro Morera (Coords.), Libro de E. (2019). Inclusión, diversidad y equidad: Actas del XVI Congreso Nacional y VII Congre- diseño y validación de un cuestionario de opi- so Iberoamericano de Pedagogía: Democracia nión dirigido al profesorado de orientación y Educación en el Siglo XXI. La obra de John educativa (IDEC-O) [Inclusion, diversity and Dewey 100 años después (p. 386). Universidad equality: Design and validation of an opinion Complutense de Madrid. https://biblioteca. questionnaire for educational guidance teach- ucm.es/data/cont/docs/405-2016-10-05-Libro- DeActas_SEP2016.pdf ers (IDEC-O)]. Revista de Investigación Edu- Proyecto HEBE (2019) [HEBE project]. Rúbri- cativa, 37 (2), 505-524. https://doi.org/10.6018/ ca para la evaluación de acciones y proyectos year 79, n. 280, September-December 2021, 537-555 rie.37.2.333891 socioeducativos de empoderamiento juvenil Morton, M. H., & Montgomery, P. (2013). Youth [Rubric for the evaluation of socio-educational empowerment programs for improving adoles- youth empowerment actions and projects]. cents’ self-efficacy and self-esteem. Research Universitat de Girona. http://hdl.handle. on Social Work Practice, 23 (1), 22-33. https:// net/10256/17643 doi.org/10.1177/1049731512459967 Reddy, Y. M., & Andrade, H. (2010). A review of rubric Murphy, D. L., & Ermeling, B. A. (2016). Feedback on use in higher education. Assessment and Eval- reflection: Comparing rating-scale and forced- uation in Higher Education, 35 (4), 435-448. choice formats for measuring and facilitating https://doi.org/10.1080/02602930902862859 revista española de pedagogía teacher team reflective practice. Reflective Richez, J. C., Labadie, F., & De Linares, C. (2012). Practice, 17(3), 317-333. https://doi.org/10.108 «Youth empowerment» dans l’espace euro- 0/14623943.2016.1164681 méditerranéen. Rapport d’étude [Youth em- Neuert, C. E., & Lenzner, T. (2015). Incorporating powerment in the Euro-Mediterranean region. eye tracking into cognitive interviewing to A study report]. https://injep.fr/wp-content/ pretest survey questions. International Jour- uploads/2019/03/rapport-2012-01_Em - nal of Social Research Methodology, 19 (5), power-Youth.pdf 501-519. https://doi.org/10.1080/13645579.201 Soler, P. (2017). Presentación monográfico empo- 5.1049448 deramiento juvenil y pedagogía social [Mono- Panadero, E., & Jonsson, A. (2013). The use of scor- graphic presentation youth empowerment ing rubrics for formative assessment purposes and social pedagogy ]. Pedagogía Social. Re- revisited: A review. Educational Research Re- vista Interuniversitaria, 30, 13-16. https://doi. view, 9, 129-144. https://doi.org/10.1016/j.edu- org/10.7179/PSRI_2017.30.01 rev.2013.01.002 Soler, P. (2020). El ocio como recurso privilegiado Petrie, P. (2005). Extending ‘pedagogy’. Journal para el empoderamiento juvenil [Leisure as a of Education for Teaching, 31 (4), 293-296. ht- privileged resource for youth empowerment]. tps://doi.org/10.1080/02607470500280126 In I. Lazcano & Á. De-Juanas (Eds.), Ocio y 553 EV Laura CORBELLA, Carme TRULL, María Pilar RODRIGO and Xavier ÚCAR juventud. Sentido, potencial y participación co- la Torre, S., Turón, N., Paéz, J., & Arenillas, munitaria (pp. 161-180). Universidad Nacional M. (2016b). Informe del proceso de evaluación de Educación a Distancia (UNED). participativa del empoderamiento juvenil con 4 Soler, P., Planas, A., Ciraso-Cali, A., & Ribot-Horas, grupos de jóvenes [Report on the participatory A. (2014). Empoderamiento en la comunidad. evaluation process of youth empowerment with El diseño de un sistema abierto de indicadores 4 groups of young people]. Dipòsit Digital de a partir de procesos de evaluación participati- Documents. Autonomous University of Barce- va [Community empowerment. Designing an lona. https://ddd.uab.cat/record/167223 open indicator system based on participatory Wagaman, M. A. (2011). Social empathy as a fra- evaluation processes]. Pedagogía Social: Re- mework for adolescent empowerment. Journal vista Interuniversitaria, 24, 49-77. https://doi. of Social Service Research, 37 (3), 278-293. ht- org/10.7179/PSRI_2014.24.03 tps://doi.org/10.1080/01488376.2011.564045 Soler, P., Trilla, J., Jiménez-Morales, M., & Úcar, X. Zimmerman, M. A., Eisman, A. B., Reischl, T. M., (2017). La construcción de un modelo pedagó- Morrel-Samuels, S., Stoddard, S., Miller, A. L., gico del empoderamiento juvenil: espacios, mo- Hutchison, P., Franzen, S., & Rupp, L. (2018). mentos y procesos [The construction of a peda- Youth empowerment solutions: Evaluation gogical model of youth empowerment: spaces, of an after-school program to engage middle moments and processes]. Pedagogía Social. school students in community change. Health Revista Interuniversitaria, 30, 19-32. https:// Education and Behavior, 45 (1), 20-31. https:// doi.org/10.7179/PSRI_2017.30.02 doi.org/10.1177/1090198117710491 Soler, P., Trull, C., Rodrigo-Moriche, M. P., & Cor- bella, L. (2019). El reto educativo del empode- ramiento juvenil [The educational challenge Authors’ biographies year 79, n. 280, September-December 2021, 537-555 of youth empowerment]. In I. Alonso & K. Laura Corbella Molina is a Pre-doc- Artetxe (Eds.), Educación en el tiempo libre: la toral Researcher forming part of the inclusión en el centro (pp. 129-142). Ediciones PhD Programme in Education in the De- OCTAEDRO, S.L. Tinsley, S., & Sheats, S. (2020). The role of teacher partment of Theories of Education and educators and university supervisors to help Social Pedagogy at the Universitat Au- student teachers reflect: From monological re- tònoma de Barcelona (UAB) and collabo- flection toward dialogical conversation. Reflec- rating lecturer at Universitat Oberta de tive Practice, 21 (2), 171-182. https://doi.org/10. revista española de pedagogía Catalunya. She is a social educator and 1080/14623943.2020.1716710 Tourón, J., Martín, D., Navarro, E., Pradas, S., & holds a Master’s Degree in Educational Íñigo, V. (2018). Validación de constructo de un Research from the UAB. Her research instrumento para medir la competencia digital activity focuses on social pedagogy and, docente de los profesores (CDD) | Construct specifically, the ethical dimension of so- validation of a questionnaire to measure cio-educational relations. teachers’ digital competence (TDC). revista española de pedagogía, 76 (269), 25-54. doi: https://doi.org/10.22550/REP76-1-2018-02 https://orcid.org/0000-0002-2151-089X Úcar, X., Jiménez-Morales, M., Soler, P., & Trilla, J. (2016a). Exploring the conceptualization and Carme Trull Oliva is Associate Pro- research of empowerment in the field of youth. fessor of the Area of Theory and History of International Journal of Adolescence and You- Education and Specialized Research Tech- th, 22 (4), 405-418. https://doi.org/10.1080/026 73843.2016.1209120 nician of the Area of Studies of Education Úcar, X. (Coord.), Planas, A., Novella, A., Rodrigo, and Psychology at the University of Girona P., Vila, C., Núñez, H., Paladines, B., Paéz de (UdG). She is a social educator and holds an 554 EV Design and validation of a rubric to evaluate educational actions and projects on youth empowerment Inter-university Master's Degree in Youth Xavier Úcar Martínez is Professor and Society, and the Doctorate in Education. of Social Pedagogy at the Universidad Her research activity focuses on social peda- Autónoma de Barcelona. He specialises in gogy and, specifically, the socio-educational Social Education and in the Design and interventions of the juvenile justice system. Evaluation of Community Development Programmes and Socio-cultural Anima- https://orcid.org/0000-0003-2777-0315 tion Programmes. President of the “So- ciedad Iberoamericana de Pedagogía So- Mª Pilar Rodrigo-Moriche is As- cial” [Ibero-American Society of Social sociate Professor in the Department of Pedagogy] (SIPS) (2012-2018). President Pedagogy at the Universidad Autóno- of the “Coordinadora per l’Animació So- ma de Madrid (UAM) and Collaborating ciocultural de Cataluña” [Coordinating Lecturer in the Faculty of Education at Committee for Socio-Cultural Animation the Universidad Nacional de Educación of Catalonia] (CASC_CAT) (2009-2014). a Distancia (UNED). She has worked in Member of the GIPE research group on early childhood education centres, youth Education Policy and of the GPSEJ group areas, organisations for the social and la- “Pedagogía Social y Empoderamiento Ju- bour inclusion of socially disadvantaged venil” [Social Pedagogy and Youth Em- people and organisations for people with powerment]. year 79, n. 280, September-December 2021, 537-555 intellectual disabilities. She is a member of the EMIPE Research Group and the https://orcid.org/0000-0003-3678-8277 TABA International Research Group. https://orcid.org/0000-0002-6513-0899 revista española de pedagogía 555 EV Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil* Design and validation of a rubric to evaluate educational actions and projects on youth empowerment Laura CORBELLA MOLINA. Investigadora Predoctoral. Universitat Autònoma de Barcelona (Laura.corbella@uab.cat). Dra. Carme TRULL OLIVA. Profesora Asociada. Universitat de Girona (Carme.trull@udg.edu). Dra. María Pilar RODRIGO-MORICHE. Profesora Asociada. Universidad Autónoma de Madrid (Pilar.rodrigo@uam.es). Dr. Xavier ÚCAR MARTÍNEZ. Catedrático de Universidad. Universitat Autònoma de Barcelona (Xavier.ucar@uab.cat). Resumen: en el marco del Proyecto HEBE. El proceso año 79, n.º 280, septiembre-diciembre 2021, 537-555 En los últimos años ha habido un aumen- metodológico consta de tres fases: (1) el dise- to significativo de los debates internacionales, ño del instrumento; (2) la validación por juicio las investigaciones y los programas socioe- de expertos de 17 profesionales de diferentes ducativos centrados en el empoderamiento ámbitos, 3 expertos en evaluación y 5 jóvenes; juvenil. Uno de los principales problemas de (3) y el contraste que se realiza a través de una este concepto está relacionado con las formas prueba piloto con 20 proyectos o servicios so- de medirlo y evaluarlo. Evaluar las acciones y cioeducativos de empoderamiento juvenil en revista española de pedagogía proyectos socioeducativos es clave para el dise- los que participan 63 profesionales. Los re- ño, la implementación y la mejora de prácticas sultados denotan la validez y fiabilidad de la educativas que ayuden a la juventud a empo- rúbrica para evaluar la calidad de las prácticas derarse. Este artículo presenta el proceso de socioeducativas y para diseñar e implementar construcción y validación de una rúbrica para acciones que apuesten por el empoderamiento la evaluación de acciones y proyectos educati- juvenil. Destaca por ser un instrumento vali- vos de empoderamiento juvenil desarrollada dado y útil para la realización de diagnósticos * Este trabajo nace como parte de un proyecto financiado dentro del Programa Estatal de I+D+i Orientado a los Retos de la Sociedad del MINECO (Ref. EDU2017-83249-R). Fecha de recepción de la versión definitiva de este artículo: 27-02-2021. Cómo citar este artículo: Corbella Molina, L., Trull Oliva, C., Rodrigo-Moriche, M. P. y Úcar Martínez, X. (2021). Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos de empoderamiento juvenil | Design and validation of a rubric to evaluate educational actions and projects on youth empowerment. Revista Española de Pedagogía, 79 (280), 537-555. https://doi.org/10.22550/REP79-3-2021-05 https://revistadepedagogia.org/ ISSN: 0034-9461 (Impreso), 2174-0909 (Online) 537 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR educativos relacionados con el empoderamien- Project, for the evaluation of youth empower- to juvenil y por su utilidad para generar pro- ment actions and projects. The methodolog- cesos reflexivos que se convierten en puntos ical process consists of three phases: (1) De- de partida para repensar y mejorar la práctica sign of the rubric; (2) Expert validation by 17 pedagógica. practitioners from different fields, 3 experts in evaluation and 5 young people; (3) And a Descriptores: juventud, empoderamiento, comparison by means of a pilot test with 20 evaluación de programas, pedagogía social, projects or socio-educational services aimed at diagnóstico educativo, reflexión de la práctica. youth empowerment, in which 63 profession- als participate. The results show evidence of validity and reliability of the rubric in order Abstract: to evaluate the quality of socio-educational In recent years, there has been a signif- practices, and also to design and implement icant increase in international debates, re- actions that focus on youth empowerment. It search and socio-educational programmes is noted for being a validated and useful in- focusing on youth empowerment. One of the strument for making educational assessments main issues with this concept is related to how related to youth empowerment, and for its it is measured and evaluated. Evaluating so- usefulness in generating processes of reflec- cio-educational actions and projects is crucial tion that become the basis for rethinking and año 79, n.º 280, septiembre-diciembre 2021, 537-555 in order to design, implement and improve improving pedagogical practices. educational practices that help young peo- ple to empower themselves. This article pre- Keywords: youth, empowerment, programme sents the process of building and validating evaluation, social pedagogy, educational as- a rubric, within the framework of the HEBE sessment, reflection on practice. revista española de pedagogía 1. Introducción maneras muy diversas (Soler, 2017; Úcar En la década de los 70 del pasado siglo et al., 2016a; Morton y Montgomery, 2013). se empezó a utilizar el concepto de empo- La amplitud y diversidad de perspectivas a deramiento en el marco de las ciencias so- la hora de analizarlo, el hecho de que pue- ciales. Desde entonces ha ido impregnando da ser aplicado en ámbitos muy diferentes gradualmente el lenguaje de la vida coti- (psicológico, educativo, político, económico, diana y el de las diferentes ciencias. social, cultural, etc.) y las dificultades, por último, que plantea su traducción a otras A pesar de la versatilidad y popularidad lenguas (Bacqué y Biewener, 2016; Richez del término, el empoderamiento sigue sien- et al., 2012; Luttrell et al., 2009), contribu- do en la actualidad un concepto complejo, yen, sin duda, a dificultar la existencia de ambiguo y poco delimitado que se aplica a una definición homogénea y consensuada situaciones y procesos muy diferentes y de del empoderamiento. 538 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... A lo largo de los años la investigación se el inicio de este milenio sobre el empodera- ha focalizado mayoritariamente en los pro- miento juvenil (Úcar et al., 2016b) y, a partir cesos de empoderamiento de las personas de dicho análisis sistemático de la literatura adultas. En las últimas décadas, sin embar- académica, construimos un modelo pedagó- go, se ha empezado a utilizar también en el gico del empoderamiento juvenil (Soler et trabajo educativo con jóvenes, especialmente al., 2017). En el marco del mismo proyecto con aquellos que están en situación de riesgo adaptamos la batería inicial de indicadores o vulnerabilidad social. Estos últimos años de empoderamiento personal y comunitario muestran que se ha producido un aumento particularizándola para el empoderamiento significativo en los debates internacionales al- juvenil (Planas et al., 2016a; Planas et al., rededor de las políticas de juventud y el empo- 2016b; Cevallos y Paladines, 2016). deramiento juvenil (Soler, 2017). También en las investigaciones sobre el empoderamiento Una vez adaptada quisimos comprobar juvenil y en el número de programas de inter- en qué medida la batería de indicadores vención que lo plantean como objetivo (Zim- era válida para analizar y evaluar el em- merman et al., 2018). poderamiento juvenil. Para ello, se diseñó un proceso de validación en tres fases: una Una de las principales problemáticas del validación académica a través del análi- empoderamiento, derivada en buena medida sis sistemático de la literatura (Úcar et año 79, n.º 280, septiembre-diciembre 2021, 537-555 de la imprecisión aludida, es la relacionada al., 2016a), una validación por expertos con las formas de medirlo o evaluarlo. En la del ámbito del trabajo con jóvenes, y una actualidad sigue habiendo todavía pocas in- validación de la práctica con jóvenes (Lle- vestigaciones que se hayan ocupado específi- na-Berñe et al., 2017; Úcar et al., 2016b). camente de esta temática. Es probable que La batería resultante de las tres fases del esto sea así porque, como apunta Wagaman proceso de validación está configurada por (2011), hay pocos estudios que presenten 9 dimensiones y 27 indicadores de empo- revista española de pedagogía definiciones operativas del empoderamiento deramiento juvenil (Planas et al., 2016a; juvenil que permitan interpretar de manera Soler-Masó, 2020). lógica y clara los resultados obtenidos. Hemos organizado el texto en cuatro A lo largo de tres proyectos nacionales apartados. En el primero se muestran consecutivos de investigación (2010-2020) los fundamentos teóricos de la batería de el Proyecto HEBE ha ido generando cono- dimensiones e indicadores de empodera- cimiento nuevo sobre el empoderamiento miento juvenil y su aplicabilidad al diseño juvenil. En primer lugar, generamos, entre de la rúbrica de evaluación. En el segundo otros productos, una batería de indicado- se desarrolla la metodología seguida en el res de empoderamiento personal y comu- diseño y validación de la rúbrica de eva- nitario (Soler et al., 2014). luación del empoderamiento juvenil. En el tercero se presentan los resultados obteni- En segundo lugar, un análisis sistemá- dos en la validación. El cuarto, por último, tico de las investigaciones publicadas desde recoge las conclusiones del proceso. 539 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR 1.1. Empoderamiento juvenil, indicado- sonales (conocimientos, actitudes, aptitudes, destrezas…) y que el medio le facilite ejercer res de empoderamiento y rúbricas de efectivamente tales capacidades (p. 22). evaluación Hay que señalar que la perspectiva teó- El empoderamiento, en tanto que pro- rica que enmarca el trabajo investigador de ceso o resultado, es siempre el efecto o la nuestro equipo es la de la pedagogía social consecuencia de una interacción, más o (Soler, 2017). Es de sobra conocido que el menos intencional, entre las capacidades campo de la pedagogía social es diverso, he- que posee una persona y las posibilidades terogéneo y muy amplio. También, que no que le ofrece el medio en el que habita para existe un consenso general acerca de sus desarrollarlas o ponerlas en práctica. ámbitos específicos de actuación y profesio- nalización, razón por la que se ha desarro- Úcar et al. (2016a) constatan que existe llado de manera diferente en los diversos unanimidad en que el término se refiere, países del mundo (Janer y Úcar, 2019). En de manera general, al crecimiento eficiente el marco de esta investigación vamos a en- de la persona joven por medio de la supera- tender que la pedagogía social se refiere a la ción de determinadas situaciones a través educación en sentido amplio (Petrie, 2005). de la adquisición de competencias. Estos Siguiendo las clasificaciones que se han mismos autores plantean los elementos desarrollado en nuestro país, optamos por principales que configuran o a los que se año 79, n.º 280, septiembre-diciembre 2021, 537-555 operativizar el campo de acción de la pe- asocia el concepto de empoderamiento en dagogía social, en el trabajo socioeducativo el ámbito juvenil. Estos son: a) el creci- con jóvenes, en cuatro subcampos concretos miento y el bienestar; b) lo relacional; c) la de actuación social, que utilizamos instru- capacitación; d) la política; e) la transfor- mentalmente para este estudio. Estos son: mación; y, por último, d) la emancipación. la animación sociocultural, la educación es- A partir de estas ideas concebimos el em- pecializada, la educación formal y la forma- poderamiento juvenil como un proceso que revista española de pedagogía ción ocupacional (Froufe, 1997). incrementa las posibilidades de que una persona joven pueda decidir y actuar de El concepto de empoderamiento que forma consecuente sobre todo aquello que fundamenta este trabajo es el desarrollado afecta a su propia vida; y, asimismo, parti- por Soler et al. (2017). Según estos autores, cipar e intervenir, de forma compartida y responsable, en lo que afecta a la comuni- el empoderamiento es un proceso que dad de la que es parte. incrementa las posibilidades de que una persona pueda decidir y actuar de forma consecuente sobre todo aquello que afecta a A partir de todos estos estudios presen- su propia vida, participar en la toma de de- tamos, en la Tabla 1, la batería de dimen- cisiones e intervenir de forma compartida y siones e indicadores validada. Esta batería responsable en lo que afecta a la colectividad de dimensiones e indicadores es la base a de la que forma parte. Esto requiere dos con- partir de la que se diseña la rúbrica de eva- diciones: que la persona vaya adquiriendo y luación de acciones y proyectos de empode- desarrollando una serie de capacidades per- ramiento juvenil. 540 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... Tabla 1. Batería de dimensiones e indicadores de empoderamiento juvenil. Dimensiones Indicadores 1. Autoestima 1.1- Ser capaz de afrontar situaciones difíciles o adversas. 1.2- Conocer las propias capacidades y reconocer los propios lími- tes. 1.3- Estar satisfecho con uno mismo. 1.4- Sentirse seguro de uno mismo. 1.5- Ser capaz de mostrarse ante los demás. 1.6- Sentirse reconocido por los demás. 2. Responsabilidad 2.1- Asumir compromisos y tareas de forma voluntaria y realista. 2.2- Asumir las consecuencias de las propias decisiones y actos. 3. Eficacia 3.1- Ser capaz de tomar decisiones para conseguir los objetivos. 3.2- Ser metódico y constante en la realización de las tareas. 3.3- Conseguir los objetivos planeados. 4. Capacidad crítica 4.1- Ser capaz de analizar problemáticas o situaciones. 4.2- Tener un criterio propio en relación con problemáticas o situaciones. 5. Autonomía 5.1- Tener iniciativa. 5.2- Capacidad de elegir y actuar siguiendo las propias conviccio- nes. 6. Trabajo en equipo 6.1- Implicarse en el trabajo en equipo. año 79, n.º 280, septiembre-diciembre 2021, 537-555 6.2- Ser capaz de ejercer funciones de liderazgo en el trabajo en equipo. 6.3- Ser capaz de comunicarse. 6.4- Ser capaz de negociar y consensuar. 7. Identidad 7.1- Compartir el patrimonio sociocultural de la comunidad. comunitaria 7.2- Identificarse activamente con los procesos cívicos y asociativos que se dan en la comunidad. 7.3- Identificar como propio el espacio público y hacer uso de él. 8. Metaaprendizajes 8.1- Tener conciencia de haber adquirido o mejorado los propios conocimientos y capacidades. 8.2- Haber desarrollado la capacidad de aprender a aprender. revista española de pedagogía 8.3- Tener conciencia del poder adquirido para actuar. 9. Participación 9.1- Implicarse en acciones o proyectos colectivos. 9.2- Ser capaz de influenciar en su entorno. Fuente: Adaptado de Planas et al. (2016a) y Soler-Masó (2020). La decisión de transformar la batería El concepto de rúbrica se ha utilizado en una rúbrica de evaluación se justifica en el ámbito educativo para designar unos por la versatilidad, facilidad de uso y uti- instrumentos en los que se definen crite- lidad formativa que manifiesta esta he- rios y estándares que corresponden a nive- rramienta (Cubillos-Veja y Ferrán-Aranaz, les progresivos de ejecución de una tarea 2018). De hecho, han sido estas caracte- (Gil, 2007). Se podría decir que una rúbrica rísticas las que han generado un uso tan es una guía baremada para la evaluación o extendido de las rúbricas de evaluación en autoevaluación de determinadas conduc- las últimas décadas, sobre todo en el ámbi- tas, acciones o situaciones. La gran poten- to educativo. cialidad formativa de las rúbricas radica 541 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR en que pueden generar procesos reflexivos 2. Método de autoanálisis en las personas que las res- En el Gráfico 1 se puede observar el ponden; unos procesos que tienen un alto proceso metodológico seguido para el di- valor educativo y de transformación per- seño y la validación de la rúbrica de eva- sonal. En este sentido, Panadero y Jons- luación de acciones y proyectos de empo- son (2013) afirman que las rúbricas son deramiento juvenil. A partir de ahora, se un tipo de evaluación formativa que tiene usa el término rúbrica para referirnos a efectos en el rendimiento, ya que aportan la «rúbrica de evaluación de acciones y información sobre los procedimientos para proyectos de empoderamiento juvenil». El alcanzar el objetivo marcado, las expectati- proceso se ha dividido en tres fases: 1) fase vas y los resultados deseados. Al utilizar la de diseño; 2) fase de validación, y 3) fase rúbrica, no solo se evalúa el desempeño de de contraste. En todas las fases, se obtiene la acción o programa de empoderamiento, el consentimiento informado de todas las sino que, a la vez, se forma y se hace re- personas e instituciones participantes y se flexionar a los educadores y las educadoras aseguran los criterios éticos de protección respecto al empoderamiento juvenil. y confidencialidad de los datos. Gráfico 1. Proceso de diseño y validación de la rúbrica. año 79, n.º 280, septiembre-diciembre 2021, 537-555 revista española de pedagogía Fuente: Elaboración propia. 2.1. Diseño de la rúbrica de evalua- decisiones; b) elaboración de los escena- ción de programas de empoderamien- rios, y c) revisión de la rúbrica por parte to juvenil de los investigadores del proyecto HEBE El proceso de diseño consta de tres que no han participado en el diseño del momentos: a) fundamentación y toma de instrumento. 542 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... a) Se realiza una búsqueda de litera- precisión en qué medida se sitúan los tura académica para fundamentar el for- educadores o el proyecto en el escenario mato, el diseño y la presentación de la escogido. Si no se llega a cumplir un es- rúbrica. Se establece que el objetivo de la cenario concreto, pero tampoco encaja en rúbrica es evaluar acciones y proyectos el anterior, se puede indicar marcando que favorezcan el empoderamiento juve- el signo «-». Si las conductas o proyecto nil tanto a nivel individual como grupal evaluado están exactamente ubicados en y se construye partiendo de la batería de ese escenario se puede indicar marcando 9 dimensiones y 27 indicadores validada «=». Además, si se supera ese escenario, previamente. Se opta por una rúbrica pero no se llega al siguiente, se puede in- analítica autoaplicable. dicar con el signo «+». Para garantizar la calidad de la rúbri- Por último, debajo de cada indicador ca se tienen en cuenta tres criterios: de- existe un espacio donde incorporar las finiciones específicas de cada dimensión, evidencias que explican y justifican la ubi- definición de los indicadores y definición cación en un escenario u otro y cualquier de las estrategias de puntuación y grada- observación que se quiera añadir. ción (Doğan y Uluman, 2017; Gatica-La- ra y Uribarren-Berrueta, 2012; Reddy y c) Se envía la versión inicial del ins- año 79, n.º 280, septiembre-diciembre 2021, 537-555 Andrade, 2010). Para cumplir con estos trumento a los integrantes del proyecto criterios se elabora, primero, una defi- HEBE (profesionales y académicos del ám- nición clara y unívoca para cada dimen- bito de la pedagogía social) que no partici- sión y se añade a la rúbrica una guía de paron en el proceso de diseño del instru- aplicación donde se contextualiza el pro- mento. El objetivo es realizar una primera yecto, las dimensiones e indicadores de revisión de la rúbrica y recibir comentarios empoderamiento juvenil, el objetivo de la por parte del equipo antes de iniciar la fase revista española de pedagogía rúbrica, su utilidad y las instrucciones de de validación. aplicación. 2.2. Validación del instrumento por jui- b) Se elabora el contenido de los es- cio de expertos cenarios. Se establece una gradación por La validación de la rúbrica se realiza desempeño en cuatro escenarios de accio- a través del juicio de expertos. Como se nes o conductas de complejidad crecien- puede observar en la Tabla 2, participan te. El desempeño se refiere, en este caso, 25 validadores seleccionados de mane- al grado en el que se ubica, con relación ra intencional. Su perfil corresponde a al empoderamiento juvenil, la acción de educadores de proyectos y servicios des- los educadores o del proyecto que se está tinados a jóvenes, en los que se trabaja evaluando. el empoderamiento juvenil en los cuatro subcampos de actuación social definidos En cada escenario se añaden los sig- y, también, a expertos en evaluación y a nos «-, =, +» para captar con mayor jóvenes. 543 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR Tabla 2. Perfil de los validadores. la rúbrica. También se calculan las medias Ámbito profesional N.º y el porcentaje de valoración de los esce- Animación sociocultural 4 narios para detectar la existencia de esce- Educación especializada 4 narios conflictivos (valoración entre «bas- tante» y «mucho» por debajo del 90 %). Educación formal 6 Por último, se analizan los comentarios y Formación ocupacional 3 observaciones realizados. Expertos de evaluación 3 Jóvenes 5 2.3. Aplicación de la prueba piloto a Total 25 proyectos o servicios de empodera- Fuente: Elaboración propia. miento juvenil En esta fase se realiza una prueba pi- Se les pide a través de un formulario loto de la rúbrica, ya validada por jueces, electrónico que evalúen los escenarios de en proyectos y servicios socioeducativos los indicadores de la rúbrica a través de que trabajan el empoderamiento juvenil. una escala de Likert (nada, poco, bastante, El proceso de la prueba piloto se realiza en mucho) según los siguientes criterios: tres momentos: 1) Comprensibilidad: es una definición a) Un primer contacto, realizado por año 79, n.º 280, septiembre-diciembre 2021, 537-555 clara e inteligible que permite una una persona facilitadora del equipo de in- interpretación fácil. vestigación, con el profesional/equipo que va a hacer la aplicación, para presentarles 2) Relevancia: es información consis- la rúbrica y la guía de aplicación. tente sobre el indicador; capta o re- presenta aspectos clave y es impor- b) La autoaplicación de la rúbrica. tante. Cada profesional/equipo participante se revista española de pedagogía autoaplica la rúbrica sin la presencia de la 3) Progresión: es la gradación entre los persona facilitadora. escenarios, es decir, si sigue una bue- na secuenciación y es adecuada. c) Una entrevista cognitiva (Beat- ty y Willis, 2007; Hilton, 2015; Neuert y Además, se solicita que realicen comen- Lenzner, 2015), realizada por la persona tarios u observaciones sobre el instrumen- facilitadora del equipo de investigación al to y los indicadores rubricados. profesional/equipo, una vez completado el proceso de aplicación de la rúbrica. La estrategia de análisis es la siguiente. Siguiendo el procedimiento que muestran Como se observa en la Tabla 3, se aplica otros estudios para la validación de instru- el pilotaje de la rúbrica a 20 proyectos ubi- mentos (León y Fernández, 2019; Miranda cados en alguno de los cuatro subcampos et al., 2019), se calcula la validez (V de Ai- de actuación social definidos con un total ken) y la fiabilidad (Alpha de Cronbach) de de 63 profesionales participantes. 544 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... Tabla 3. Perfil de los proyectos y servicios participantes en la fase de contraste. Ámbito profesional N.º de proyectos N.º de profesionales y servicios piloto participantes Animación sociocultural 5 17 Educación especializada 5 17 Educación formal 5 15 Formación ocupacional 5 14 Total 20 63 Fuente: Elaboración propia. Respecto al perfil de los participan- 3.1. Resultados de la fase de validación tes, hay una participación mayoritaria de de la rúbrica dinamizadores u orientadores juveniles, Como se puede observar en el Grá- educadores sociales y docentes. Los demás fico 2, los validadores consideran que perfiles corresponden a directores o coordi- los escenarios de los indicadores de la nadores de proyecto o servicio piloto, técni- rúbrica son comprensibles, relevantes y cos de juventud, directores o monitores de progresivos. La mayoría de las respues- tiempo libre, trabajadores sociales, psicólo- tas dadas a los tres criterios en los in- gos; terapeutas ocupacionales y pedagogos. dicadores se ubican por encima del 90 año 79, n.º 280, septiembre-diciembre 2021, 537-555 % en «bastante» o «mucho» (comprensi- bles, 93.5 %; relevantes, 94.6 %; y pro- 3. Resultados gresivos, 92.7 %). En este apartado se presentan los re- sultados de la fase de validación y la fase Analizamos la V de Aiken por criterio de contraste. para establecer la validez de la rúbrica a revista española de pedagogía Gráfico 2. Porcentaje de valoración de la comprensibilidad, la relevancia y la progresión. Fuente: Elaboración propia. 545 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR través del grado de acuerdo entre valida- de la aplicación del Alfa de Cronbach (α) en dores y el resultado es positivo, con una V los criterios de comprensibilidad, relevancia de Aiken total de .85, hecho que constata y progresión, y en el total de los criterios, tal un nivel alto de acuerdo entre los validado- como se muestra en la Tabla 4. A partir del res en relación con la comprensión (.85), la mismo coeficiente, se profundiza en la fiabi- relevancia (.84) y la progresión de los indi- lidad del instrumento si se elimina un ele- cadores (.87), específicamente. mento, pero los resultados son similares, lo cual indica concordancia entre los validado- Observamos unos resultados positivos al res y que todas las variables son importantes medir la fiabilidad del instrumento a través para la fiabilidad del instrumento. Tabla 4. Alfa de Cronbach según el criterio de comprensibilidad, relevancia, progresión y total. Criterio Alfa de Cronbach (α) Comprensibilidad 0.915 Relevancia 0.944 Progresión 0.942 Total 0.973 año 79, n.º 280, septiembre-diciembre 2021, 537-555 Fuente: Elaboración propia. Si se profundiza en los datos estadísti- bla 5 se presentan la media, la desviación cos de las valoraciones dadas por los vali- estándar y el porcentaje de valoraciones dadores, las medias se sitúan en su tota- entre 3 y 4 («bastante» y «mucho») de la lidad por encima de 3 («bastante»). En la totalidad de indicadores. Once de ellos se mayoría de los indicadores, el porcentaje sitúan por debajo del 90 %. Se encuentran revista española de pedagogía de valoraciones ubicadas entre 3 y 4 («bas- marcados en gris los criterios que presen- tante» y «mucho») están por encima del 90 tan un porcentaje de valoración entre 3 y 4 % en los tres criterios evaluados y ninguno inferior al 90 % y, por tanto, se consideran de ellos está por debajo del 75 %. En la Ta- conflictivos. Tabla 5. Datos estadísticos de las valoraciones por indicador y criterio de evaluación. Dimensión (dim), indicador (ind), Desviación estándar (Ds), porcentaje de valoraciones entre 3 y 4 (%3-4). Dim/ind Comprensibilidad Relevancia Progresión Media Ds %3-4 Media Ds %3-4 Media Ds %3-4 1.1 3.3 .676 87.5 % 3.5 .588 95.8 % 3.5 .721 87.5 % 1.2 3.5 .511 100.0 % 3.7 .565 95.8 % 3.6 .576 95.8 % 1.3 3.4 .647 91.7 % 3.5 .659 91.7 % 3.5 .722 87.5 % 1.4 3.7 .464 100.0 % 3.7 .637 91.7 % 3.5 .722 87.5 % 546 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... 1.5 3.5 .511 100.0 % 3.6 .495 100.0 % 3.4 .504 100.0 % 1.6 3.2 .779 79.2 % 3.5 .658 91.7 % 3.3 .751 83.3 % 2.1 3.7 .637 91.7 % 3.6 .576 95.8 % 3.7 .482 100.0 % 2.2 3.8 .442 100.0 % 3.8 .415 100.0 % 3.6 .654 91.7 % 3.1 3.7 .565 95.8 % 3.8 .415 100.0 % 3.6 .584 95.8 % 3.2 3.6 .654 91.7 % 3.4 .654 91.7 % 3.5 .509 100.0 % 3.3 3.5 .659 91.7 % 3.4 .711 87.5 % 3.6 .576 95.8 % 4.1 3.7 .482 100.0 % 3.8 .532 95.8 % 3.8 .532 95.8 % 4.2 3.5 .590 95.8 % 3.6 .584 95.8 % 3.5 .658 91.7 % 5.1 3.5 .823 88.0 % 3.7 .476 100.0 % 3.6 .638 92.0 % 5.2 3.2 .926 76.0 % 3.4 .757 84.0 % 3.1 .971 76.0 % 6.1 3.6 .707 96.0 % 3.8 .436 100.0 % 3.6 .569 96.0 % 6.2 3.6 .583 96.0 % 3.5 .510 100.0 % 3.5 .586 96.0 % 6.3 3.6 .645 92.0 % 3.7 .542 96.0 % 3.6 .645 92.0 % 6.4 3.6 .569 96.0 % 3.7 .542 96.0 % 3.6 .569 96.0 % 7.1 3.6 .577 96.0 % 3.6 .651 92.0 % 3.6 .569 96.0 % 7.2 3.6 .638 92.0 % 3.7 .557 96.0 % 3.6 .569 96.0 % 7.3 3.7 .458 100.0 % 3.6 .707 88.0 % 3.6 .583 96.0 % año 79, n.º 280, septiembre-diciembre 2021, 537-555 8.1 3.6 .577 96.0 % 3.7 .557 96.0 % 3.5 .586 96.0 % 8.2 3.5 .714 88.0 % 3.6 .577 96.0 % 3.4 .707 88.0 % 8.3 3.4 .764 92.0 % 3.4 .768 84.0 % 3.4 .707 88.0 % 9.1 3.7 .557 96.0 % 3.8 .374 100.0 % 3.7 .557 96.0 % 9.2 3.4 .707 96.0 % 3.6 .651 92.0 % 3.4 .821 88.0 % Fuente: Elaboración propia. A partir de los comentarios y obser- rior, aporta mayor univocidad y se ajusta revista española de pedagogía vaciones que realizan los validadores y con mayor precisión a la formulación de teniendo en cuenta la información esta- los escenarios. dística presentada se realizan cambios en trece indicadores de la rúbrica. Se iden- También se sustituye «escenario» por tifica que la mayor dificultad se da res- «actividades». Se realizan también otras pecto al criterio de «comprensibilidad». sustituciones, como, por ejemplo, en los Un 73 % de sus comentarios señalan las escenarios 1, 2 y 3 del indicador 1.3. Ser dificultades de comprensión que genera capaz de mostrarse ante los demás donde la utilización del término «espacios» en se sustituye «mostrarse ante los demás» los indicadores. La versatilidad semántica por «expresar sus emociones, sentimientos del concepto genera problemas de univo- e ideas ante los demás» equiparándose es- cidad. Decidimos sustituirlo por el térmi- tos escenarios a la expresión que aparece no «actividades», ya que incluye al ante- en el escenario 4. 547 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR Otra de las propuestas de mejora se escenario 4 del indicador 2.1. Asumir com- resuelve mediante el añadido de algún promisos y tareas de forma voluntaria y término específico como «viable» para cla- realista; «acompañados por el equipo edu- rificar el escenario 4 del indicador 4.1. Ser cativo» en el escenario 2 del indicador 8.2. capaz de analizar problemáticas o situacio- Haber desarrollado la capacidad de apren- nes; y «otros entornos» en el escenario 4 der a aprender; o el ajuste de graduación del indicador 6.4. Ser capaz de negociar y entre los escenarios, como, por ejemplo, consensuar. En otras ocasiones se eliminan incorporar «es el equipo educativo quien» las expresiones que generan confusión, en el escenario 2 del indicador 3.2. Ser como, por ejemplo, «o se permite cuando metódico y constante en la realización de se da de forma espontánea» en el escenario las tareas para clarificar quien controla el 1 del indicador 6.1. Implicarse en el trabajo cumplimiento de las tareas. en equipo para favorecer la comprensibili- dad respecto a los demás escenarios. Además, para mejorar la progresión de los escenarios se procede a la eliminación Respecto al criterio de relevancia, no de expresiones «de manera puntual» en ha aparecido ningún comentario u obser- el escenario 2, o «específicamente» en el vación que provocara algún cambio en la escenario 3 de los indicadores 8.2. Haber relevancia de los escenarios. Sin embargo, desarrollado la capacidad de aprender a año 79, n.º 280, septiembre-diciembre 2021, 537-555 las valoraciones analizadas en estos indi- aprender, 8.3. Tener conciencia del poder cadores conducen a la interpretación de adquirido para actuar y 9.1. Implicarse en que ha habido una confusión al valorar la acciones o proyectos colectivos. relevancia del indicador en lugar de la re- levancia del escenario. 3.2. Aplicación de la prueba piloto a proyectos o servicios de empodera- En cuanto a la mejora de la progresión miento juvenil revista española de pedagogía de los indicadores, se modifican por com- El 100% de participantes consideran pleto los cuatro escenarios de los indicado- que la herramienta tiene utilidad presente res 3.3. Conseguir los objetivos planeados y y futura, especialmente porque sirve para 5.2. Capacidad de elegir y actuar siguien- reflexionar en torno a la práctica profesio- do las propias convicciones. Se sustituyen nal. El 90% afirma que la rúbrica tiene una términos como «asuman» por «reflexionen extensión correcta y profundiza suficiente- y valoren» en el escenario 2 del indicador mente en el trabajo del empoderamiento. 2.2. Asumir las consecuencias de las pro- Al 85% le es fácil aplicarla. pias decisiones y actos, o «puedan realizar» por «realicen» en el escenario 3 del indica- Los comentarios, además, ratifican el in- dor 8.2. Haber desarrollado la capacidad terés que tiene la rúbrica en su trabajo como de aprender a aprender. educadores. La valoran como una herra- mienta para la autoevaluación y la reflexión, También se recurre al añadido de tér- que genera consciencia sobre las debilidades minos, como «de forma voluntaria» en el y fortalezas de sus acciones socioeducativas. 548 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... Permite dotar de funcionalidad a los apren- se cambia el orden de las dimensiones. Las dizajes y generar cambios y propuestas de dimensiones más complejas («autoestima», mejora en las intervenciones y programas «eficacia» y «metaaprendizajes») se reubi- enfocados al empoderamiento juvenil. can hacia la mitad de la rúbrica, mientras que las más simples («participación», «res- El 80% de profesionales manifiestan no ponsabilidad», «identidad comunitaria» y tener problemas para rellenar la rúbrica. «trabajo en equipo») se colocan al principio El 85% de los profesionales comprenden y final. Además, en la guía de aplicación se todos los escenarios y el 70% aportan evi- añade que el escenario 1 incluye la posibili- dencias en todos los indicadores. Aun así, dad de no trabajar de manera específica el el 45% considera necesario añadir o simpli- indicador en cuestión. ficar algunos aspectos de la rúbrica. Para agilizar el uso del instrumento recomien- Respecto a las aportaciones finales, re- dan, en general, simplificar dimensiones saltan lo útil y necesario que resulta este como la «autoestima» y agrupar indicado- instrumento, a la vez que aportan pro- res o dimensiones, como «participación» puestas de mejora. En esta dirección, se e «identidad comunitaria». Aunque el introducen dos cambios. equipo de investigación analiza estos co- mentarios, decide no realizar cambios en En primer lugar, recomiendan añadir año 79, n.º 280, septiembre-diciembre 2021, 537-555 el instrumento, dado que la batería de un epígrafe en la rúbrica donde se puedan dimensiones e indicadores ha sido previa- detallar las características identificativas mente validada y no es objeto de valora- del proyecto. Muchos servicios desarrollan ción en la prueba piloto. varios proyectos a la vez o aplican un mis- mo proyecto durante varios años consecuti- En cambio, al 70% de profesionales les vos. Esta mejora permite identificar en qué resulta difícil responder a alguna dimen- proyecto o período se ha aplicado la rúbrica revista española de pedagogía sión o indicador. Se destaca, especialmente, y hacer una comparativa de sus resultados la dificultad de la dimensión «autoestima», a lo largo del tiempo. A partir de aquí se ya que se considera demasiado extensa y incorpora un nuevo apartado al inicio de la compleja para ser la primera variable del rúbrica, donde se solicitan datos referidos a instrumento que hay que responder. Tam- el nombre del proyecto/programa; la enti- bién manifiestan dificultades para respon- dad/institución; el ámbito educativo; y, por der a indicadores que no se están traba- último, la duración del proyecto. jando de manera explícita en el proyecto o servicio que se autoaplica la rúbrica. Esta En segundo lugar, distintos profesio- situación se da, principalmente, en indica- nales apuntan que es el mismo proceso de dores relacionados con las dimensiones de rellenar la rúbrica el que les genera con- «eficacia» y «metaaprendizajes». ciencia y sensibilización en torno el grado de cumplimiento de objetivos propuestos Para compensar estas dificultades y fa- y la necesidad de reorientar actuaciones. cilitar la lectura y aplicación de la rúbrica, Por todo ello, se incluye un apartado donde 549 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR poder incluir reflexiones y propuestas de los resultados que se espera obtener. Es mejora útiles para el aprendizaje y la me- también una herramienta para el apren- jora en la toma de decisiones sobre la pro- dizaje, capaz de proporcionar una retroa- gramación y el desarrollo de acciones que limentación que ayude a los profesionales ayuden a empoderar a la juventud durante de la acción socioeducativa a autoevaluar y el proceso de aplicación de la rúbrica. perfeccionar sus prácticas (Bharuthram y Patel, 2017). 4. Discusión Se asegura la validez del contenido y A pesar de la rápida popularización del la fiabilidad del instrumento al confirmar empoderamiento en el lenguaje cotidiano, la comprensibilidad, relevancia y progre- en la política y en buena parte de las cien- sión de los escenarios de los indicadores cias sociales es un concepto muy complejo rubricados. Atender a la validez y fiabili- que requiere una mayor investigación y dad del instrumento diseñado contribuye, aplicación en situaciones y procesos con- como bien apuntan Fernández-Cruz et al. cretos. A lo largo de los últimos años las (2018), al desarrollo del campo científico investigaciones del proyecto HEBE han del estudio. Es un proceso que aporta su- generado toda una serie de reflexiones e ficientes evidencias que prueban la cali- instrumentos sobre el empoderamiento en dad de la herramienta obtenida (Tourón año 79, n.º 280, septiembre-diciembre 2021, 537-555 el ámbito específico de la juventud, desde et al., 2018). el enfoque socioeducativo y la pedagogía social (Soler, 2017). En este artículo se ha Tal como se muestra en el estudio de mostrado cómo la transformación de una Murphy y Ermeling (2016), los instrumen- batería de indicadores de empoderamiento tos estructurados que guían las respues- juvenil en una rúbrica es un proceso ca- tas del educador para valorar su práctica, racterizado por su riqueza, pero también como la rúbrica de evaluación presentada, revista española de pedagogía por su complejidad (Cubillos-Veja y Fe- facilitan la reflexión y la retroalimentación rrán-Aranaz, 2018; García-Sanz, 2014). para mejorar los procesos educativos. Ade- más de evaluar la acción o el programa de El proceso seguido ha permitido que empoderamiento, la rúbrica también ge- presentemos la rúbrica como una herra- nera un proceso reflexivo que ayuda a los mienta válida y fiable para evaluar la cali- educadores a pensar de manera profunda dad de las prácticas socioeducativas y para y crítica sobre cómo trabajan las dimensio- diseñar e implementar nuevas acciones nes del empoderamiento juvenil y marca, que apuesten por el empoderamiento juve- asimismo, expectativas y estándares sobre nil (Soler et al., 2019). En línea con lo que cómo llevarlas a la práctica. Es un instru- apuntaba Wagaman (2011), favorece la mento que permite verificar la eficacia de evaluación del empoderamiento a partir de las acciones socioeducativas y que puede un concepto que se operativiza en dimen- ser utilizado para evaluar los objetivos de siones, indicadores y escenarios, que per- los servicios o proyectos juveniles, así como miten interpretar de manera lógica y clara las necesidades de empoderamiento de las 550 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... personas jóvenes (Andueza, 2019). La rú- En segundo lugar, a lo largo de la va- brica puede servir como punto de partida lidación se ha podido comprobar la difi- para una reflexión de la práctica pedagógi- cultad de construir procesos de evalua- ca, que se fundamenta en la experiencia y ción cualitativa a través de rúbricas. Las se orienta al cambio (Dimova y Loughran, propiedades denotativa y connotativa del 2009). A partir de dicha práctica resulta lenguaje y su vinculación a contextos loca- posible diseñar y desarrollar nuevos proce- les dificultan, a menudo, la equiparación sos educativos de calidad que se focalicen entre el escenario construido en la rúbrica en el empoderamiento de las personas jó- y la particularidad de las conductas o pro- venes. El hecho de que la rúbrica pueda ser yectos que se trata de evaluar. utilizada, de manera grupal, por el equi- po de educadores produce conversaciones Para finalizar, la rúbrica no solo es una dialógicas que favorecen la riqueza de las herramienta orientada a la reflexión y la reflexiones y aumentan su potencial de mejora de prácticas socioeducativas, como cambio (Tinsley y Sheats, 2020). se ha dicho, sino que se convierte también en un instrumento de acceso abierto1 y Hay que señalar algunas de las dificul- validado (Proyecto HEBE, 2019), capaz tades encontradas tanto en el proceso de de recoger datos fiables sobre el tipo de la elaboración de la rúbrica como en el de año 79, n.º 280, septiembre-diciembre 2021, 537-555 prácticas socioeducativas que tienen como su posterior validación. En primer lugar, objetivo el empoderamiento de los jóvenes la de trabajar con un concepto tan elusi- y las reflexiones de los educadores sobre vo y todavía tan poco investigado como estas prácticas. De esta manera, se abren el de empoderamiento juvenil. Ejemplo nuevas líneas de investigación orientadas de ello son las críticas a la relevancia de a la realización de diagnósticos educativos, algunas dimensiones que caracterizan el el análisis de la evolución de prácticas en empoderamiento juvenil, tanto en el juicio el ámbito de juventud o las perspectivas y revista española de pedagogía de expertos como en la prueba piloto. Sin reflexiones de los educadores sobre su pro- embargo, el hecho de incorporar todas las pia práctica. Posibles líneas de futuro en dimensiones del empoderamiento juvenil el campo de estudio del empoderamiento en la rúbrica, incluso las menos conocidas o juvenil desde la perspectiva de la acción reconocidas, como eficacia o metaaprendi- socioeducativa. zajes, permite abrir un espacio de reflexión para los educadores que pueden dirigirlos hacia otras líneas de empoderamiento ju- venil que no han sido tan exploradas en el Nota 1 Enlace a la rúbrica: http://rubrica.projectehebe.com/es trabajo socioeducativo, pero que son igual de necesarias. Entendemos, en este senti- do, que hay que seguir investigando, por Referencias bibliográficas Andueza, A. (2019). Evaluación de la escritura aca- separado o agrupados, en cada uno de los démica: construcción y validación de un instru- indicadores de empoderamiento juvenil mento integrado basado en tareas para evaluar que configuran la rúbrica actual. habilidades específicas de escritura. Revista 551 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR Electrónica de Investigación y Evaluación Edu- Fernández-Cruz, F. J., Fernández-Díaz, M. J. y cativa, 25 (2), art. 5. https://doi.org/10.7203/ Rodríguez-Mantilla, J. M. (2018). Diseño y relieve.25.2.11163 validación de un instrumento de medida del Bacqué, M.-H. y Biewener, C. (2016). El empode- perfil de formación docente en tecnologías de ramiento: una acción progresiva que ha revo- la información y comunicación | Design and lucionado la política y la sociedad. Editorial validation of an instrument to measure tea- Gedisa, S. A. cher training profiles in information and com- Beatty, P. C. y Willis, G. (2007). Research synthe- munication technologies. revista española sis: The practice of cognitive interviewing. de pedagogía, 76 (270), 247-270. https://doi. [Síntesis de la investigación: la práctica de la org/10.22550/REP76-2-2018-03 entrevista cognitiva]. Public Opinion Quarter- Froufe, S. (1997). Los ámbitos de intervención en ly, 71 (2), 287-311. https://doi.org/10.1093/poq/ la Educación Social. Aula, 9, 179-200. https:// nfm006 revistas.usal.es/index.php/0214-3402/article/ Bharuthram, S. y Patel, M. (2017). Co-constructing view/3491 a rubric checklist with first year university García-Sanz, M. P. (2014). La evaluación de com- students: A self-assessment tool [Co-construc- petencias en Educación Superior mediante ción de una lista de comprobación de rúbricas rúbricas: un caso práctico. Revista Electrónica con estudiantes universitarios de primer año: Interuniversitaria de Formación del Profeso- una herramienta de autoevaluación]. Apples rado, 17 (1), 87-106. https://doi.org/10.6018/ – Journal of Applied Language Studies, 11 reifop.17.1.198861 (4), 35-55. https://doi.org/10.17011/apples/ Gatica-Lara, F. y Uribarren-Berrueta, T. del N. J. urn.201708073430 (2013). ¿Cómo elaborar una rúbrica? Investiga- año 79, n.º 280, septiembre-diciembre 2021, 537-555 Cevallos, B. y Paladines, B. (2016). La autonomía ción en Educación Médica, 2 (1), 61-65. https:// personal: un indicador del empoderamiento ju- doi.org/10.1016/S2007-5057(13)72684-X venil. En P. Soler, J. Bellera, y A. Planas (Eds.), Gil, J. (2007). La evaluación de competencias labo- Pedagogía Social, Juventud y Transformacio- rales. Educación XX1, 10, 83-106. https://doi. nes Sociales (pp. 370-377). Universidad de Gi- org/10.5944/educxx1.1.10.298 rona. Hilton, C. E. (2015). The importance of pretes- Cubillos-Veja, C. y Ferrán-Aranaz, M. (2018). Dise- ting questionnaires: A field research example ño y validación de una rúbrica para valorar la of cognitive pretesting the Exercise referral resolución de casos prácticos relativos a dere- Quality of Life Scale (ER-QLS) [La importan- chos humanos. Revista Iberoamericana de Eva- cia de la prueba previa de los cuestionarios: un revista española de pedagogía luación Educativa, 11 (2), 35-52. https://doi. ejemplo de investigación de campo de la prueba org/10.15366/riee2018.11.2.002 previa cognitiva de la Escala de Calidad de Vida Dimova, Y. y Loughran, J. (2009). Developing a big referida al Ejercicio (ER-QLS)]. International picture understanding of reflection in pedago- Journal of Social Research Methodology, 20 gical practice [Desarrollar una comprensión (1), 21-34. https://doi.org/10.1080/13645579.20 global de la reflexión en la práctica pedagógi- 15.1091640 ca.] Reflective Practice, 10 (2), 205-217. https:// Janer, À. y Úcar, X. (2020). Social pedagogy in doi.org/10.1080/14623940902786214 the world today: An analysis of the academic, Doğan, C. D. y Uluman, M. (2017). A comparison training and professional perspectives [La pe- of rubrics and graded category rating scales dagogía social en el mundo actual: un análisis with various methods regarding raters’ relia- de las perspectivas académicas, formativas y bility [Comparación de rúbricas y escalas de profesionales]. The British Journal of Social calificación por categorías con diversos méto- Work, 50 (3), 701-721. https://doi.org/10.1093/ dos en relación con la fiabilidad de los califica- bjsw/bcz025 dores]. Educational Sciences: Theory & Prac- León, V. y Fernández, M. J. (2019). Diseño y va- tice, 17 (2), 631-651. https://doi.org/10.12738/ lidación de una escala para evaluar el fun- estp.2017.2.0321 cionamiento de las tutorías en Educación 552 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... Secundaria. Revista de Investigación Educa- poses revisited: A review [Repaso del uso de tiva, 37 (2), 525-541. https://doi.org/10.6018/ rúbricas de puntuación para la evaluación for- rie.37.2.345251 mativa: una revisión]. Educational Research Llena-Berñe, A., Agud-Morell, I., Páez de la Torre, Review, 9, 129-144. https://doi.org/10.1016/j. S. y Vila-Mumbrú, C. (2017). Explorando mo- edurev.2013.01.002 mentos clave para el empoderamiento de jóve- Petrie, P. (2005). Extending "pedagogy" [Am- nes a partir de sus relatos. Pedagogía Social. pliar la «pedagogía»]. Journal of Education Revista Interuniversitaria, 30, 81-94. https:// for Teaching, 31 (4), 293-296. https://doi. doi.org/10.7179/PSRI_2017.30.06 org/10.1080/02607470500280126 Luttrell, C., Quiroz, S., Scrutton, C. y Bird, K. Planas, A., Trilla, J., Garriga, P., Alonso, A. y Mon- (2009). Understanding and operationalising seny, M. (2016a). ¿Qué dimensiones conforman empowerment [Comprender y hacer operativo el empoderamiento juvenil? Una propuesta de el empoderamiento]. https://www.1decada4.es/ indicadores. En P. Soler, J. Ballera y A. Planas pluginfile.php/189/course/section/47/unders- (Eds.), Pedagogía Social, Juventud y Transfor- tanding.pdf maciones Sociales (pp. 311-318). Universitat de Miranda, M., Burguera, J. L., Arias, J. M. y Peña, Girona. http://hdl.handle.net/10256/13324 E. (2019). Inclusión, diversidad y equidad: di- Planas, A., Úcar, X., Páez de la Torre, S., Trilla, J. y seño y validación de un cuestionario de opinión Garriga, P. (2016b). Aproximación a los indica- dirigido al profesorado de orientación educati- dores de empoderamiento juvenil. En C. Gon- va (IDEC-O). Revista de Investigación Educa- zález y M. Castro Morera (Coords.), Libro de tiva, 37 (2), 505-524. https://doi.org/10.6018/ Actas del XVI Congreso Nacional y VII Congre- rie.37.2.333891 so Iberoamericano de Pedagogía: Democracia año 79, n.º 280, septiembre-diciembre 2021, 537-555 Morton, M. H. y Montgomery, P. (2013). Youth y Educación en el Siglo XXI. La obra de John empowerment programs for improving adoles- Dewey 100 años después (p. 386). Universidad cents’ self-efficacy and self-esteem [Programas Complutense de Madrid. https://biblioteca. de capacitación juvenil para mejorar la autoefi- ucm.es/data/cont/docs/405-2016-10-05-Libro- cacia y la autoestima de los adolescentes]. Re- DeActas_SEP2016.pdf search on Social Work Practice, 23 (1), 22-33. Proyecto HEBE (2019). Rúbrica para la evaluación https://doi.org/10.1177/1049731512459967 Murphy, D. L. y Ermeling, B. A. (2016). Feedback de acciones y proyectos socioeducativos de em- on reflection: Comparing rating-scale and for- poderamiento juvenil. Universitat de Girona. ced-choice formats for measuring and facilita- http://hdl.handle.net/10256/17643 revista española de pedagogía ting teacher team reflective practice [Feedback Reddy, Y. M. y Andrade, H. (2010). A review of sobre la reflexión: comparación de los formatos rubric use in higher education [Una revi- de escala de valoración y de elección forzada sión del uso de rúbricas en la educación su- para medir y facilitar la práctica reflexiva del perior]. Assessment and Evaluation in Hi- equipo docente]. Reflective Practice, 17 (3), gher Education, 35 (4), 435-448. https://doi. 317-333. https://doi.org/10.1080/14623943.201 org/10.1080/02602930902862859 6.1164681 Richez, J. C., Labadie, F. y De Linares, C. (2012). Neuert, C. E. y Lenzner, T. (2015). Incorporating «Youth empowerment» dans l’espace euromé- eye tracking into cognitive interviewing to diterranéen. Rapport d’étude [El empodera- pretest survey questions [Incorporación del se- miento juvenil en la zona euromediterránea. guimiento ocular a la entrevista cognitiva para Informe del estudio]. https://injep.fr/wp-con- preevaluar las preguntas de la encuesta]. Inter- tent/uploads/2019/03/rapport-2012-01_Em- national Journal of Social Research Methodo- power-Youth.pdf logy, 19 (5), 501-519. https://doi.org/10.1080/13 Soler, P. (2017). Presentación monográfico empode- 645579.2015.1049448 ramiento juvenil y pedagogía social. Pedagogía Panadero, E. y Jonsson, A. (2013). The use of Social. Revista Interuniversitaria, 30, 13-16. scoring rubrics for formative assessment pur- https://doi.org/10.7179/PSRI_2017.30.01 553 Laura CORBELLA, Carme TRULL, María Pilar RODRIGO y Xavier ÚCAR Soler, P. (2020). El ocio como recurso privilegia- investigación del empoderamiento en el ám- do para el empoderamiento juvenil. En I. bito de la juventud]. International Journal of Lazcano y Á. De-Juanas (Eds.), Ocio y juven- Adolescence and Youth, 22 (4), 405-418. ht- tud. Sentido, potencial y participación comu- tps://doi.org/10.1080/02673843.2016.1209120 nitaria (pp. 161-180). Universidad Nacional Úcar, X. (Coord.), Planas, A., Novella, A., Ro- de Educación a Distancia (UNED). drigo, P., Vila, C., Núñez, H., Paladines, B., Soler, P., Planas, A., Ciraso-Cali, A. y Ribot-Ho- Paéz de la Torre, S., Turón, N., Paéz, J. y ras, A. (2014). Empoderamiento en la comu- Arenillas, M. (2016b). Informe del proceso de nidad. El diseño de un sistema abierto de evaluación participativa del empoderamien- indicadores a partir de procesos de evalua- to juvenil con 4 grupos de jóvenes. Dipòsit ción participativa. Pedagogía Social: Revis- Digital de Documents. Universitat Autó- ta Interuniversitaria, 24, 49-77. https://doi. noma de Barcelona. https://ddd.uab.cat/re- org/10.7179/PSRI_2014.24.03 cord/167223 Soler, P., Trilla, J., Jiménez-Morales, M. y Úcar, Wagaman, M. A. (2011). Social empathy as a X. (2017). La construcción de un modelo framework for adolescent empowerment [La pedagógico del empoderamiento juvenil: es- empatía social como marco para el empode- pacios, momentos y procesos. Pedagogía So- ramiento de los adolescentes]. Journal of cial. Revista Interuniversitaria, 30, 19-32. Social Service Research, 37 (3), 278-293. ht- https://doi.org/10.7179/PSRI_2017.30.02 tps://doi.org/10.1080/01488376.2011.564045 Soler, P., Trull, C., Rodrigo-Moriche, M. P. y Zimmerman, M. A., Eisman, A. B., Reischl, T. Corbella, L. (2019). El reto educativo del M., Morrel-Samuels, S., Stoddard, S., Miller, empoderamiento juvenil. En I. Alonso y K. A. L., Hutchison, P., Franzen, S. y Rupp, L. (2018). Youth empowerment solutions: Eva- año 79, n.º 280, septiembre-diciembre 2021, 537-555 Artetxe (Eds.), Educación en el tiempo libre: la inclusión en el centro (pp. 129-142). Edi- luation of an after-school program to engage ciones OCTAEDRO, S.L. middle school students in community chan- Tinsley, S. y Sheats, S. (2020). The role of tea- ge [Soluciones para el empoderamiento de cher educators and university supervisors to los jóvenes: evaluación de un programa ex- help student teachers reflect: from mono- traescolar para involucrar a los estudiantes logical reflection toward dialogical conver- de secundaria en el cambio de la comunidad]. sation [El papel de los formadores de pro- Health Education and Behavior, 45 (1), 20-31. fesores y de los supervisores universitarios https://doi.org/10.1177/1090198117710491 para ayudar a los estudiantes de magisterio revista española de pedagogía a reflexionar: de la reflexión monológica a la conversación dialógica]. Reflective Practice, Biografía de los autores 21 (2), 171-182. https://doi.org/10.1080/1462 Laura Corbella Molina es Investi- 3943.2020.1716710 gadora Predoctoral dentro del programa Tourón, J., Martín, D., Navarro, E., Pradas, S. de Doctorado en Educación en el departa- y Íñigo, V. (2018). Validación de constructo mento de Teorías de la Educación y Peda- de un instrumento para medir la competen- gogía Social de la Universitat Autònoma cia digital docente de los profesores (CDD) | Construct validation of a questionnaire to de Barcelona (UAB) y Profesora Colabo- measure teachers’ digital competence (TDC). radora de la Universitat Oberta de Cata- revista española de pedagogía, 76 (269), lunya. Su actividad de investigación está 25-54. doi: https://doi.org/10.22550/REP76- ubicada dentro de la pedagogía social y en 1-2018-02 concreto en la dimensión ética de las rela- Úcar, X., Jiménez-Morales, M., Soler, P. y Trilla, J. (2016a). Exploring the conceptualization ciones socioeducativas. and research of empowerment in the field of youth [Exploración de la conceptualización e https://orcid.org/0000-0002-2151-089X 554 Diseño y validación de una rúbrica para evaluar acciones y proyectos educativos... Carme Trull Oliva es Profesora tegración social y laboral de personas en Asociada del Área de Teoría e Historia situación de desventaja social y organi- de la Educación y Técnica Especializada zaciones para personas con discapacidad de Investigación del Área de Estudios de intelectual. Forma parte del Grupo de In- Educación y Psicología de la Universitat vestigación EMIPE y del Grupo de inves- de Girona (UdG). Es educadora social tigación TABA International Research. y ha cursado los estudios de Máster In- teruniversitario en Juventud y Sociedad, https://orcid.org/0000-0002-6513-0899 y el Doctorado en Educación. Su activi- dad de investigación está ubicada dentro Xavier Úcar Martínez es Catedráti- de la pedagogía social y en concreto en co de Pedagogía Social en la Universidad las intervenciones socioeducativas del Autónoma de Barcelona. Especializado en sistema de justicia juvenil. Educación Social y en Diseño y Evaluación de Programas de Desarrollo Comunitario https://orcid.org/0000-0003-2777-0315 y Programas de Animación Sociocultural. Presidente de la «Sociedad Iberoameri- M.ª Pilar Rodrigo-Moriche es Pro- cana de Pedagogía Social» (SIPS) (2012- fesora Asociada del Departamento de Pe- 2018). Presidente de la «Coordinadora per dagogía de la Universidad Autónoma de l’Animació Sociocultural de Cataluña» año 79, n.º 280, septiembre-diciembre 2021, 537-555 Madrid (UAM) y Profesora Colaboradora (CASC_CAT) (2009-2014). Miembro del en la Facultad de Educación de la Univer- grupo de investigación GIPE sobre Política sidad Nacional de Educación a Distancia Educativa y del grupo GPSEJ «Pedagogía (UNED). Ha desempeñado su labor pro- Social y Empoderamiento Juvenil». fesional en centros de educación infantil, áreas de juventud, organizaciones de in- https://orcid.org/0000-0003-3678-8277 revista española de pedagogía 555