Revista Desarrollo y Sociedad 92 Tercer cuatrimestre 2022 45 PP. 45-91, ISSN 0120-3584 E-ISSN 1900-7760 Análisis de eficiencia en educación: una aplicación del método StoNED Alexander Arévalo S.1, Víctor Giménez G.2 y Diego Prior J.3 DOI: 10.13043/DYS.92.2 Resumen En Colombia se han implementado métodos para medir la eficacia de las ins- tituciones de educación media; por ello en este artículo se busca establecer la eficiencia de estas instituciones, utilizando una metodología innovadora conocida como análisis envolvente de datos estocástico no paramétrico (Sto- NED) haciendo una medición orientada al output. Se plantea una visualización de la relación entre la eficiencia y la gestión de las secretarías de educación por departamento. Se toman como unidades de decisión las instituciones, por medio de los resultados estudiantiles de las pruebas Saber 11; teniendo en cuenta dos niveles de agregación, por institución y por departamentos. Se encuentra una ligera diferencia en la proporción de instituciones que presen- tan una eficiencia técnica con respecto a las que no la presentan. Más aún, se identifica que la mayoría de las instituciones que no evidencian eficiencia técnica son aquellas de naturaleza oficial, así como las ubicadas en zona rural. Palabras clave: modelo económico, optimización, productividad, política guber- namental, Colombia. Clasificación JEL: C52, C61, D24, I21, I28. 1 Institución Universitaria Antonio José Camacho (UNIAJC). Estudiante de doctorado de la Pontificia Universidad Javeriana Cali, Colombia. Correos electrónicos: aarevalo@admon.uniajc.edu.co; alexander. arevalo@javerianacali.edu.co 2 Universidad Autónoma de Barcelona, Barcelona, España. Correo electrónico: victor.gimenez@uab.cat 3 Universidad Autónoma de Barcelona, Barcelona, España. Correo electrónico: diego.prior@uab.cat Este artículo fue recibido el 15 de abril del 2021, revisado el 9 de abril del 2022 y finalmente aceptado el 5 de septiembre del 2022. desarro. soc. 71, primer semestre de 2013, pp. x-xx, issn 0120-3584 46 92 Tercer cuatrimestre 2022 Revista Desarrollo y Sociedad PP. 45-91, ISSN 0120-3584 E-ISSN 1900-7760 Efficiency analysis in education: An application of the StoNED method Alexander Arévalo S.4, Víctor Giménez G.5 y Diego Prior J.6 DOI: 10.13043/DYS.92.2 Abstract In Colombia, numerous methods have been implemented to measure the effi- cacy of secondary education institutions. The purpose of this study is to estab- lish the efficiency of these institutions, using an innovative methodology known as Stochastic Non-Parametric Envelopment Analysis of Data (StoNED) with an output-oriented measurement. A visualization of the relationship between efficiency and the management of the education secretariats by department is proposed. Institutions are taken as decision units, based on the results of students’ SABER 11 tests, considering two levels of aggregation, by institution and by department. A slight difference is found in the proportion of institutions that present technical efficiency with respect to those that do not. Moreo- ver, it is identified that most of the institutions that do not present techni- cal efficiency are those of an official nature, and those located in rural areas. Keywords: Economic models, Optimization, Productivity, Public policy, Colom- bia. JEL Classification: C52, C61, D24, I21, I28. 4 Institución Universitaria Antonio José Camacho (UNIAJC). Estudiante de doctorado de la Pontificia Universidad Javeriana Cali, Colombia. Emails: aarevalo@admon.uniajc.edu.co; alexander.arevalo@ javerianacali.edu.co 5 Universidad Autónoma de Barcelona, Barcelona, España. Email: victor.gimenez@uab.cat 6 Universidad Autónoma de Barcelona, Barcelona, España. Email: diego.prior@uab.cat This paper was received on April 15, 2021, revised on April 9, 2022, and finally accepted on September 5, 2022. Alexander Arévalo, Víctor Giménez y Diego Prior 47 Introducción Una de las líneas de desarrollo socioeconómico más importantes en un país es el impacto relacionado con la efectividad en los sistemas educativos internos, desde la premisa de que la educación es el núcleo de los factores que mejoran el estilo de vida de las personas y aumenta el nivel de desarrollo de la comu- nidad (Koçak et al., 2019). En ese sentido, la educación de calidad, equidad y eficiencia es uno de los objetivos más importantes de los Objetivos de Desa- rrollo Sostenible establecidos por la Organización de las Naciones Unidas en su Programa de las Naciones Unidas para el Desarrollo7. El vínculo entre rendimiento académico y desarrollo socioeconómico ha sido analizado tanto por la academia (Agasisti et al., 2020; Chakraborty y Harper, 2017; Rymarzak y Marmot, 2020) como por organizaciones internacionales como la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco) (Mazurek y Mielcová, 2019; OCDE/Unesco, 2016). En este último caso, se exploró la relación entre los resultados obtenidos del estudio internacional Programme for International Student Assessment (Pisa) y un conjunto de indicadores socioeconómicos de 71 países (34 países de la OCDE y 37 no pertenecientes a la OCDE). Uno de los resultados de este fue que los puntajes de Pisa estaban positivamente relacionados con el producto interno bruto (PIB) nacional per cápita, los gastos de los gobiernos en educación pri- maria y el índice de democracia (Mazurek y Mielcová, 2019). Diversos trabajos examinan los resultados obtenidos por los estudiantes en determinadas pruebas que les aplican, generalmente al finalizar algún ciclo educativo (Gallegos et al., 2018; Soria-Barreto y Zúñiga-Jara, 2014; Sosa et al., 2010). Otras investigaciones plantean que los resultados no deben inter- pretarse por sí solos, sin tener en cuenta una serie de factores de entorno que intervienen en el ecosistema educativo (Canales y De los Ríos, 2007; García- Robelo et al., 2020; Vélez et al., 2006). Distintos autores, desde diferentes líneas de investigación, han estudiado los factores que contribuyen a obte- ner resultados académicos tan negativos que provocan la deserción acadé- 7 Red global de desarrollo de las Naciones Unidas, a la cual pertenece Colombia, que aboga por cambiar y conectar a los países al conocimiento, la experiencia y los recursos para ayudar a las personas a construir una vida mejor (https://www.undp.org/es/sustainable-development-goals). desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 48 Análisis de eficiencia en educación: una aplicación del método StoNED mica (Cabrera et al., 1993; Herrero et al., 2018; Tinto, 1975; Vries et al., 2011). Algunos de estos factores se pueden categorizar como personales, familiares, sociales, académicos o institucionales (Álvarez et al., 2017; Hanushek, 1979). Los dos últimos destacan el importante papel que desempeñan las institucio- nes educativas y las políticas gubernamentales en los procesos académicos de enseñanza-aprendizaje y, por tanto, en el desarrollo de un país (Baskaran, 2017; King, 2019). En Colombia el Ministerio de Educación Nacional (MEN) es la entidad res- ponsable del sector educativo8. Entre las metas y estrategias para la educa- ción, el MEN propone diferentes objetivos entre los que destacan el apoyo a los departamentos territoriales (en los que se organiza administrativamente Colombia), la calidad y eficiencia del servicio educativo, el fomento de la per- manencia en la educación, la mejora en el acceso y la calidad de la educación rural, así como la participación de las instituciones oficiales (del Estado) en pruebas nacionales e internacionales. En cuanto a las evaluaciones en el territorio nacional se encuentran las pruebas Saber 11 que aplica el Estado colombiano para evaluar el sistema educativo a través del Instituto Colombiano para el Fomento de la Educación Superior (Icfes). Empresa estatal de carácter social y naturaleza especial, vinculada al MEN, que ofrece los servicios de evaluación de la educación en todos sus niveles (Icfes, 2016). Adicionalmente, Colombia participa en múltiples evalua- ciones internacionales de desempeño escolar, aplicadas en distintos niveles educativos y enfocadas a evaluar distintos tipos de competencias académicas y sociales (MEN, 2006), tales como las pruebas Pisa. Los resultados de estas pruebas han servido como fuente de datos para estu- dios y trabajos de investigación mediante el uso de diversas metodologías, de cara a la obtención de distintos tipos de información o enfoques. Entre estos, la identificación de factores asociados al desempeño académico (Ayala et al., 2011; Castro et al., 2018; Sánchez, 2011), la estimación de brechas educativas (Cárcamo y Mola, 2012; Castro et al., 2017), estudios de desempeño (Gimé- nez et al., 2017; OCDE, 2016) e incluso como base principal para el cálculo del índice sintético de calidad educativa y el índice de gestión para la calidad 8 Por el Decreto 1075 del 26 de mayo de 2015, del Decreto Único Reglamentario del Sector Educación en Colombia. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 49 educativa, construido por el Icfes; índices que se utilizan para la clasificación de instituciones en Colombia (MEN, 2014). Sin embargo, es preciso aclarar que, ambos índices se centran en medir si se alcanzan o no las metas establecidas (eficacia) y no si están logrando las metas fijadas haciendo uso de la menor cantidad de recursos disponibles o si se están consiguiendo los mejores resul- tados haciendo uso de los recursos disponibles (eficiencia). Por tanto, para el caso colombiano, no se está alcanzando uno de los objetivos trazados por el MEN de medir los niveles de eficiencia del sistema educativo. Es así como siguiendo esta línea de estudios centrados en resultados de prue- bas, se evidencia literatura que aborda la economía de la educación que se centra, particularmente en Colombia, en el análisis del rendimiento de los estudiantes y en sus contextos personales, sociales y de institución. No obs- tante, no suelen considerar el papel que desempeñan las instituciones educa- tivas en relación con su gestión y con el aprovechamiento de los recursos que conducen a la eficiencia de la producción educativa. De este modo, se traza como objetivo la medición de la eficiencia del sistema educativo colombiano. Se pretende complementar los índices actualmente empleados, dando cumplimiento a los objetivos del MEN, contribuyendo al diseño de políticas educativas. Además, como es de interés nacional obtener los mejores resultados posibles dados los recursos públicos aportados y las directrices definidas por el MEN a las instituciones en Colombia, se evaluará a los colegios por medio de los puntajes obtenidos por los estudiantes en las pruebas Saber 11; teniendo en cuenta dos niveles de agregación: por institu- ción educativa y por departamentos. También se contemplará el posible sesgo de selección existente por parte de las directivas de las instituciones como consecuencia de la elección de los estudiantes que se presentan, en su repre- sentación, a la prueba en mención. El análisis de eficiencia académica que se plantea se realizará con los pun- tajes de 552 673 estudiantes, pertenecientes a 9212 instituciones educativas (5834 de naturaleza oficial y 3378 de naturaleza no oficial) de los 33 depar- tamentos en los que se organiza administrativamente Colombia9. El output establecido será el puntaje global de los estudiantes (Giménez et al., 2019; 9 En este documento se hará referencia a 32 departamentos y a Bogotá como distrito capital. Así, se hablará de 33 departamentos. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 50 Análisis de eficiencia en educación: una aplicación del método StoNED Sagarra, et al., 2017) y los inputs dados serán la cantidad de docentes, can- tidad de alumnos, equipos electrónicos y un índice socioeconómico (Agasisti, 2014; Portela et al., 2013). Las metodologías más utilizadas en la literatura para analizar la eficiencia en el ámbito educativo son dos (Caiazza et al., 2016; Greco et al., 2018; Peretto, 2016): los modelos de frontera no paramétricos y los modelos de frontera para- métricos. No obstante, en este estudio se propone hacer uso de una metodología innovadora en el sector educativo, denominada stochastic non-smooth enve- lopment of data (StoNED) desarrollada por Kuosmanen y Kortelainen (2012). Se trata de un modelo de frontera semiparamétrico que combina la frontera no paramétrica tipo data envelopment analysis (DEA) (Charnes et al., 1978), que satisface la monotonicidad y la concavidad, con el término de error com- puesto homocedástico estocástico obtenido en los modelos paramétricos tipo stochastic frontier analysis (SFA) (Aigner et al., 1977). La contribución de este trabajo está dada en dos enfoques. Uno, desde el punto de vista de política educativa, al cuantificar la eficiencia productiva de las instituciones en Colombia para el año 2016, ofreciendo una herramienta para lograr el objetivo de medida de la eficiencia y evaluación de las institu- ciones educativas, como lo determina el MEN. Adicionalmente, se plantea la discusión relacionada con el posible sesgo de selección que existe por parte de algunas instituciones al elegir estudiantes para presentar las pruebas. Dos, desde el punto de vista de la contribución a la literatura, ya que se aplica por primera vez, según nuestro conocimiento, el método StoNED a la evaluación de la eficiencia en el sector educativo. I. Revisión de literatura Esta revisión de literatura se enfoca en tres aspectos. Primero, el progreso documentado de la línea de investigación, por medio de artículos de investi- gación relacionados con eficiencia educativa (Worthington, 2001). Segundo, los planteamientos metodológicos que se han llevado a cabo en la medición de eficiencia, principalmente los modelos de frontera (Peretto, 2016). Tercero, se hará una caracterización sistemática de los estudios que muestran las dis- tintas asociaciones entre eficiencia educativa y acciones gubernamentales. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 51 A. Eficiencia en la educación En cuanto a la teoría de la producción, Hanushek ha establecido ampliamente la relación existente entre el comportamiento de la teoría de la producción y el desempeño en la educación, haciendo énfasis en el desempeño individual (del estudiante) (Hanushek, 1979; 1997) y grupal (de la institución) (Hanus- hek, 2002; Hanushek y Luque, 2003). Dichos estudios esbozan las funciones de producción educativa y examinan el nexo entre las diferentes entradas al pro- ceso educativo y los resultados de dicho proceso, según sea el caso establecido. Las instituciones educativas son objeto de análisis destinados a definir, medir y mejorar la eficiencia; por ello, para referirse a los estudios realizados sobre instituciones educativas desde el enfoque de la eficiencia, se debe mencio- nar “El informe Coleman, 50 años después” (Morales, 2016). Las afirmaciones hechas en este informe generaron una serie de discusiones que motivaron el desarrollo de investigaciones en esta línea, a causa del impacto y trascenden- cia en términos del desarrollo socioeconómico. Desde entonces, la línea de investigación se ha trabajado desde dos perspectivas (Thieme et al., 2011). La primera es en relación con la educación y la psicolo- gía, la cual se enfoca en las connotaciones directas e indirectas de los proce- sos de enseñanza-aprendizaje de la academia (Teddlie y Reynolds, 2001). La segunda perspectiva es en relación con la economía pública, haciendo énfasis en la eficiencia técnica; analizando unidades de decisión evaluadas según los diferentes factores y recursos (inputs) en correspondencia con los resultados (outputs) obtenidos por estos. Este estudio hace referencia a la eficiencia de las instituciones educativas desde la perspectiva de la eficiencia técnica vinculada con la economía pública. En ese sentido, se detalla la revisión de literatura realizada por Worthington (2001) en la cual lista una serie de trabajos mencionados hasta 1998. Entre estos, están aquellos autores que hicieron uso del modelo SFA, como Sen- gupta (1987), Barrow (1991), Deller y Rudnicki (1993), Cubbin y Zamani (1996) y Bates (1997); y los que usaron el modelo DEA, como Charnes et al. (1978, 1981), Sengupta y Sfeir (1986, 1988), Ganley y Cubbin (1992), Beasley (1995) y Haksever y Muragishi (1998). desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 52 Análisis de eficiencia en educación: una aplicación del método StoNED El enfoque de la economía pública define un suministro eficiente cuando se utilizan los recursos de la mejor forma posible. Es decir, un sistema educativo presenta ineficiencias (o falta de eficiencia) cuando se pueden lograr mejo- ras en el nivel de resultados obtenidos, haciendo uso del mismo nivel dado de insumos (orientado al output); o si para el mismo nivel de resultados dado se logra disminuir el nivel de insumos (orientado al input) (Bessent y Bessent, 1980). La investigación de Sengupta y Sfeir (1986) establece un punto de par- tida, en educación, para el examen de las técnicas de medición de la eficien- cia en la frontera al realizar un estudio con un conjunto de datos utilizando el enfoque de frontera SFA y DEA. En cuanto a Latinoamérica, Miranda y Araya (2003) muestran la eficiencia del programa para el mejoramiento de la calidad y el cubrimiento de la educación, en el área austral de Chile. Ibáñez-Martín et al. (2017) analizan el rendimiento académico de los estudiantes mediante la estimación de fronteras de eficien- cia, método que permite distinguir el efecto de características del alumno y su entorno en Argentina. En México, Becerril-Torres et al. (2012) estiman una frontera de producción a través del método DEA, mostrando que la eficiencia promedio de la educación en México está cerca al 70 %. Para Colombia, el Departamento Nacional de Planeación estimó una frontera de producción departamental a través del DEA. En ella, determina cómo la inversión en educación, los contratos privados y el número de docentes deben fomentar alumnos con mejores calificaciones. El estudio fue hecho para la educación media, en el que se demostraron resultados contrarios en materia de eficiencia para los departamentos. Entre las debilidades de este estudio se encuentra que el método utilizado no tiene en cuenta los errores estocásti- cos que se presentan en el proceso de aprendizaje (Rodríguez-Murillo, 2014). Por otro lado, el estudio de Melo-Becerra et al. (2017) evalúa el desempeño de las instituciones de educación superior de Colombia, mediante la estima- ción de una frontera de posibilidades de producción, que permite evaluar la eficiencia relativa y sus determinantes; midiendo los factores externos que pueden influir en la calidad de la educación en Colombia. Visbal-Cadavid et al. (2017) presentan los resultados de un estudio de efi- ciencia de universidades públicas colombianas en el 2012, ejecutado con el método DEA. Dichos resultados prueban hasta qué punto los resultados de las desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 53 instituciones de educación superior ineficientes podrían mejorarse y la posible causa de esta ineficiencia, analizando el cambio en la productividad del 2011 al 2012, aplicando el índice de Malmquist. Por último, pero no menos importante, está la disyuntiva en llevar a cabo un análisis donde el sistema de agregación puede traer valor agregado e impli- caciones notorias sobre el planteamiento inicial. Para el caso educativo, aun- que los componentes particulares cambien, el análisis de la asociación entre variables de los niveles de agregación puede ser de consideración (Fertig y Wright, 2005). Para Johnes (2014) los resultados sugieren que, los DEA de nivel agregado pro- porcionan puntajes de eficiencia que reflejan los esfuerzos y las característi- cas tanto de los estudiantes como de la institución y el departamento. Así, en cuanto a la eficiencia en el campo de la educación existe una progresiva can- tidad de estudios que están aplicando esta técnica para evaluar los diferentes aspectos relacionados con la eficiencia de los centros de educación (Gimé- nez et al., 2017, 2019; Portela y Thanassoulis, 2001; Thanassoulis et al., 2011). Se pueden identificar situaciones en que los niveles de efectividad escolar de un alumno están representados en su mayor parte por el margen de rendi- miento de las escuelas. Así mismo, se relacionan los niveles de logros de las instituciones en la medida en que los logros de esos objetivos estén dados por el alumno (Thanassoulis y Portela, 2002). Esto muestra el vínculo directo que existe entre el desempeño del estudiante y la institución. B. Metodologías utilizadas para medir eficiencia Aunque existen distintas metodologías para medir y analizar la eficiencia pro- ductiva, se presenta en este documento un enfoque a los métodos de fron- tera. Estos métodos se han establecido como fiables, puesto que obtienen una función de producción relacionando los productos obtenidos y los insumos de las unidades productivas consideradas en la evaluación. Dicha función deter- mina el límite de posibilidades de producción, por lo cual la eficiencia de una unidad productiva viene dada por la distancia que la separa de la mencionada frontera. Una característica fundamental de estas funciones es la optimiza- ción, en el sentido de Pareto, pues todas ellas especifican el valor óptimo de la función que puede ser logrado bajo ciertas condiciones impuestas; es decir, desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 54 Análisis de eficiencia en educación: una aplicación del método StoNED una frontera (Cooper et al., 2006). Cuando el óptimo está definido por la fun- ción de producción, la medida de eficiencia obtenida se denomina eficiencia técnica. Si la comparación se realiza considerando un óptimo definido en tér- minos de un objetivo económico determinado, la medida de eficiencia obte- nida se denomina eficiencia económica (Lovell et al., 1994). En los procesos de estimación, por medio de los métodos de frontera, se rea- lizan generalmente mediante dos tipos de técnicas básicas (Dong et al., 2014; Murillo-Melchor, 1999): paramétricas (técnicas que especifican la tecnología mediante una forma funcional conocida) y no paramétricas (técnicas que for- mulan las características de la tecnología mediante supuestos sobre el conjunto de producción). Hay dos grandes modelos dentro de los métodos de frontera (Caiazza et al., 2016; Greco et al., 2018; Prior, 1992): • Un modelo de frontera paramétrico fundamentado en el SFA, el cual permite capturar los errores estocásticos en la estimación (Aigner et al., 1977; Manski, 2000; Melo-Becerra et al., 2017; Rodríguez-Murillo, 2014), atribuidos a la ineficiencia y a factores externos. • Un modelo de frontera no paramétrico fundamentado en el DEA, el cual estima la frontera mediante técnicas de programación matemática, con la ventaja de no suponer a priori una forma funcional para la función de producción (Charnes et al., 1978; Charnes et al., 1997; Giménez et al., 2019; Greene, 2008; López-Torres y Prior, 2016). Este modelo se puede trabajar con el índice de Malmquist (Färe et al., 1994; Giménez et al., 2017; Johnson y Ruggiero, 2014; Lovell, 2003; Thanassoulis et al., 2011) y el índice de Metafrontera Malmquist Luenberger (Metafrontier Malmquist Luenberger) (Cordero et al., 2016; Oh, 2010; Thieme et al., 2013). Ambos modelos de frontera tienen sus propios méritos y limitaciones. Una de las ventajas de aplicar análisis de frontera con respecto a las técnicas eco- nométricas tradicionales es que provee medidas específicas de ineficiencia, que no siempre son el resultado del comportamiento directo de la unidad de producción. Así, las desviaciones pueden estar originadas en eventos que se encuentran bajo o fuera del control de dichas unidades (Melo-Becerra y Espi- nosa-Rodríguez, 2005). desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 55 C. Estudios de eficiencia en educación en relación con procesos gubernamentales Para visualizar una posible relación entre eficiencia educativa y gobierno, se deben identificar los distintos puntos de vista que han dado los investigado- res en dicho contexto. Así, la medición de la eficiencia en la educación puede connotar distintos efectos en el ámbito gubernamental, haciendo uso de dicha medida como un instrumento aplicable o argumentativo en las acciones y decisiones gubernamentales. En este orden de ideas, en el cuadro 1 se mues- tran cuatro enfoques discutidos en cuanto a esta relación: instrumentos de desarrollo social, ajuste financiero, legislación política y, por último, compe- titividad, categorización y profesorado. Se identifican el tipo de relación, los autores que efectuaron el estudio, la región en la que se centró el estudio y el año de publicación del artículo de investigación. Cuadro 1. Estudios de eficiencia en educación en relación con procesos gubernamen- tales Enfoque Autores Año Lugar Relación Chakraborty y Productividad de las escuelas vs. Factores 2017 Australia Harper socioeconómicos en la región Letonia, Eslovenia y Educación vs. Estilo de vida y nivel de Koçak et al. 2019 Corea del desarrollo social Norte Mazurek y 2019 Mundial Resultados Pisa vs. PIB y gasto público Mielcová Etiopía, Johnes y Sistemas educativos vs. Análisis 2019 India, Perú Instrumentos de Virmani socioeconómicos y políticos y Vietnam desarrollo social Estados Desarrollo académico vs. Reforma Nix et al. 2020 Unidos educativa Reino Rymarzak y Autonomía institucional vs. Activos y 2020 Unido y Marmot propiedades Polonia Sistemas regionales de educación Agasisti et al. 2020 Rusia superior vs. Desarrollo económico regional Estados Educación de emigrantes vs. Libertad Padilla et al. 2020 Unidos económica (Continúa) desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 56 Análisis de eficiencia en educación: una aplicación del método StoNED Enfoque Autores Año Lugar Relación Estados Colegios y universidades públicas vs. Sexton et al. 2012 Unidos Financiación Prácticas de formación profesional vs. Kovernuk 2016 Ucrania Recursos financieros del gobierno Haug y Número de estudiantes vs. Profesorado 2017 Australia Blackburn y fondos Ajuste financiero Rendimiento educativo vs. Asignación de Wang 2019 China fondos Andrejević- Europa Panić y 2019 Central y Educación vs. Gastos de gobierno Lozanov- Oriental Crvenković Sengupta y Estados Exámenes centralizados vs. Proceso 1986 Sfeir Unidos legislativo Unión Asignación de clases vs. Sistemas OCDE 2016 Europea educativos y recursos Teremetskyi Ucrania y Reforma y disposiciones de ley vs. 2017 et al. Polonia Innovaciones y mejoras en la educación Legislación política Salinas y Solé- Reforma de descentralización vs. 2018 España Ollé Resultados educativos Unión Competencias de los estudiantes vs. Sulis et al. 2020 Europea Implicaciones políticas y legislativas Desigualdades de la dispensación Du Plessis 2020 Sudáfrica educativa vs. Segregación y participación racial Teddlie y Educación vs. Competitividad nacional y 2001 Mundial Reynolds desarrollo De Witte y Evaluación docente vs. Enseñanza 2011 Bélgica Rogge académica Recursos educativos vs. Competitividad Liu y Xu 2017 Asia nacional Kumar y Impacto social vs. Rendimientos y Competitividad, 2019 India Thakur clasificación categorización y profesorado Silander y Práctica docente y enseñanza estudiantil 2019 Suecia Stigmar vs. Formación docente Rendimiento en escuelas públicas vs. Salas-Velasco 2020 España Restricciones burocráticas Moncayo- Desempeño institucional vs. Enseñanza, 2020 México Martínez et al. investigación y difusión del conocimiento Evaluación docente vs. Actividad docente Brzezicki et al. 2020 Polonia total realizada Fuente: elaboración propia. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 57 II. Método y datos A. Antecedentes del método En este estudio se plantea un método que, aparte de ser novedoso y una alter- nativa prometedora ya que es estocástico, semiparamétrico y no requiere una suposición explícita a priori sobre la forma funcional de la función de produc- ción (Andor y Hesse, 2014), apunta a uno de los objetivos de investigación más importantes en este campo: cerrar la brecha entre el SFA y el DEA (Johnson y Kuosmanen, 2011). Este método viene ganando protagonismo en la literatura correspondiente a medición de eficiencia; abriendo camino en la medición de eficiencia en la educación. El método StoNED difiere de los tratamientos paramétricos del SFA en que no se hacen suposiciones sobre la forma funcional, sino que se construye sobre las restricciones de forma global (monotonicidad y concavidad). Estas restriccio- nes son equivalentes a los axiomas de libre disposición y convexidad del DEA. Por otro lado, el método StoNED difiere en su tratamiento de la ineficiencia y del ruido (Kuosmanen y Johnson, 2010) del DEA, ya que este es sensible a los valores atípicos y al ruido. El método StoNED utiliza la información con- tenida en toda la muestra de observaciones para estimar la frontera e infiere el valor esperado de ineficiencia en una moda probabilística (Kuosmanen y Kortelainen, 2012). Hay dos diferencias importantes a resaltar cuando se plantea la comparación entre los modelos SFA y DEA con el método StoNED (Kuosmanen et al., 2015). Primera, los métodos de estimación de eficiencia buscan estimar la función de producción subyacente; así, mientras que el SFA (paramétrica) requiere una suposición sobre la forma funcional de la función de producción, en el DEA (no paramétrica) la construcción de la frontera solo está restringida a través de su base axiomática (concavidad, monotonicidad, ineficiencia y no limitación de ruido), siendo esta la principal desventaja de SFA frente al DEA. El método StoNED (semiparamétrico) evita esta deficiencia mediante el uso de mínimos cuadrados convexos no paramétricos (convex nonparametric least squares, CNLS); los cuales no suponen una forma funcional particular, sino que eligen una función de la familia de funciones cóncavas continuas crecientes de manera monótona que mejor se ajustan a los datos. Por lo tanto, estos supuestos son comparables con los del DEA, pero son menos restrictivos que los del SFA. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 58 Análisis de eficiencia en educación: una aplicación del método StoNED Segunda, el supuesto sobre la composición del factor de error. Mientras que el método determinista (DEA) supone que toda la desviación es atribuida a la ineficiencia, los métodos estocásticos (SFA y StoNED) estiman la eficiencia técnica, al tiempo que admiten que podría haber ruido aleatorio en los datos, mediante el método de momentos (Aigner et al., 1977), la técnica de máxima verosimilitud o seudomáxima verosimilitud (Fan et al., 1996). En la determi- nación de la eficiencia técnica para cada unidad, los métodos estocásticos, utilizando las estimaciones previas (el término de error, la relación de ruido e ineficiencia) pueden estimar la eficiencia individual. El método determinista no considera el ruido aleatorio y la eficiencia técnica en la desviación com- pleta de la frontera estimada. En este sentido, Johnson y Kuosmanen (2011) establecen que al construir un estimador basado en el método StoNED (que combina la frontera axiomática, no paramétrica, estilo DEA, con el tratamiento probabilístico, estilo SFA, de ineficiencia y ruido) se tienen varias ventajas para estimar los efectos de las variables contextuales. Cabe destacar que este estimador de frontera es inses- gado y estadísticamente consistente bajo supuestos más generales que los requeridos por otros métodos; de hecho, permanece constante incluso cuando el término de ruido no tiene límites y las variables están correlacionadas con las entradas. Así, las características ya mencionadas solventan el problema de la endogeneidad que se produce cuando la variable explicativa se correlaciona con el término de error en una regresión, lo cual implica que el coeficiente de regresión va a estar sesgado (Johnson y Kuosmanen, 2011; Kuosmanen y Johnson, 2017); algo común en estudios de esta línea de investigación. Para Afsharian (2017) el método StoNED puede extenderse como un estima- dor en el análisis de eficiencia de metafronteras. Igualmente, este método permite la estimación de tecnologías de producción conjunta que implican múltiples productos (Kuosmanen y Johnson, 2017); así, en comparación con el SFA y el DEA, al analizar la medida en que se puede aplicar una función de producción para modelar tecnologías con entrada y salida multidimensional para StoNED, este conduce a resultados plausibles, aunque algo complicados (Schaefer y Clermont, 2018). Este método ha sido aprovechado en estudios de análisis de eficiencia en regu- lación y rentabilidad de energía eléctrica en distintos países (como China, Fin- landia y Noruega) (Cheng et al., 2014; Dai y Kuosmanen, 2014; Kuosmanen, desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 59 2012; Kuosmanen et al., 2013; Li et al., 2016). También hay estudios en los que hacen uso de este método aplicado a eficiencia de precios y elasticida- des de la demanda agrícola (Shen y Lin, 2017), eficiencia en la producción de maíz (Chaovanapoonphol y Somyana, 2018), eficiencia intertemporal de los equipos de ventas en bancos (Eskelinen y Kuosmanen, 2013) y eficiencia de la administración tributaria (Nguyen et al., 2020). Hay un estudio de Louca y Demosthenous (2015) en el que, por medio del método StoNED como método de análisis de eficiencia productiva, se sus- tenta la discusión en torno a las teorías en medición de la eficiencia en la educación, dimensiones sociales, económicas y culturales, como contribución al crecimiento económico sostenible, aplicado en la agricultura. Los autores sugieren que la eficiencia en la educación debe medirse para lograr un creci- miento económico sostenible y proponen emplear StoNED como una herra- mienta en la medición de la eficiencia en la educación. Lo presentado establece una serie de estudios enfocados al análisis de eficien- cia que hacen uso del método StoNED; indicando con esto dos situaciones. Una, que es novedoso, relevante y útil para la medición de eficiencia, a pesar de ser un método nuevo. Dos, que en el ámbito académico no hay evidencia de que se haya realizado un trabajo de análisis de eficiencia en relación con instituciones educativas; aunque se plantea la posibilidad de servirse de este método para ejecutar dicho análisis. De esta manera, lo mencionado abre una brecha de investigación correspondiente a la medición de la eficiencia de la productividad de las instituciones educativas; planteamiento que se desarro- lla en este documento. Por último, en el sentido de contextos educativos, se hace precisión sobre posibles aspectos favorables y desfavorables que pueden existir al utilizar el método StoNED para este análisis. Como ventajas, se debe tener en cuenta que el análisis de ineficiencia es más fuerte que el que plantea un SFA, pero menos severo que el que propone un DEA; siendo un punto medio útil en el planteamiento educativo por los factores externos que se pueden presentar y ser parte del estudio (Kuosmanen y Kortelainen, 2012). Por otro lado, como inconveniente, se debe considerar que en el contexto educativo es útil hacer uso de varios outputs dependiendo del análisis que se desee trabajar y, en este caso, el método StoNED presenta complicaciones y no es fácil el proceso para este análisis (Kuosmanen y Johnson, 2017). desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 60 Análisis de eficiencia en educación: una aplicación del método StoNED B. Desarrollo metodológico Este modelo propone un nuevo método de dos etapas. La primera conlleva apli- car CNLS para estimar la forma de la frontera sin suposiciones sobre su forma funcional o suavidad. En la segunda las expectativas condicionales de inefi- ciencia se estiman con base en los residuos de CNLS, utilizando el método de los momentos o técnicas de cuasiverosimilitud (Kuosmanen y Johnson, 2010). El estimador StoNED se plantea en cuatro pasos, que no necesariamente se deben ejecutar: • Paso 1: aplicar el estimador CNLS para estimar la salida media condicional E (y i | xi ) . • Paso 2: aplicar métodos paramétricos (por ejemplo, el método de los mo- mentos o la estimación de cuasiverosimilitud) a los residuos CNLS ei CNLS ( ) para estimar el valor esperado de ineficiencia m. • Paso 3: calcular φˆStoNED ( x ) = gˆminCNLS ( x ) + µˆ y aplicar el principio mínimo de extrapolación (Banker et al., 1984) para estimar la función mínima (de producción de frontera) fˆmin StoNED ( x ). • Paso 4: aplicar métodos paramétricos para estimar la ineficiencia específica de las instituciones empleando la media condicional E (ui |eiCNLS ). Dependiendo de las estimaciones que se deseen realizar, estimar los paráme- tros CNLS en el paso 1 puede ser suficiente. Los otros pasos no influyen en las estimaciones de productos marginales de los factores de entrada, los coefi- cientes bi o la clasificación de eficiencia relativa de las unidades. El paso 2 es necesario si se requiere el nivel de ineficiencia promedio para la muestra, el paso 3 es necesario para imponer una extrapolación mínima y el paso 4 es necesario si se demandan las estimaciones cardinales de ineficien- cia específicas de las instituciones (Ray et al., 2015). C. Datos y variables En Colombia, los estudiantes del último curso de la educación media presen- tan la prueba Saber 11, requisito indispensable para ingresar a los programas de educación superior en pregrado, de conformidad con la Ley 30 de 1992 desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 61 de la legislación colombiana. Sin embargo, es preciso aclarar que, conforme con las disposiciones legales vigentes, las pruebas Saber 11 no constituyen un requisito indispensable para obtener el grado de bachiller, que indica el fin de la educación media. No obstante, la Ley 1324 de 2009 señala la obligación para las instituciones educativas de presentar a todos sus estudiantes, salvo circunstancias excepcio- nales como la incapacidad médica del estudiante. En contraste con lo anterior, puede darse la existencia de un sesgo de selección, por parte de las directivas institucionales, como consecuencia de la elección de los estudiantes que se presentan a la prueba; sin tener alguna excepción válida (Hofflinger y Von-Hip- pel, 2020). Dicha situación da lugar al planteamiento alterno que se tendrá en cuenta en los modelos, como en la discusión de los resultados, de este estudio. Esta investigación se diseña haciendo uso de los resultados de las pruebas Saber 11 del año 2016, como primer año del periodo comprendido entre 2016 y 201910. Por tanto, de los aproximadamente 574 000 estudiantes de las cerca de 9700 instituciones educativas de Colombia, este estudio emplea los datos de 552 673 estudiantes de 9212 instituciones educativas (5834 públicas y 3378 privadas) de 1009 municipios en los 33 departamentos de Colombia. La decisión de emplear estos datos corresponde a las instituciones educativas de las cuales se logró encontrar la información pertinente y necesaria para todas las variables que se han de considerar en el modelo. La información mencionada sobre las instituciones, utilizada para este estu- dio, se obtuvo de dos fuentes. La primera, de la base de datos del Icfes (21 de septiembre del 2022), correspondiente a Saber 11 en el repositorio correspon- diente a investigadores y divulgación. Esta base de datos contiene informa- ción acerca del estudiante, su familia y la institución educativa relacionada durante el periodo estudiado. La segunda, de la base de datos del Departamento Administrativo Nacional de Estadística (Dane) en su catálogo de microdatos del Archivo Nacional de Datos sobre educación formal (Dane, s.f.). Esta base de datos contiene distintos módulos de información respecto a las institucio- nes educativas del país, donde se exponen particularidades más detallas sobre estudiantes, docentes, administrativos e instituciones. 10 Periodo de tiempo de la última administración de gobiernos locales en Colombia, para realizar la relación de las respectivas secretarías de educación de cada localidad. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 62 Análisis de eficiencia en educación: una aplicación del método StoNED En el modelo se utilizarán como unidades de decisión las instituciones educa- tivas, las cuales se relacionarán por medio de los puntajes obtenidos por sus estudiantes en las pruebas Saber 11. De esta manera, se manejarán dos niveles de agregación, un primer nivel por institución educativa y un segundo nivel por departamentos. Por otro lado, entendiendo por eficiencia la comparación entre los valores observados y los óptimos, la comparación se hará orientada al output; es decir, la comparación entre el output máximo alcanzable y el realmente alcanzado, para un cierto nivel dado de inputs. Se plantea el modelo con cinco variables distribuidas en un output y cuatro inputs. Siguiendo la línea en eficiencia en educación (De Witte y López-Torres, 2015; Giménez et al., 2017, 2019; López-Torres y Prior, 2016; Sagarra et al., 2017) se hará uso de los puntajes de las pruebas como output. Se marca la discrepancia, a este nivel de agregación entre los estudiantes matriculados que deberían haber presentado la prueba y la cantidad de estudiantes que real- mente presentaron la prueba; en consecuencia, se realizan dos modelos. Uno se desarrolló empleando como output el puntaje acumulado presentado, cal- culado con la suma acumulada de los puntajes de los estudiantes que presen- taron la prueba de cada institución. El otro se desarrolló usando como output el puntaje acumulado de cada institución, calculado con el producto entre el puntaje promedio de cada institución y la cantidad de sus estudiantes matri- culados aptos para presentar la prueba, que no es la misma cantidad de estu- diantes que presentaron la prueba en cada institución, ni la misma cantidad de estudiantes matriculados en la institución. Este planteamiento se estableció al observar que, en los datos, la cantidad de estudiantes que presentaron la prueba no coincidía con la cantidad de estu- diantes matriculados en cada institución, en el año de escolaridad, aptos para presentar la prueba. Esta observación traza la posibilidad de estudiar dos esce- narios. Uno en que se penalice la decisión de la institución de enviar solo algu- nos estudiantes a presentar la prueba, siendo más exigente, y otro en el que, siendo más flexible, se asuma un promedio general con todos los estudiantes matriculados en la institución aptos para presentar dicha prueba (Gómez-Silva, 2016; Hofflinger y Von-Hippel, 2020; Iregui et al., 2007). Además, aunque esta prueba se puede presentar en más de una oportunidad, solo se tomaron los datos de aquellos estudiantes que han presentado la prueba por primera vez. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 63 Los inputs con que se elabora este estudio son acordes con las variables utili- zadas en la línea de eficiencia en la educación, los cuales se pueden encontrar en la literatura: cantidad de alumnos matriculados (aptos o que presentaron la prueba), cantidad de docentes, equipos electrónicos, así como un índice socioeconómico (categorizados de uno a cuatro, que incluyen distintas carac- terísticas tanto de los estudiantes, en su ambiente individual, como de la ins- titución, en su ambiente colectivo). El cuadro 2 relaciona los inputs tomados, con los autores y año de publicación del artículo. Cuadro 2. Inputs en la literatura de eficiencia educativa Input Autores Año Thieme et al. 2013 Portela et al. 2013 Número de estudiantes Crespo-Cebada et al. 2014 Podinovski et al. 2014 De Witte y López-Torres 2015 Agasisti y Dal Bianco 2006 Agasisti y Pérez-Esparrells 2010 Thieme et al. 2011 Cantidad de docentes que dictan clases a los estudiantes de De Witte y López-Torres 2015 educación media López-Torres y Prior 2016 Cordero et al. 2016 Haelermans y Ruggiero 2017 Tran y Villano 2018 Agasisti 2011 Perelman y Santín 2011 Cantidad de equipos electrónicos (de escritorio, portátiles y Mancebón et al. 2012 tabletas disponibles y en uso) Cordero et al. 2017 Giménez et al. 2019 Giménez et al. 2007 Mancebón y Muñiz 2008 Thieme et al. 2013 Factor de entorno (índice socioeconómico y cultural de los Grosskopf et al. 2014 estudiantes) Agasisti 2014 Giménez et al. 2017 Cordero et al. 2017 Fuente: elaboración propia. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 64 Análisis de eficiencia en educación: una aplicación del método StoNED III. Resultados y discusión A continuación, se presentan y discuten los resultados obtenidos luego del desarrollo metodológico del estudio. En primera instancia, se presentarán los resultados de manera que se pueda evidenciar el contexto científico del plan- teamiento del modelo como herramienta para medir la eficiencia técnica de las instituciones educativas. En segunda instancia, se hace un análisis enfo- cado en el contexto educativo con base en los dos niveles de agregación que se plantearon inicialmente. A. Resultados En concordancia con el método StoNED, se identifica que, en promedio, la verificación de la asimetría está en la dirección correcta; dado que para una función de producción debería ser mayor que cero (Kuosmanen y Kortelainen, 2012). Sin embargo, es preciso aclarar que algunos de estos valores estimados corresponden a cero, lo cual indica que hay situaciones presentes de ineficien- cia en ambos modelos presentados (Afsharian, 2017). En aras de la integridad, teniendo en cuenta que la productividad se estimó utilizando el método StoNED haciendo uso del estimador de momentos apli- cado a los valores calculados por la regresión de CNLS, el ajuste empírico del modelo se puede medir empleando los parámetros convencionales (Kuosma- nen, 2012). Para ello se presentan en el cuadro 3 los parámetros de varianza estimados de los términos de ineficiencia, los términos de ruido, los valores esperados de ineficiencia y los respectivos coeficientes de determinación. De esta manera, haciendo uso de la información que se observa en el cuadro 3, se expone el análisis empírico correspondiente a los modelos desarrollados; considerando que uno trata el escenario con los estudiantes que se presenta- ron a la prueba y el otro con todos los estudiantes matriculados en el colegio y aptos para acudir a la prueba. En promedio, el valor esperado del término de la ineficiencia es menor en el primer escenario; lo cual muestra que la eficiencia esperada para el primer escenario ha de ser mayor que para el segundo. Este resultado podría explicar por qué algunas instituciones hacen una selección previa de los estudiantes que envían a las respectivas pruebas; ya que, de esta forma, podrían mostrar desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 65 una mayor eficiencia de sus procesos educativos (Hofflinger y Von-Hippel, 2020). De manera dual, nótese que, en promedio, el valor esperado de la efi- ciencia de producción es mayor en el primer escenario. Esto concuerda con la implicación en que el primer escenario pueda verse como una ventaja en términos de eficiencia y, por tanto, en términos evaluativos en relación con las instituciones; ya que resultados obtenidos en las pruebas pueden generar beneficios directos para estas. Cuadro 3. Estimaciones de parámetros Escenario Parámetro Estimado m (valor esperado del término de ineficiencia) 0.1601  (varianza del término de error compuesto) 0.1591 Alumnos u (varianza del término de ineficiencia) 0.0007 presentes v (varianza del término de ruido) 0.1584 Valor esperado de la eficiencia de producción 83.99 % R2 (coeficiente de determinación) 0.9963 m (valor esperado del término de ineficiencia) 0.3740  (varianza del término de error compuesto) 0.8421 Alumnos u (varianza del término de ineficiencia) 0.0031 matriculados v (varianza del término de ruido) 0.8391 Valor esperado de la eficiencia de producción 62.60 % R2 (coeficiente de determinación) 0.8773 Fuente: elaboración propia. Por otro lado, la varianza del término del error compuesto está dada por la suma de las varianzas del término de ineficiencia y del término del ruido. En ambos escenarios el comportamiento del término del ruido es mayor y corres- ponde al 99.56 % y al 99.64 %, respectivamente, de la varianza total. Este resultado pone en evidencia la ventaja de los métodos paramétricos sobre los no paramétricos, los cuales al basarse en planteamientos estadísticos permi- ten considerar el ruido aleatorio generado por errores de medición (Lotero y Castellanos, 2008) o por alguna equivocación en el reporte de los datos de las instituciones educativas. Sin embargo, es claro que el segundo escenario evidencia mayor nivel de varianza de ambos términos (de ineficiencia y de ruido), lo cual implica un mayor nivel de varianza total; mostrando una menor volatilidad en el contexto desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 66 Análisis de eficiencia en educación: una aplicación del método StoNED del primer escenario (15.91 %) que en el segundo (84.21 %). Este resultado sustentaría la implicación del castigo realizado en los datos del modelo, al establecer un segundo escenario donde los puntajes totales no corresponden únicamente a los alumnos que acudieron a la prueba. Así, la volatilidad pre- sentada podría implicar que si las pruebas se efectuaran con la totalidad de los estudiantes aptos para poderla presentar, los resultados obtenidos final- mente podrían distar mucho de los resultados obtenidos con los pocos estu- diantes que hicieron realmente la prueba. Dado que el método StoNED se basa en la regresión de mínimos cuadrados, el ajuste empírico del modelo se puede analizar utilizando el método conven- cional del coeficiente de determinación (R2) (Kuosmanen y Johnson, 2010). En este contexto, este coeficiente mide la proporción de la varianza explicada por el modelo, indicando, para este caso de estudio, que los modelos tienen una capacidad explicativa significativa, al explicar más del 99 % en el primer escenario y más del 87 % en el segundo escenario. Además, este resultado indica que en el primer escenario el modelo explica mejor el comportamiento de los datos con relación al segundo escenario; lo cual coincide y corrobora lo analizado en el valor esperado de la eficiencia y en la varianza en términos de eficiencia y ruido. Por último, debido a que cada observación solo se relaciona una vez en los datos de sección transversal (año 2016), las clasificaciones de eficiencia que resultan al analizar los residuos son consistentes. En este sentido, las aplicaciones de la calificación de las instituciones por ineficiencia, en promedio, son a menudo las medidas de interés primario (en particular para la evaluación del año en mención). Estos resultados confirman la bondad que presenta la implemen- tación del método StoNED en la medición de eficiencia y, de manera particu- lar en la educación, dado el caso de estudio que se trata en este documento. Lo anterior, tiene que ver con que las suposiciones poco restrictivas del método StoNED implican un rango más amplio de aplicabilidad, lo que hace que StoNED sea más robusto tanto para la especificación incorrecta del modelo como para el ruido (Kuosmanen y Kuosmanen, 2009; Mekaroonreung y Johnson, 2012). Además, por construcción, la frontera StoNED maximiza el ajuste empírico bajo los axiomas postulados (Kuosmanen et al., 2015), de forma que ninguna otra función de productividad que satisface la disponibilidad libre, la convexidad, desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 67 la heterocedasticidad y los rendimientos constantes puede lograr una esta- dística R2 más alta. B. Discusión Una vez validados los resultados obtenidos, presentados y analizados, se plan- tea ahora un enfoque en relación con el primer nivel de agregación que se tuvo en cuenta en este estudio, la eficiencia con respecto a las instituciones educativas. Desde este punto de vista, se puede establecer que el 58.50 % de estas instituciones educativas presenta coeficientes de eficiencia técnica de la productividad educativa. Es decir, un poco más de la mitad de las instituciones evaluadas parecen demostrar una mejor gestión de los recursos, en términos absolutos, al identificar que están obteniendo el máximo rendimiento de los recursos asignados a sus planteles educativos. De estas instituciones educativas, tan solo el 2.80 % son de naturaleza ofi- cial y el 3.25 % corresponden a centros educativos localizados en zona rural. Esto muestra que la mayoría de las instituciones que parecen presentar efi- ciencia se encuentran en la zona urbana y son de naturaleza no oficial. Este resultado es bastante inquietante, cuando se tiene en cuenta que el 63.33 % de las instituciones evaluadas en este estudio son de naturaleza oficial y que el 29.41 % se ubican en la zona rural de Colombia. Esto indica que puede no ser correspondiente la relación de las instituciones con los lineamientos dados desde las secretarías de educación gubernamentales de cada departamento; puesto que, si la mayoría de las instituciones de naturaleza oficial presentan ineficiencia, las directrices enviadas desde las secretarías de educación no están siendo las adecuadas o no están cumpliendo con el propósito trazado de eficiencia en las instituciones. Lo anterior puede darse en principio por dos razones. La primera es que las directrices dadas por medio de políticas educativas de forma general a todo un departamento pueden no tener en cuenta los contextos individuales de las instituciones educativas, tanto en relación con la diferencia de ser oficial y no oficial, como con la diferencia de la ubicación de la institución, en cuanto a ser urbana o rural; más aún, cuando estudios previos destacan la importancia de esta diferenciación sobre el desempeño de los estudiantes (MEN, 2014; OCDE, 2016). La segunda razón puede estar relacionada con las diferentes implemen- taciones que buscan dar beneficios a las instituciones educativas que muestren desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 68 Análisis de eficiencia en educación: una aplicación del método StoNED bondades en sus procesos de productividad educativa, aunque este resultado no sea necesariamente el correcto. Una forma de establecer dichos resultados pueden ser los componentes de la medición de los índices del Icfes, como lo es la promoción de estudiantes, la graduación de estudiantes (o en el mismo sentido, la deserción) o las valoraciones de pruebas estandarizadas; las cuales, como es el caso de la última, podrían no garantizar los propósitos estableci- dos para las instituciones educativas y, por ende, para los alumnos de estas. Ahora, al hacer un análisis de los resultados obtenidos teniendo en cuenta el segundo nivel de agregación, es decir por departamentos, cabe resaltar que los departamentos que tienen mayor porcentaje de instituciones que parecen presentar eficiencia son Bogotá, Antioquia y Caldas. Así mismo, tal como se puede evidenciar en el cuadro 4, los departamentos que tienen menor por- centaje de instituciones que presentan eficiencia son San Andrés, Guaviare, Vaupés, Vichada y Guainía. Estos resultados demuestran la centralización exis- tente en cuanto a desarrollo y gestión de recursos, ya que los dos departamen- tos que revelan mayor eficiencia son los departamentos más sobresalientes de Colombia, en muchos aspectos (no solo en lo educativo); más aún cuando se comparan con el tercer departamento del cuadro, en adelante. Cuadro 4. Porcentajes de instituciones por departamento Porcentaje de Porcentaje de Porcentaje de instituciones con Instituciones instituciones instituciones con eficiencia total Departamento evaluadas por evaluadas por eficiencia por por departa- departamento departamento departamento mento (%) (%) (%) Bogotá 1162 12.61 4.65 8.90 Antioquia 1012 10.99 4.81 8.02 Caldas 211 2.29 13.14 4.57 Valle del Cauca 798 8.66 2.98 3.91 Santander 490 5.32 4.68 3.78 Atlántico 491 5.33 4.56 3.69 Cundinamarca 710 7.71 2.94 3.44 Boyacá 334 3.63 5.03 2.77 Cauca 403 4.37 3.97 2.63 Bolívar 413 4.48 3.69 2.51 (Continúa) desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 69 Porcentaje de Porcentaje de Porcentaje de instituciones con Instituciones instituciones instituciones con eficiencia total Departamento evaluadas por evaluadas por eficiencia por por departa- departamento departamento departamento mento (%) (%) (%) Magdalena 275 2.99 4.02 1.82 Nariño 323 3.51 3.27 1.74 Tolima 308 3.34 3.10 1.57 Norte de Santander 264 2.87 3.20 1.39 Risaralda 156 1.69 5.06 1.30 Córdoba 354 3.84 2.23 1.30 Huila 233 2.53 2.68 1.03 Meta 183 1.99 2.62 0.79 Cesar 197 2.14 2.07 0.67 Sucre 191 2.07 1.99 0.63 Quindío 90 0.98 3.08 0.46 Caquetá 95 1.03 2.20 0.34 La Guajira 121 1.31 1.66 0.33 Casanare 80 0.87 1.98 0.26 Putumayo 84 0.91 1.63 0.23 Chocó 96 1.04 1.28 0.20 Arauca 51 0.55 0.78 0.07 Amazonas 17 0.18 1.64 0.05 San Andrés 12 0.13 1.98 0.04 Guaviare 25 0.27 0.78 0.03 Vaupés 14 0.15 0.76 0.02 Vichada 12 0.13 0.74 0.01 Guainía 7 0.08 0.78 0.01 Fuente: elaboración propia. Otro indicador de la centralización y margen imparcial que se evidencia (Tsai et al., 2017) es que, sin contar los dos departamentos con mayor eficiencia, solo nueve departamentos (27.27 %) están por encima del promedio del porcen- taje de instituciones que presentan eficiencia por departamento (1.77 %). Esto quiere decir que veintidós departamentos se encuentran en el caso contrario (por debajo del promedio) con una diferencia entre ellos de 1.73 puntos por- centuales; mostrando que la diferencia en estos departamentos es compacta, desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 70 Análisis de eficiencia en educación: una aplicación del método StoNED en comparación con los departamentos que están por encima del promedio que se comportan de una manera mucho más dispersa, con una diferencia de 7.08 puntos porcentuales. Este resultado, de alguna manera, puede ser espe- rado; ya que en la mayoría de los países de Latinoamérica existe una gran cen- tralización en diversos aspectos, tales como economía, desarrollo, inversión y educación (OCDE, 2016; OCDE/Unesco, 2016). En cuanto a la gestión de las secretarías departamentales se conoce que el direccionamiento de estas desempeña un papel importante en el desarrollo y, por tanto, son relevantes en la eficiencia de las instituciones educativas (MEN, 2014). Lo anterior se puede evidenciar al estudiar los planes de desarrollo de gobierno de los departamentos de Bogotá (“Bogotá mejor para todos” 2016- 201911) y Antioquia (“Pensando en grande” 2016-201912), los cuales eviden- cian una correspondencia con los resultados obtenidos. En estos planes trazan directrices en cuanto a garantías de apoyo a los procesos formativos de los estudiantes, cobertura y articulación en la calidad de los ciclos lectivos de las instituciones, garantías de fortalecimiento y capacitación de docentes y fun- cionarios, infraestructura, oportunidades de dotación y modernización para el aprendizaje desde enfoques diferenciales de tecnología y afines, bienestar estudiantil y gestión educativa institucional, entre otros tópicos. Esto no significa que departamentos como Vichada y Guainía no tengan pla- nes estructurados desde sus secretarías de gobierno (“Construyamos Vichada” 2016-201913 y “Vamos pa’lante Guainía” 2016-201914), pero los resultados muestran que la ejecución de dichos planes o su desarrollo no fue igual de relevante en ambos casos. Esto puede implicar una marcada diferencia en la gestión de las directrices y planes establecidos desde los estamentos de gobierno departamental; puesto que, aunque se tiene una estrategia trazada 11 Puede leerse en https://www.sdp.gov.co/gestion-a-la-inversion/planes-de-desarrollo-y-fortalecimiento- local/planes-de-desarrollo-local/bogota-mejor-todos 12 Puede leerse en https://assets.ctfassets.net/27p7ivvbl4bs/48rFp5w6w0cM80Qqgmwok2/5cf7cd82d22 fb7c05fd4b04f4ff5db36/05_Antioquia_PDT_2016-2019.pdf 13 Puede leerse en https://vichada.micolombiadigital.gov.co/sites/vichada/content/files/000168/8369_pdd- vichada--final.pdf 14 Puede leerse en https://guainia.micolombiadigital.gov.co/sites/guainia/content/files/000002/63_plan- dedesarrollovamospalanteguainia20162019ok.pdf desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 71 no se logra llevar a cabo o, por lo menos, no se logra obtener los resultados que se buscaban con ella. Además, ante el hecho de que solo se evaluó el año 2016 (año de inicio de los gobiernos departamentales) se debe precisar que el efecto que pudo llegar a notarse en los resultados obtenidos no necesariamente es fruto de las secre- tarías departamentales de ese momento, que fueron las evaluadas. Esto tiene que ver con dos aspectos. Un primer aspecto es el importante rol que ejerce el empalme entre la administración saliente y la gestión ejecutada por esta; ya que, tras dicho empalme no se alcanza a ver reflejada completamente la implementación de la estrategia de la nueva administración, sino que alcanza a haber algún residuo de las estrategias planteadas por la administración anterior. El segundo aspecto es el hecho de que los resultados arrojaron que la mayoría de las instituciones que presentaron eficiencia no fueron de naturaleza oficial. Lo que puede indicar una connotación particular del desarrollo de las institu- ciones educativas independiente del direccionamiento de las secretarías; es decir, un comportamiento puntual de las instituciones no oficiales, gracias a la autonomía y libertad de cátedra de las que pueden gozar. Sin embargo, este es un resultado importante, como un claro punto de partida para la continua- ción de la evaluación en el resto del periodo administrativo, logrando visuali- zar una posible relación entre las directrices de las secretarías de educación y los resultados de la eficiencia en las instituciones educativas. IV. Conclusiones, limitaciones y líneas futuras A. Conclusiones El método StoNED es un método estable y consistente con el desarrollo de la medición de eficiencia en instituciones educativas bajo las condiciones des- critas en este documento. Este método permite que el ruido estocástico se modele de manera probabilística, la heterogeneidad de las instituciones y sus entornos operativos sean tenidos en cuenta y puedan aplicarse pruebas esta- dísticas convencionales y acordes con la literatura. Además, es de destacar que este estimador de frontera cierra la brecha existente entre métodos paramé- tricos (como el SFA) y no paramétricos (como el DEA), perfilándose como un método más adecuado para la medición de eficiencia; y, más aún, al tener en desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 72 Análisis de eficiencia en educación: una aplicación del método StoNED cuenta que este estimador es insesgado y estadísticamente consistente bajo supuestos más generales que los requeridos por otros métodos, presenta bon- dades que por lo general son vistas como dificultades al trabajar con otros métodos. De esta manera, con la utilización del método StoNED en este estu- dio se contribuye a la apertura de un nuevo camino en las investigaciones de la medición de eficiencia técnica, especialmente en la línea de educación, puesto que permite entrar a comparar resultados obtenidos con otros méto- dos utilizados en la medición de eficiencia. Se encuentra que hay una ligera ventaja en la cantidad de instituciones que reportan una eficiencia técnica con respecto a la cantidad de instituciones que no la presentan, en ambos escenarios. Sin embargo, según la teoría desarro- llada en el marco de este estudio no es errado esperar un resultado semejante, a causa de que la forma en que se implementan las evaluaciones del sistema educativo de las instituciones está enfocada en la calidad y no en la eficien- cia; por lo que se puede estar presentando una situación en la que las insti- tuciones busquen cumplir, aunque dicho cumplimiento no sea el óptimo. Por tanto, al considerar que se realizó una medición orientada al output, se está identificando que la optimización de recursos por parte de las instituciones educativas no está siendo la adecuada, y aunque es posible que los recursos con los que cuenten estas instituciones no sean los mejores, se está eviden- ciando que se podría hacer un mejor uso de estos. En más detalle, se logra establecer que la mayoría de las instituciones educa- tivas que no presentan eficiencia técnica son aquellas de naturaleza oficial. Este resultado permite llegar a una conclusión con dos enfoques. Un primer enfoque es el sinsabor que deja el análisis de la gestión de las secretarías de educación de cada departamento del país, ya que es en las entidades de esta naturaleza que más se debería notar el impacto que generan las directrices dadas por dichas secretarías, al tener una implicación directa del ente guber- namental. El segundo enfoque implica que, dado que la mayoría de las institu- ciones que presentaron eficiencia eran de naturaleza no oficial, pueden existir factores de gestión interna responsables de la eficiencia que se presenta en las instituciones; lo cual complementa la anterior aseveración, dando lugar a que aquellas instituciones que presentan mayor eficiencia la presentan por- que se están dando directrices de manera particular, ajenas a las dictadas por las secretarías departamentales. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 73 De manera semejante, se establece que la mayoría de las instituciones educa- tivas que no reportan eficiencia técnica son aquellas ubicadas en zona rural. Este hallazgo es muy sensible y de mucha importancia, puesto que muestra la falta de gestión no solo de las directivas de las instituciones y de las secre- tarías de educación departamental sino también del Ministerio de Educación como máximo organismo de educación en Colombia y como ejecutor de las directrices, en el ámbito educativo, de los planes de desarrollo establecidos que buscan cobertura y fortalecimiento en las áreas rurales del país. Sin embargo, esto no exime la responsabilidad directa de las secretarías y directivas, puesto que el objetivo trazado es optimizar los recursos con los que se cuentan; que, haciendo hincapié, si bien no han de ser los mejores recursos posibles, por condiciones socioeconómicas del país en estas regiones, podría conseguirse un mejor resultado con ellos. Por otro lado, la decisión de algunas instituciones de solo enviar a algunos estudiantes a la prueba, en lugar de a todos los estudiantes matriculados y aptos para hacer la prueba, puede verse como una ventaja que se busca tener en cuanto a la evaluación de la institución a realizar. Esto se puede inferir, ya que al hacer el análisis en este escenario se puede visualizar que los índi- ces de eficiencia que arrojan las instituciones que tienen dicha práctica son mejores en comparación con las otras instituciones que no acostumbran este proceder. Este es un resultado de gran cuidado, más aún si se considera que en el planteamiento de la metodología que se siguió en este estudio se buscó penalizar esta práctica y, aun así, los resultados arrojaron una diferencia sig- nificativa en los índices de eficiencia entre ambos tipos de instituciones en este escenario. Lo cual da muestra de la prelación que llevarían estas insti- tuciones en términos comparativos y, por tanto, una posible explicación del porqué se realiza esta práctica; más si se piensa en la evaluación enfocada en la calidad y no en la eficiencia. Por último, desde una perspectiva más general, con este estudio se abre camino en la investigación sobre la posibilidad de analizar el impacto que pueden gene- rar los direccionamientos dados por parte de las secretarías de educación y la relación de la gestión de estas con la eficiencia técnica que pueden presentar las instituciones educativas de los diferentes departamentos. Este documento constituye un primer paso en el desarrollo de políticas de educación estable- cidas con base en tres aspectos. Uno, en cuanto a la forma de hacer la eva- luación de las instituciones, para no solo plantear una medición que defina desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 74 Análisis de eficiencia en educación: una aplicación del método StoNED la calidad o eficacia de la institución, sino que se pueda complementar dicha evaluación con la medición de la eficiencia que presentan las instituciones; de cara a volverlas más competitivas y a conseguir desarrollar un mejor uso de los recursos dados para la educación. Dos, en cuanto al cumplimiento de los obje- tivos del MEN en relación con las instituciones educativas; lo cual implicaría dar seguimiento a las directrices dadas por el MEN para ser implementadas en las instituciones, logrando la cobertura de educación de naturaleza oficial en zonas rurales y llevando la educación a un nivel de competitividad adecuado, consiguiendo homogeneizar la educación en Colombia. Tres, en cuanto a con- servar aquellos factores de acción identificados como buenas prácticas, ya sea por parte de la gestión de las secretarías departamentales como por parte de las directivas, que permitieron alcanzar la eficiencia en ciertas instituciones; esto con el ánimo de seguir manteniendo la eficiencia obtenida en estas ins- tituciones, así como de implementar dichas prácticas en las instituciones que continúen presentando una ineficiencia técnica, de cara a incrementar cada periodo la cantidad de centros educativos que presente eficiencia en su gestión. B. Limitaciones Como en muchas investigaciones empíricas, uno de los limitantes más fuertes que se tiene es la base de datos con que se trabaja. En este caso, aunque se trabajó con las bases de datos otorgadas por las autoridades nacionales en el tema (Icfes y Dane), puede llegar a darse que los datos registrados por parte de las instituciones o de las autoridades locales no hayan sido los correctos o que haya habido algún tipo de error en su digitalización. Por otro lado, dado que este estudio efectúa un análisis teniendo como variable, para la unidad de medida, a los estudiantes de las instituciones educativas por medio de los puntajes obtenidos por estos en las pruebas en mención, puede existir un sesgo dado por el comportamiento de ciertas instituciones al no presentar a todos sus estudiantes a la realización de la prueba con el fin de inflar las estima- ciones; sin embargo, en este caso, esto se puede evidenciar y contrarrestar al plantear los dos escenarios al momento de ejecutar el método. C. Líneas futuras A partir de este estudio se deja abierta la posibilidad de dar continuidad a lo planteado en este documento para el año 2019, dado que es el último año desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 75 del periodo; formalizando un estudio final donde se analice el cambio en la eficiencia a través del tiempo, desde el 2016 al 2019, que sería completo el periodo de administración local. Así mismo, implementar un estudio donde se utilice una variable z adicional (quizá como bad output) para controlar mejor la heterogeneidad de las instituciones y sus entornos operativos. Agradecimientos A la Institución Universitaria Antonio José Camacho que, como institución a la que pertenezco, ha apoyado y permitido continuar en las investigaciones de estos estudios. Así mismo, a la Pontificia Universidad Javeriana Cali y a la Universidad Autónoma de Barcelona, centros educativos que han dado direc- ción para el desarrollo de la investigación. El presente artículo fue producto del trabajo de investigación realizado con la supervisión de los investigadores Víctor Giménez y Diego Prior, a quienes extiendo mis sinceros agradecimientos por su paciencia, apoyo y colabora- ción en todo el proceso. De igual manera, a los profesores Manoj Bayan, Claudio Thieme y Geovanny Castro, quienes con sus aportes y comentarios permitieron mejorar y robus- tecer el texto. Por último, pero no menos importante, a los revisores anónimos y comité edi- torial de esta revista, que con sus observaciones dieron la directriz para llevar el documento a artículo publicable en esta revista. Referencias 1. Afsharian, M. (2017). Metafrontier efficiency analysis with convex and non-convex metatechnologies by stochastic nonparametric envelopment of data. Economics Letters, 160(1), 1-3. 2. Agasisti, T. (2011). How competition affects schools’ performances: does specification matter? Economics Letters, 110(3), 259-261. 3. Agasisti, T. (2014). The efficiency of public spending on education: an empirical comparison of EU countries. European Journal of Education, 49(4), 543-557. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 76 Análisis de eficiencia en educación: una aplicación del método StoNED 4. Agasisti, T., & Dal Bianco, A. (2006). Data envelopment analysis to the Italian university system: theoretical issues and policy implications. International Journal of Business Performance Management, 8(4), 344-367. 5. Agasisti, T., & Pérez-Esparrells, C. (2010). Comparing efficiency in a cross- country perspective: the case of Italian and Spanish state universities. Higher Education, 59(1), 85-103. 6. Agasisti, T., Egorov, A., Zinchenko, D., & Leshukov, O. (2020). Efficiency of regional higher education systems and regional economic short-run growth: empirical evidence from Russia. Industry and Innovation, 28(4), 507-534. 7. Aigner, D., Lovell, C., & Schmidt, P. (1977). Formulation and estimation of stochastic frontier production function models. Journal of Econo- metrics, 6(1), 21-37. 8. Álvarez, N. L., Callejas, Z., Griol, D., & Benejam, M. D. (2017). La deser- ción estudiantil en educación superior: SOS en carreras de ingeniería informática. Congresos CLABES. https://revistas.utp.ac.pa/index.php/ clabes/article/view/1674 9. Andor, M., & Hesse, F. (2014). The StoNED age: the departure into a new era of efficiency analysis? A Monte Carlo comparison of StoNED and the “oldies” (SFA and DEA). Journal of Productivity Analysis, 41(1), 85-109. 10. Andrejević-Panić, A., & Lozanov-Crvenković, Z. (2019). Analysis of higher education indicators coherency in central and eastern Europe. Business Systems Research Journal, 10(2), 6-17. 11. Ayala, J., Marrugo, S., & Saray, B. (2011). Antecedentes familiares y rendimiento académico en los colegios oficiales de Cartagena. Economía y Región, 5(2), 43-85. 12. Banker, R. D., Charnes, A., & Cooper, W. W. (1984). Some models for esti- mating technical and scale inefficiencies in data envelopment analysis. Management Science, 30(9), 1078-1092. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 77 13. Barrow, M. H. (1991). Measuring local education authority performance: a frontier approach. Economics of Education Review, 10(1), 19-27. Baskaran, A. (2017). UNESCO science report: towards 2030. Institutions and Economies, 8(1), 125-127. 14. Bates, J. M. (1997). Measuring predetermined socioeconomic “inputs” when assessing the efficiency of educational outputs. Applied Econo- mics, 29(1), 85-93. 15. Beasley, J. E. (1995). Determining teaching and research efficiencies. Journal of the Operational Research Society, 46(4), 441-452. 16. Becerril-Torres, O. U., Álvarez-Ayuso, I. C., & Nava-Rogel, R. M. (2012). Frontera tecnológica y eficiencia técnica de la educación superior en México. Revista Mexicana de Investigación Educativa, 17(54), 793-816. 17. Bessent, A., & Bessent, W. (1980). Determining the comparative effi- ciency of schools through data envelopment analysis. Educational Administration Quarterly, 16(2), 57-75. 18. Brzezicki, Ł., Pietrzak, P., & Cieciora, M. (2020). The total efficiency of teaching activity of polish higher education institutions. Foundations of Management, 12(1), 19-30. 19. Cabrera, A. F., Nora, A., & Castaneda, M. B. (1993). Structural equations modeling test of an integrated model of student retention. Journal of Higher Education, 64(2), 123-139. 20. Caiazza, S., Pozzolo, A. F., & Trovato, G. (2016). Bank efficiency measures, M&A decision and heterogeneity. Journal of Productivity Analysis, 46(1), 25-41. 21. Canales, A., & De los Ríos, D. (2007). Factores explicativos de la deserción universitaria. Calidad en la Educación, 26(1), 173-201. 22. Cárcamo, C., & Mola, J. (2012). Diferencias por sexo en el desempeño académico en Colombia: un análisis regional. Economía y Región, 6(1), 133-169. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 78 Análisis de eficiencia en educación: una aplicación del método StoNED 23. Castro, G., Giménez, G., & Pérez, D. (2017). Educational inequalities in Latin America, 2012 PISA: causes of differences in school performance between public and private schools. Revista de Educación, 376(1), 33-61. 24. Castro, G., Giménez, G., & Pérez, D. (2018). Estimación de los factores condicionantes de la adquisición de competencias académicas en América Latina en presencia de endogeneidad. Revista CEPAL, 124(1), 35-59. 25. Chakraborty, K., & Harper, R. K. (2017). Measuring the impact of socio- economic factors on school efficiency in Australia. Atlantic Economic Journal, 45(2), 163-179. 26. Chaovanapoonphol, Y., & Somyana, W. (2018). Production efficiency of maize farmers under contract farming in Laos PDR. Kasetsart Journal of Social Sciences, 41(1), 104-109. 27. Charnes, A., Cooper, W., & Rhodes, E. (1978). Measuring the efficiency of decision-making units. European Journal of Operational Research, 2(6), 429-444. 28. Charnes, A., Cooper, W., & Rhodes, E. (1981). Evaluating program and managerial efficiency: an application of data envelopment analysis to program follows through. Management Science, 27(6), 668-697. 29. Charnes, A., Cooper, W., Lewin, A. Y., & Seiford, L. M. (1997). Data enve- lopment analysis theory, methodology and applications. Journal of the Operational Research Society, 48(3), 332-333. 30. Cheng, X., Bjørndal, E., & Bjørndal, M. (2014). Cost efficiency analysis based on the DEA and StoNED models: case of Norwegian electricity distribution companies. 11th International Conference on the European Energy Market (EEM14), 1-6. 31. Cooper, W. W., Seiford, L. M., & Tone, K. (2006). Introduction to data envelopment analysis and its uses: with DEA-solver software and refe- rences. Springer Science+Business Media. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 79 32. Cordero, J. M., Prior, D., & Simancas, R. (2016). A comparison of public and private schools in Spain using robust nonparametric frontier methods. Central European Journal of Operations Research, 24(3), 659-680. 33. Cordero, J. M., Santín, D., & Simancas, R. (2017). Assessing European primary school performance through a conditional nonparametric model. Journal of the Operational Research Society, 68(4), 364-376. 34. Crespo-Cebada, E., Pedraja-Chaparro, F., & Santín, D. (2014). Does school ownership matter? An unbiased efficiency comparison for regions of Spain. Journal of Productivity Analysis, 41(1), 153-172. 35. Cubbin, J., & Zamani, H. (1996). A comparison of performance indica- tors for training and enterprise councils in the UK. Annals of Public and Cooperative Economics, 67(4), 603-632. 36. Dai, X., & Kuosmanen, T. (2014). Best-practice benchmarking using clustering methods: application to energy regulation. Omega, 42(1), 179-188. 37. De Witte, K., & López-Torres, L. (2015). Efficiency in education: a review of literature and a way forward. Journal of the Operational Research Society, 68(4), 339-363. 38. De Witte, K., & Rogge, N. (2011). Accounting for exogenous influences in performance evaluations of teachers. Economics of Education Review, 30(4), 641-653. 39. Departamento Administrativo Nacional de Estadística. (s.f.). Archivo Nacional de Datos. http://microdatos.dane.gov.co/index.php/catalog/ MICRODATOS/about_collection/25/2 40. Deller, S. C., & Rudnicki, E. R. (1993) Production efficiency in elementary education: the case of Maine public schools. Economics of Education Review, 12(1), 45-57. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 80 Análisis de eficiencia en educación: una aplicación del método StoNED 41. Dong, Y., Hamilton, R., & Tippett, M. (2014). Cost efficiency of the Chinese banking sector: a comparison of stochastic frontier analysis and data envelopment analysis. Economic Modelling, 36, 298-308. 42. Du Plessis, A. (2020). The emergence of decentralized centralism in the South African education governance system. Journal of Southern African Studies, 46(1), 165-183. 43. Eskelinen, J., & Kuosmanen, T. (2013). Intertemporal efficiency analysis of sales teams of a bank: stochastic semi-nonparametric approach. Journal of Banking & Finance, 37(12), 5163-5175. 44. Fan, Y., Li, Q., & Weersink, A. (1996). Semiparametric estimation of stochastic production frontier models. Journal of Business & Economic Statistics, 14(4), 460-468. 45. Färe, R., Grosskopf, S., Norris, M., & Zhang, Z. (1994). Productivity growth, technical progress, and efficiency change in industrialized countries. The American Economic Review, 84(1), 66-83. 46. Fertig, M., & Wright, R. E. (2005). School quality, educational attainment and aggregation bias. Economics Letters, 88(1), 109-114. 47. Gallegos, J. A., Campos, N. A., Canales, K. A., & González, E. N. (2018). Factores determinantes en la deserción universitaria: caso Facultad de Ciencias Económicas y Administrativas de la Universidad Católica de la Santísima Concepción (Chile). Formación Universitaria, 11(3), 11-18. 48. Ganley, J. A., & Cubbin, J. S. (1992). Public Sector Efficiency Measurement: Applications of Data Envelopment Analysis. Elsevier. 49. García-Robelo, O., Cáceres-Mesa, M. L., Veytia-Bucheli, M. G., Cisneros- Herrera, J., & León-González, J. L. (2020). Uso de un objeto virtual del aprendizaje para desarrollar competencias de investigación en educación superior. MediSur, 18(2), 154-160. 50. Giménez, V., Prior, D., & Thieme, C. (2007). Technical efficiency, mana- gerial efficiency and objective-setting in the educational system: an desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 81 international comparison. The Journal of the Operational Research Society, 58(8), 996-1007. 51. Giménez, V., Thieme, C., Prior, D., & Tortosa-Ausina, E. (2017). An inter- national comparison of educational systems: a temporal analysis in presence of bad outputs. Journal of Productivity Analysis, 47(1), 83-101. 52. Giménez, V., Thieme, C., Prior, D., & Tortosa-Ausina, E. (2019). Comparing the performance of national educational systems: inequality versus achievement? Social Indicators Research, 141(2), 581-609. 53. Gómez-Silva, C. A. (2016). Schools’ classification according ICFES Saber 11 tests: an analysis using marginal models (MM). Sociedad y Economía, 30, 69-89. 54. Greco, S., Ishizaka, A., Tasiou, M., & Torrisi, G. (2018). On the methodo- logical framework of composite indices: a review of the Issues of weighting, aggregation, and aboutness. Social Indicators Research, 141(61), 1-34. 55. Greene, W. H. (2008). The econometric approach to efficiency analysis. The Measurement of Productive Efficiency and Productivity Growth, 1(1), 92-250. 56. Grosskopf, S., Hayes, K., & Taylor, L. L. (2014). Efficiency in education: research and implications. Applied Economic Perspectives and Policy, 36(2), 175-210. 57. Haelermans, C., & Ruggiero, J. (2017). Non-parametric estimation of the cost of adequacy in education: the case of Dutch schools. Journal of the Operational Research Society, 68(4), 390-398. 58. Haksever, C., & Muragishi, Y. (1998). Measuring value in MBA programs. Education Economics, 6, 11-26. 59. Hanushek, E. A. (1979). Conceptual and empirical issues in the estima- tion of educational production functions. Journal of Human Resources, 14(3), 351-388. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 82 Análisis de eficiencia en educación: una aplicación del método StoNED 60. Hanushek, E. A. (1997). Assessing the effects of school resources on student performance: an update. Educational Evaluation and Policy Analysis, 19(2), 141-164. 61. Hanushek, E. A. (2002). Publicly provided education. Handbook of Public Economics, 4(2), 2045-2141. 62. Hanushek, E. A., & Luque, J. A. (2003). Efficiency and equity in schools around the world. Economics of Education Review, 22(5), 481-502. 63. Haug, A. A., & Blackburn, V. C. (2017). Government secondary school finances in New South Wales: accounting for students’ prior achieve- ments in a two-stage DEA at the school level. Journal of Productivity Analysis, 48(1), 69-83. 64. Herrero, E. T., Cervero, A., Esteban, M., & Bernardo, A. (2018). ¿Por qué abandonan los alumnos universitarios? Variables de influencia en el planteamiento y consolidación del abandono. Educación XXI, 21(2), 131-154. 65. Hofflinger, A., & Von-Hippel, P. T. (2020). Does achievement rise fastest with school choice, school resources, or family resources? Chile from 2002 to 2013. Sociology of Education, 93(2), 132-152. 66. Ibáñez-Martín, M. M., Morresi, S. S., & Delbianco, F. (2017). Una medi- ción de la eficiencia interna en una universidad argentina usando el método de fronteras estocásticas. Revista de la Educación Superior, 46(183), 47-62. 67. Instituto Colombiano para el Fomento de la Educación Superior. (21 de septiembre del 2022). Base de datos Saber 11. https://datos.gov.co/brow se?category=Educación&q=ICFES 68. Iregui, A. M., Melo, L., & Ramos, J. (2007). Análisis de eficiencia de la educación en Colombia. Revista de Economía del Rosario, 10(1), 21-41. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 83 69. Johnes, G., & Virmani, S. (2019). The efficiency of private and public schools in urban and rural areas: moving beyond the development goals. International Transactions in Operational Research, 27(4), 1869-1885. 70. Johnes, J. (2014). Efficiency and mergers in English higher education 1996/7 to 2008/9: parametric and non‐parametric estimation of the multi‐input multi‐output distance function. The Manchester School, 82(4), 465-487. 71. Johnson, A. L., & Kuosmanen, T. (2011). One-stage estimation of the effects of operational conditions and practices on productive perfor- mance: asymptotically normal and efficient, root-n consistent StoNEZD method. Journal of Productivity Analysis, 36(2), 219-230. 72. Johnson, A. L., & Ruggiero, J. (2014). Nonparametric measurement of productivity and efficiency in education. Annals of Operations Research, 221(1), 197-210. 73. King, K. (2019). Education, digital literacy and democracy: the case of Britain’s proposed “exit” from the European Union (Brexit). Asia Pacific Education Review, 20(2), 285-294. 74. Koçak, D., Türe, H., & Atan, M. (2019). Efficiency measurement with network DEA: an application to sustainable development goals 4. International Journal of Assessment Tools in Education, 6(3), 415-435. 75. Kovernuk, N. (2016). Efficiency financial resources in vocational educa- tion. Baltic Journal of Economic Studies, 2(4), 53-58. 76. Kumar, A., & Thakur, R. R. (2019). Objectivity in performance ranking of higher education institutions using dynamic data envelopment analysis. International Journal of Productivity and Performance Management, 68(4), 774-796. 77. Kuosmanen, T. (2012). Stochastic semi-nonparametric frontier esti- mation of electricity distribution networks: application of the StoNED method in the Finnish regulatory model. Energy Economics, 34(6), 2189-2199. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 84 Análisis de eficiencia en educación: una aplicación del método StoNED 78. Kuosmanen, T., & Johnson, A. L. (2010). Data envelopment analysis as nonparametric least-squares regression. Operations Research, 58(1), 149-160. 79. Kuosmanen, T., & Johnson, A. L. (2017). Modeling joint production of multiple outputs in StoNED: directional distance function approach. European Journal of Operational Research, 262(2), 792-801. 80. Kuosmanen, T., & Kortelainen, M. (2012). Stochastic non-smooth enve- lopment of data: semi-parametric frontier estimation subject to shape constraints. Journal of Productivity Analysis, 38(1), 11-28. 81. Kuosmanen, T., & Kuosmanen, N. (2009). Role of benchmark techno- logy in sustainable value analysis: an application to finish dairy farms. Agricultural and Food Science, 18(1), 302-316. 82. Kuosmanen, T., Johnson, A., & Saastamoinen, A. (2015). Stochastic nonparametric approach to efficiency analysis: a unified framework. Data Envelopment Analysis. International Series in Operations Research & Management Science, 221(1), 191-244. 83. Kuosmanen, T., Saastamoinen, A., & Sipiläinen, T. (2013). What is the best practice for benchmark regulation of electricity distribution? Comparison of DEA, SFA and StoNED methods. Energy Policy, 61(1), 740-750. 84. Li, H. Z., Kopsakangas-Savolainen, M., Xiao, X. Z., Tian, Z. Z., Yang, X. Y., & Wang, J. L. (2016). Cost efficiency of electric grid utilities in China: a comparison of estimates from SFA-MLE, SFA-Bayes and StoNED-CNLS. Energy Economics, 55(1), 272-283. 85. Liu, F., & Xu, H. (2017). Effects of educational efficiency on national competitiveness based on cross-national data. Education Sciences, 7(4), 81-92. 86. López-Torres, L., & Prior, D. (2016). Centralized allocation of human resources. An application to public schools. Computers & Operations Research, 73, 104-114. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 85 87. Lotero, R., & Castellanos, P. (2008). La eficiencia económica: una apro- ximación teórica. Cuadernos Latinoamericanos de Administración, 4(7), 19-28. 88. Louca, C. N., & Demosthenous, A. (2015). Education and sustainable economic growth: a theoretical approach of measuring efficiency in education. International Journal of Sustainable Agricultural Manage- ment and Informatics, 1(3), 235-246. 89. Lovell, C. K. (2003). The decomposition of Malmquist productivity indexes. Journal of Productivity Analysis, 20(1), 437-458. 90. Lovell, C. K., Grosskopf, S., Ley, E., Pastor, J. T., Prior, D., & Eeckaut, P. V. (1994). Linear programming approaches to the measurement and analysis of productive efficiency. Top, 2(2), 175-248. 91. Mancebón, M., & Muñiz, M. A. (2008). Private versus public high schools in Spain: disentangling managerial and program efficiencies. The Journal of the Operational Research Society, 59(7), 892-901. 92. Mancebón, M. J., Calero, J., Choi, Á., & Ximénez-de-Embún, D. P. (2012). The efficiency of public and publicly subsidized high schools in Spain: evidence from PISA-2006. Journal of the Operational Research Society, 63(11), 1516-1533. 93. Manski, C. F. (2000). Economic analysis of social interactions. Journal of Economic Perspectives, 14(3), 115-136. 94. Mazurek, J., & Mielcová, E. (2019). On the relationship between selected- socio-economic indicators and student performances in the PISA 2015 study. Economy and Management, 22(2), 22-39. 95. Mekaroonreung, M., & Johnson, A. L. (2012). Estimating the shadow prices of SO2 and NOx for US coal power plants: a convex nonparametric least squares approach. Energy Economics, 34(3), 723-732. 96. Melo-Becerra, L. A., & Espinosa-Rodríguez, N. J. (2005). Ineficiencia en la distribución de energía eléctrica: una aplicación de las funciones de desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 86 Análisis de eficiencia en educación: una aplicación del método StoNED distancia estocástica. Revista Ensayos sobre Política Económica, 23(49), 88-132. 97. Melo-Becerra, L. A., Ramos-Forero, J. E., & Hernández-Santamaría, P. O. (2017). La educación superior en Colombia: situación actual y análisis de eficiencia. Revista Desarrollo y Sociedad, 78, 59-111. 98. Ministerio de Educación Nacional. (2014). Sistema nacional de indi- cadores educativos para los niveles de preescolar, básica y media en Colombia. https://www.mineducacion.gov.co/1621/articles-329021_ archivo_pdf_indicadores_educativos_enero_2014.pdf 99. Miranda, J. C., & Araya, L. (2003). Eficiencia económica en las escuelas del MECE/rural desde la perspectiva del análisis envolvente de datos (DEA). Estudios Pedagógicos, 29, 27-39 100. Moncayo-Martínez, L. A., Ramírez-Nafarrate, A., & Hernández-Balde- rrama, M. G. (2020). Evaluation of public HEI on teaching, research, and knowledge dissemination by Data Envelopment Analysis. Socio- Economic Planning Sciences, 69(1), 100-718. 101. Morales, J. C. (2016). El informe Coleman, 50 años después. Revista de Sociología de la Educación-RASE, 9(1), 9-21. 102. Murillo-Melchor, C. (1999). An analysis of technical efficiency and productivity changes in Spanish airports using the Malmquist index. International Journal of Transport Economics, 26(2), 271-292. 103. Nguyen, T. T., Prior, D., & Van Hemmen, S. (2020). Stochastic semi- nonparametric frontier approach for tax administration efficiency measure: evidence from a cross-country study. Economic Analysis and Policy, 66(1), 137-153. 104. Nix, A. N., Jones, T. B., Brower, R. L., & Hu, S. (2020). Equality, efficiency, and developmental education reform: the impact of SB 1720 on the mission of the Florida college system. Community College Review, 48(1), 55-76. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 87 105. Organización para la Cooperación y el Desarrollo Económicos (OCDE). (2016). Results (Volume II): Policies and Practices for Successful Schools. OCDE Publishing. 106. Organización para la Cooperación y el Desarrollo Económicos (OCDE) & Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (Unesco). (2016). Education in Thailand: An OECD-UNESCO perspective. OCDE, Unesco. 107. Oh, D. (2010). A global Malmquist-Luenberger productivity index. Journal of Productivity Analysis, 34(164), 183-197. 108. Padilla, A., Cachanosky, N., & Beck, J. (2020). Immigration and economic freedom: does education matter? The Journal of Private Enterprise, 35(1), 29-57. 109. Perelman, S., & Santín, D. (2011). Measuring educational efficiency at student level with parametric stochastic distance functions: an appli- cation to Spanish PISA results. Education Economics, 19(1), 29-49. 110. Peretto, C. (2016). Métodos para medir y evaluar la eficiencia de unidades productivas. Revista de la Escuela de Perfeccionamiento en Investigación Operativa, 24(39), 5-25. 111. Podinovski, V. V., Ismail, I., Bouzdine-Chameeva, T., & Zhang, W. (2014). Combining the assumptions of variable and constant returns to scale in the efficiency evaluation of secondary schools. European Journal of Operational Research, 239(2), 504-513. 112. Portela, M. C. A., & Thanassoulis, E. (2001). Decomposing school and school-type efficiency. European Journal of Operational Research, 132(2), 357-373. 113. Portela, M. C., Camanho, A. S., & Keshvari, A. (2013). Assessing the evolution of school performance and value-added: trends over four years. Journal of Productivity Analysis, 39(1), 1-14. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 88 Análisis de eficiencia en educación: una aplicación del método StoNED 114. Prior, D. (1992). Los modelos de frontera en la evaluación de la produc- tividad. Esic Market, 78, 113-131. 115. Ray, S. C., Kumbhakar, S. C., & Dua, P. (2015). Benchmarking for perfor- mance evaluation: a production frontier approach. Springer. 116. Rodríguez-Murillo, I. (2014). Eficiencia de la educación superior en Colombia: un análisis mediante fronteras. Revista CIFE: Lecturas de Economía Social, 16(24), 163-194. 117. Rymarzak, M., & Marmot, A. (2020). Higher education estate data accountability: the contrasting experience of UK and Poland. Higher Education Policy, 33(1), 179-194. 118. Sagarra, M., Mar-Molinero, C., & Agasisti, T. (2017). Exploring the effi- ciency of Mexican universities: integrating data envelopment analysis and multidimensional scaling. Omega, 67(1), 123-133. 119. Salas-Velasco, M. (2020). Does greater school resource allocation improve efficiency in education production? Performance assessment of Spanish public sector-funded schools. International Journal of Educa- tional Management, 34(5), 903-915. 120. Salinas, P., & Solé-Ollé, A. (2018). Partial fiscal decentralization reforms and educational outcomes: a difference-in-differences analysis for Spain. Journal of Urban Economics, 107, 31-46. 121. Sánchez, A. (2011). Etnia y desempeño académico en Colombia, docu- mentos de trabajo sobre economía regional en Cartagena, Colombia. Banco de la República, Centro de Estudios Económicos Regionales. 122. Schaefer, J., & Clermont, M. (2018). Stochastic non-smooth envelopment of data for multi-dimensional output. Journal of Productivity Analysis, 50(3), 139-154. 123. Sengupta, J. K. (1987). Production frontier estimation to measure efficiency: a critical evaluation in light of data envelopment analysis. Managerial and Decision Economics, 8(2), 93-99. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 89 124. Sengupta, J. K., & Sfeir, R. E. (1986). Production frontier estimates of scale in public schools in California. Economics of Education Review, 5(3), 297-307. 125. Sengupta, J. K., & Sfeir, R. E. (1988). Efficiency measurement by data envelopment analysis with econometric applications. Applied Economics, 20(3), 285-293. 126. Sexton, T. R., Comunale, C. L., & Gara, S. C. (2012). Efficiency-based funding for public four-year colleges and universities. Education Finance and Policy, 7(3), 331-359. 127. Shen, X., & Lin, B. (2017). The shadow prices and demand elasticities of agricultural water in China: a StoNED-based analysis. Resources, Conservation and Recycling, 127(1), 21-28. 128. Silander, C., & Stigmar, M. (2019). Individual growth or institutional development? Ideological perspectives on motives behind Swedish higher education teacher training. Higher Education, 77(2), 265-281. 129. Soria-Barreto, K., & Zúñiga-Jara, S. (2014). Aspectos determinantes del éxito académico de estudiantes universitarios. Formación Universitaria, 7(5), 41-50. 130. Sosa, E. R. C., Barrientos, L. G., Castro, P. E. G., & García, J. H. (2010). Academic performance, school desertion and emotional paradigm in university students. Contemporary Issues in Education Research, 3(7), 25-36. 131. Sulis, I., Giambona, F., & Porcu, M. (2020). Adjusted indicators of quality and equity for monitoring the education systems over time. Insights on EU15 countries from PISA surveys. Socio-Economic Planning Sciences, 69(1), 100-718. 132. Teddlie, C., & Reynolds, D. (2001). Countering the critics: responses to recent criticisms of school effectiveness research. School Effectiveness and School Improvement, 12(1), 41-82. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 90 Análisis de eficiencia en educación: una aplicación del método StoNED 133. Teremetskyi, V., Grynko, P., & Karmaza, O. (2017). Conceptual principles for increasing the efficiency of legislative regulation of the educational process in Ukraine. Science & Education, 26(6), 174-80. 134. Thanassoulis, E., & Portela, M. C. A. (2002). School outcomes: sharing the responsibility between pupil and school. Education Economics, 10(2), 183-207. 135. Thanassoulis, E., Kortelainen, M., Johnes, G., & Johnes, J. (2011). Costs and efficiency of higher education institutions in England: a DEA analysis. Journal of the Operational Research Society, 62(7), 1282-1297. 136. Thieme, C., Prior, D., & Tortosa-Ausina, E. (2013). A multilevel decom- position of school performance using robust nonparametric frontier techniques. Economics of Education Review, 32, 104-121. 137. Thieme, C., Prior, D., Giménez, V., & Tortosa-Ausina, E. (2011). Desempeño de los centros educativos: ¿un problema de recursos o capacidades organizativas? Hacienda Pública Española, 199(4), 81-118. 138. Tinto, V. (1975). Dropout from higher education: a theoretical synthesis of recent research. Review of Educational Research, 45(1), 89-125. 139. Tran, C. D. T., & Villano, R. A. (2018). Measuring efficiency of Vietnamese public colleges: an application of the DEA‐based dynamic network approach. International Transactions in Operational Research, 25(2), 683-703. 140. Tsai, S. L., Smith, M. L., & Hauser, R. M. (2017). Families, schools, and student achievement inequality: a multilevel MIMIC model approach. Sociology of Education, 90(1), 64-88. 141. Vélez, E. C., Gómez, S. G., Portilla, K. G., & Velásquez, J. V. (2006). Análisis de los factores asociados a la deserción y graduación estudiantil univer- sitaria. Lecturas de Economía, 65(1), 9-36. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2 Alexander Arévalo, Víctor Giménez y Diego Prior 91 142. Visbal-Cadavid, D., Martínez-Gómez, M., & Guijarro, F. (2017). Asses- sing the efficiency of public universities through DEA. A case study. Sustainability, 9(8), 2-19. 143. Vries, W. D., León-Arenas, P., Romero-Muñoz, J. F., & Hernández-Saldaña, I. (2011). ¿Desertores o decepcionados? Distintas causas para abandonar los estudios universitarios. Revista de la Educación Superior, 40(160), 29-49. 144. Wang, D. D. (2019). Performance-based resource allocation for higher education institutions in China. Socio-Economic Planning Sciences, 65(1), 66-75. 145. Worthington, A. C. (2001). An empirical survey of frontier efficiency measurement techniques in education. Education Economics, 9(3), 245-268. desarro. soc. 92, bogotá, tercer cuatrimestre de 2022, pp. 45-91, issn 0120-3584, e-issn 1900-7760, doi: 10.13043/dys.92.2