Siempre que se habla de calidad en las universidades me acuerdo de un Vicerrector de la Universidad de Cantabria que decía que en estas discusiones nos olvidamos del jersey. La historia completa comienza con una persona que va a un gran almacén a comprar un jersey; a la salida le paran para encuestarle con el fin de mejorar la calidad y le preguntan si el vendedor le atendió a tiempo, con amabilidad, si parecía conocer el género, si la iluminación era adecuada, si el paquete lo envolvieron bien y si el cobro se produjo con agilidad. Vale, todo eso muy bien pero ¿y del jersey no hablamos? Podemos llevar el símil aún más lejos (a preguntas típicas del cónyuge del comprador) ¿necesita de verdad el jersey? ¿No hubiera sido mejor de otro color? Por cierto el jersey, en el símil, era el conocimiento realmente adquirido por el estudiante.
Recordaba esto a propósito de los rankings universitarios, y la variabilidad que se encuentra en ellos. Si nos preguntamos cual es el edificio más alto del mundo tendremos que buscar datos y hacer la lista, pero no tenemos que definir la variable “altura de un edificio”, todos sabemos que se habla de longitud, cuáles son sus unidades habituales y sus sistemas de medida. En cambio si nos preguntamos por cual es el más bonito, o el de mejor calidad la cosa se complica mucho: es necesario empezar por crear un modelo de la magnitud en cuestión antes de empezar a buscar los datos que contribuyen a ese modelo y la forma en que lo hacen (1). Hay multitud de elementos que pueden formar parte de un modelo de calidad universitaria: estudiantes por profesor, metros cuadrados por estudiante, libros en la biblioteca, artículos publicados por profesor (o en total), ingresos por proyectos con empresas, número de veces que Google encuentra el nombre de la universidad en una búsqueda, número de ganadores del premio Nobel entre el profesorado, o entre los egresados, etc. etc. También hay multitud de formas de combinarlos, desde quedarse con uno solo hasta preparar complejos polinomios con términos de ponderación calculados de múltiples formas.
Un elemento más a tener en cuenta es el nivel de agregación del estudio, ya que se puede analizar una universidad entera, una facultad, una titulación o un departamento, obteniéndose resultados muy diferentes.
Vemos pues que hay muchos ladrillos con los que construir modelos de calidad universitaria y con cada modelo, una vez rellenado convenientemente con los datos requeridos, se genera una clasificación, un ranking de universidades (departamentos, titulaciones o lo que analice).
Todo este proceso de elaboración del modelo y de la consecución de los datos para alimentarlos es mucho más complejo de lo que pueda parecer, y en muchas ocasiones el resultado sea francamente malo. ¿Malo? ¿Podemos hacer un ranking de calidad de los rankings universitarios? Mejor no llevar el círculo vicioso demasiado lejos. Pero pidámosle al menos una característica: “robustez”, que sus resultados no cambien enormemente si tomamos los datos de un año de enero a enero o de junio a junio, o si hay una pequeña variación en los datos de entrada.
Publicaba recientemente el New York Times un artículo cuestionando la solidez científica de los rankings académicos en el que se analiza un caso en el que la universidad de Alejandría (Egipto) alcanzaba un puesto inusitadamente alto, y tras analizar el caso con cuidado, el grueso de la subida se debía a los artículos de un solo profesor (320 en un año) en una sola revista de la que además era el editor. El profesor está ahora ante los tribunales, pero el ranking ha quedo muy en entredicho por su falta de robustez.
Entre las marañas de modelos y datos alrededor de la calidad universitaria, es casi siempre posible encontrar algún constructo en el que tu institución queda bien (algunos un tanto pírricos), lo que te permite publicitarlo todo lo posible. Casi todos los titulares respecto de esas “maravillas” de un determinado centro son muy exagerados. Podíamos encontrar hace unos días el titular “¿Por qué Navarra y el IE se sitúan entre las 50 mejores universidades del mundo?” El titular da por sentado que sólo hay una manera de medir la calidad de las universidades, la del ranking que analiza, y pasa al siguiente escalón, que maravillas han hecho para quedar bien ahí. Mirándolo con cuidado, resulta que el modelo es monofactorial, sólo hay un parámetro: la opinión de un grupo de directores de empresas sobre qué egresados preferirían contratar. 3000 directores de empresas grandes de 10 países. En resumen, sólo se está midiendo la imagen de marca en el mercado internacional. Esa imagen de marca se ha podido crear por multitud de motivos, la mayoría de ellos muy alejados cualquier idea de calidad (McDonalds tiene una imagen de marca internacional mucho mejor que un restaurante con estrella Michelin de Cáceres). Yo hasta me atrevería a apostar sobre las marcas de jerséis preferidas por el mismo grupo de encuestados.
Recordaba esto a propósito de los rankings universitarios, y la variabilidad que se encuentra en ellos. Si nos preguntamos cual es el edificio más alto del mundo tendremos que buscar datos y hacer la lista, pero no tenemos que definir la variable “altura de un edificio”, todos sabemos que se habla de longitud, cuáles son sus unidades habituales y sus sistemas de medida. En cambio si nos preguntamos por cual es el más bonito, o el de mejor calidad la cosa se complica mucho: es necesario empezar por crear un modelo de la magnitud en cuestión antes de empezar a buscar los datos que contribuyen a ese modelo y la forma en que lo hacen (1). Hay multitud de elementos que pueden formar parte de un modelo de calidad universitaria: estudiantes por profesor, metros cuadrados por estudiante, libros en la biblioteca, artículos publicados por profesor (o en total), ingresos por proyectos con empresas, número de veces que Google encuentra el nombre de la universidad en una búsqueda, número de ganadores del premio Nobel entre el profesorado, o entre los egresados, etc. etc. También hay multitud de formas de combinarlos, desde quedarse con uno solo hasta preparar complejos polinomios con términos de ponderación calculados de múltiples formas.
Un elemento más a tener en cuenta es el nivel de agregación del estudio, ya que se puede analizar una universidad entera, una facultad, una titulación o un departamento, obteniéndose resultados muy diferentes.
Vemos pues que hay muchos ladrillos con los que construir modelos de calidad universitaria y con cada modelo, una vez rellenado convenientemente con los datos requeridos, se genera una clasificación, un ranking de universidades (departamentos, titulaciones o lo que analice).
Todo este proceso de elaboración del modelo y de la consecución de los datos para alimentarlos es mucho más complejo de lo que pueda parecer, y en muchas ocasiones el resultado sea francamente malo. ¿Malo? ¿Podemos hacer un ranking de calidad de los rankings universitarios? Mejor no llevar el círculo vicioso demasiado lejos. Pero pidámosle al menos una característica: “robustez”, que sus resultados no cambien enormemente si tomamos los datos de un año de enero a enero o de junio a junio, o si hay una pequeña variación en los datos de entrada.
Publicaba recientemente el New York Times un artículo cuestionando la solidez científica de los rankings académicos en el que se analiza un caso en el que la universidad de Alejandría (Egipto) alcanzaba un puesto inusitadamente alto, y tras analizar el caso con cuidado, el grueso de la subida se debía a los artículos de un solo profesor (320 en un año) en una sola revista de la que además era el editor. El profesor está ahora ante los tribunales, pero el ranking ha quedo muy en entredicho por su falta de robustez.
Entre las marañas de modelos y datos alrededor de la calidad universitaria, es casi siempre posible encontrar algún constructo en el que tu institución queda bien (algunos un tanto pírricos), lo que te permite publicitarlo todo lo posible. Casi todos los titulares respecto de esas “maravillas” de un determinado centro son muy exagerados. Podíamos encontrar hace unos días el titular “¿Por qué Navarra y el IE se sitúan entre las 50 mejores universidades del mundo?” El titular da por sentado que sólo hay una manera de medir la calidad de las universidades, la del ranking que analiza, y pasa al siguiente escalón, que maravillas han hecho para quedar bien ahí. Mirándolo con cuidado, resulta que el modelo es monofactorial, sólo hay un parámetro: la opinión de un grupo de directores de empresas sobre qué egresados preferirían contratar. 3000 directores de empresas grandes de 10 países. En resumen, sólo se está midiendo la imagen de marca en el mercado internacional. Esa imagen de marca se ha podido crear por multitud de motivos, la mayoría de ellos muy alejados cualquier idea de calidad (McDonalds tiene una imagen de marca internacional mucho mejor que un restaurante con estrella Michelin de Cáceres). Yo hasta me atrevería a apostar sobre las marcas de jerséis preferidas por el mismo grupo de encuestados.
--------
(1) Recientemente he sabido de la existencia de un congreso sobre "La importancia de las métricas comunes para el avance de la teoría y la investigación en ciencias sociales", del que hay un libro accesible en la red
2 comentarios:
Me ha parecido muy interesante la entrada. El tema de la medida de la calidad de las Universidades es tremendamente complejo, y da para mucha discusión. Aunque pueden servir como herramienta de reflexión, reducir la calidad de una Universidad a un número parece una simplificación excesiva, cuando quizás un análisis holístico, que tenga en cuenta tanto aspectos cuantitativos como cualitativos, así como las particularidades de cada caso, resulta más adecuado.
Creo además que debemos plantearnos y cuestionar para qué se realizan estos rankings y cómo se realizan, dada la gran trascendencia de sus resultados. No sólo está la publicidad que pueda suponer para una determinada Universidad (como bien dices los resultados se acaban interpretando y adaptado a lo que a cada uno lo interese), sino que además tienen una influencia directa en la financiación de las Universidades y por tanto en las políticas marcadas por sus respectivos equipos de gobierno, encaminadas a conseguir la máxima puntuación. Nos podemos encontrar por tanto ante "agencias de calificación" del mundo académico, al igual que las que tan acostumbrados estamos a ver últimamente en las portadas de los periódicos.
Al final puede que nadie nos pregunte por el jersey, pero nuestro trabajo es vender jerseys, y al cliente lo que al final le interesa es si es de buena calidad, si le va a abrigar o si sólo le va a durar dos días.
Enrique, gracias por tu comentario. Con esta entrada quer'ia abrir el tema, pero no cerrarlo. Creo que queda claro la multitud de aproximaciones y lo f'acil que es hacerlo mal, pero no he entrado en la necesidad de los mismos, su utilidad social y, por tanto, la conveniencia de crear est'andares de 'amplio consenso. Lo dejaremos para la siguiente.
Publicar un comentario