Análisis de la evaluación externa
en el proceso de valoración
de la calidad de las universidades

Su incorporación aporta gran número de propuestas de mejora y
presenta algunas deficiencias metodológicas

Los informes
de los Comités de Evaluadores Externos han elevado 633 propuestas de mejora en el informe final de
la segunda convocatoria del Plan Nacional de Evaluación de la Calidad. (Foto: Rafael Martínez)

En el Informe Anual de la segunda convocatoria del Plan
Nacional de Evaluación de la Calidad de las Universidades, referido al año 1998 y dado a conocer recientemente, además de realizarse un diagnóstico necesario sobre el funcionamiento de
la Universidad española en las actividades de enseñanza, investigación y gestión, se analizan las aportaciones y
debilidades de la Evaluación Externa y de su incorporación al proceso general de evaluación de nuestras universidades.

Madrid.
La fase de Evaluación Externa de la segunda convocatoria del Plan Nacional de Calidad de las Universidades, referido al año 1998 y hecho público recientemente, tenía como objetivos definidos "formular juicios de valor sobre el diseño, la organización, el desarrollo de los procesos y los resultados de la enseñanza, la investigación y la gestión, en relación con los objetivos propios de las unidades evaluadas, con el fin de estimar su calidad y proponer acciones de mejora; es decir, analizar cómo una institución gestiona la calidad de su oferta educativa".
En el informe final se asegura que "el grado de cumplimiento de estos objetivos es satisfactorio", y tras certificar que "no hay constancia de problemas graves en el desarrollo de la Evaluación Externa", se constata que, "en su conjunto, los distintos Informes de Evaluación Externa han formulado numerosos juicios de valor, siendo más numerosas las críticas (380) que las valoraciones positivas (256)".
Asimismo, en el informe final se añade que "en consonancia con la orientación general del Plan Nacional, la Evaluación Externa ha hecho especial incidencia en la propuesta de acciones de mejora (633)".
Resulta de interés hacer referencia a determinados aspectos relativos a los Informes de Evaluación Externa consignados en el informe final del Plan Nacional, y entre ellos destacan los relativos a la poca formación metodológica que han tenido los Comités de Evaluadores Externos; la generalizada dependencia que de los Informes de Autoevaluación tienen los distintos Comités de Evaluadores Externos en la realización de sus informes, y la escasa disposición de tiempo por parte de estos Comités para analizar los Informes de Autoevaluación. De todo ello se concluye que, "quizás ni la Guía de Evaluación ni las Jornadas de Formación hayan incidido lo suficiente como para precisar la responsabilidad de los Comités de Evaluadores Externos como para precisar su responsabilidad en lo que se refiere al desarrollo de la Evaluación Externa".

Diagnóstico de los "puntos fuertes"

Dentro de los Informes de Evaluación Externa, y en el ámbito del capítulo de Enseñanza, los apartados en donde se destacan más "puntos fuertes" son los referidos a Instalaciones y Recursos, Programa de Formación, Recursos Humanos y Desarrollo de la Enseñanza, en sintonía y coincidencia con los aspectos más tratados en los propios informes de autoevaluación de las universidades.
Los apartados en los que la evaluación externa detecta menos "puntos fuertes" son los de Metas y Objetivos, Relaciones Externas y Resultados de la Enseñanza.
En el informe final, y como conclusión, se precisa que "sobre el objetivo inicial de formular juicios de valor sobre el diseño, la organización, el desarrollo de los procesos y los resultados de la enseñanza, existe una tendencia a formular juicios de valor sobre la organización y desarrollo de los procesos de enseñanza más que sobre su diseño y resultados, con lo que el grado de cumplimiento de este objetivo inicial se muestra parcial".
En el apartado referido a Investigación, se constata que "la labor de diagnóstico en este aspecto de la actividad universitaria ha sido muy escasa". Sólo un 16% de los "puntos fuertes" señalados en los Informes de Evaluación Externa hacen referencia a esta dimensión. Destacan los apartados descriptivos del proceso de investigación sobre los de planificación y resultados. Es por ello que, a modo de conclusión, se señala que en las universidades españolas "se formulan muy escasos juicios de valor sobre el diseño y los resultados de la investigación". Asimismo, en los Informes de Evaluación Externa se ha detectado el hecho de "haberse tratado la investigación de forma alejada a la propuesta formulada en la Guía de Evaluación". De todo ello se concluye que existe "una debilidad metodológica en el proceso de evaluación institucional, al no existir una clara vinculación entre la unidad de evaluación de enseñanza (la titulación) y la unidad de evaluación de investigación (el departamento). A este respecto, se precisa en el informe final, "es claro en los Informes de Evaluación Externa la orientación metodológica hacia el análisis de la enseñanza, limitando el análisis de las otras dimensiones de la actividad universitaria (investigación y gestión)".
De hecho, no se han señalado "puntos fuertes" en los Informes de Evaluación Externa referidos a la gestión de las universidades, "por el carácter claramente marginal que tiene esta dimensión en los citados informes".

Diagnóstico de los "puntos débiles"

La distribución de "puntos débiles" y sus sesgos metodológicos coinciden con lo reseñado en el diagnóstico de "puntos fuertes"; se advierte la tendencia general de todo el proceso evaluador de reconocer un mayor número de debilidades que de fortalezas (casi un 50% más).
Los "puntos débiles" consignados en los Informes de Evaluación Externa se refieren principalmente a los apartados de Programa de Formación (24%), Recursos Humanos (20%), Desarrollo de la Enseñanza (13%) e Instalaciones y Recursos (13%).
Los apartados menos considerados han sido los de Contexto de la Universidad (8%). Alumnado (6%), Metas y Objetivos (5%), Relaciones Externas (4%) y Resultados de la Enseñanza (3%). Por otra parte, los apartados dedicados en los Informes de Evaluación Externa al proceso de evaluación han sido meramente "esporádicos".
En el apartado referido a investigación, destaca el hecho de que las fortalezas o "puntos fuertes" advertidas en el aspecto de Resultados y Rendimiento superan a las debilidades detectadas en más del doble.
"Esta diferencia -se concluye en el informe final- parece indicar una actitud más positiva hacia los resultados de la actividad investigadora que hacia los resultados de la enseñanza".

Propuestas de mejora

Las Propuestas de Mejora elaboradas y expuestas en los Informes de Evaluación Externa muestran la misma distribución que la advertida en "puntos débiles y puntos fuertes". El sesgo advertido a favor de la enseñanza está en estas propuestas más acentuado, pues el 87% de éstas se refieren al apartado de enseñanza.
En cuanto a las propuestas de mejora y su operatividad, los Informes de Evaluación Externa muestran la mismas tendencias que los Informes de Autoevaluación, al ser poco concretas: el 41% de las propuestas de mejora están formuladas en términos generales poco operativos. Un punto positivo es el hecho, según se precisa en el informe final, de que "el 45% de las propuestas de mejora se plantean de forma que pueden llevarse a cabo por medio de la reorganización de los recursos propios".
De hecho, se concluye en el informe final de la Segunda Convocatoria del Plan Nacional de Evaluación de la Calidad de las Universidades, "la evaluación externa ha supuesto la sanción directa del 42% de las propuestas de mejora realizadas en los Informes de Autoevaluación".

 

arriba