MEDIDA DE MÉRITOS ACADÉMICOS RESUMEN ESTE ESCRITO CONTIENE REFLEXIONES

1 LA SUMA DE LAS MEDIDAS DE LOS
16 EFECTIVIDAD DE LAS MEDIDAS SOCIOEDUCATIVAS IMPUESTAS
ASIGNATURA ACTIVIDADES PARA LA MEDIDA AÑO ACADÉMICO 2001

RESUMEN MEDIDAS DE PROTECCIÓN PARA PROFESIONALES SANITARIOS ANTE
0 7ª SESIÓN MEDIDAS DE AJUSTE EN FRONTERA Y
0 CPM 201115 COMISIÓN DE MEDIDAS FITOSANITARIAS SEXTA REUNIÓN

Evaluación Académica

Medida de Méritos Académicos

Resumen----------------------------

Este escrito contiene reflexiones personales sobre la evaluación de los méritos académicos de los profesores universitarios en el área de las ciencias naturales. Se argumenta que la evaluación del rendimiento docente e investigador es mucho más difícil de lo que parece. Los métodos corrientes son en general incongruentes, y en particular fomentan comportamientos contraproducentes cuando se combinan con la configuración actual de la universidad. No se trata de un estudio científico. Son sólo observaciones tras veintiocho años de relación con la universidad como estudiante y profesor de física.

----------------------------------------

Introducción

Cada vez proliferan más medidas del rendimiento académico de los profesores universitarios. Su razón de ser es incentivar la mejora de los resultados, con cierta aura de justicia derivada de premiar a los más eficientes y, en general, dar a cada uno lo suyo. En estas notas discuto si las medidas del rendimiento académico al uso responden a estos objetivos en la universidad tal y como está configurada en la actualidad. He pretendido que los comentarios sean informativos para los menos familiarizados con el mundo académico, y a la vez sugerentes para los más involucrados.

La posible eficacia de incentivos y recompensas es un tema difícil incluso en actividades donde parece fácil medir la productividad, por ejemplo como número de productos por unidad de tiempo. De hecho, sólo un porcentaje muy pequeño de los trabajadores son remunerados de acuerdo a los objetivos conseguidos. Además, las recompensas por objetivos pueden producir resultados contraproducentes^¹. Por ejemplo, primar la cantidad suele ir en perjuicio de la calidad y viceversa. Por ello los empleadores suelen recompensar a los empleados a discreción, ya que es mucho más fácil reconocer a un buen trabajador que definirlo^². Mucho más difícil debe ser medir los resultados en investigación y docencia.

Una dificultad añadida es que no hay un mercado que determine el valor relativo de los resultados académicos, al menos en las áreas de investigación fundamental que predominan en la universidad^³. En su lugar, con toda buena voluntad y honradez, el rendimiento académico es evaluado por comisiones nombradas burocráticamente y no comprometidas con los resultados, en el sentido de que no sufren consecuencias ni costes derivados del acierto o error de sus decisiones. Los componentes de las comisiones suelen ser profesores sin formación en evaluación, que decretan los correspondientes criterios sin justificación ni posibilidad de revisión^⁴.

Sin embargo parece que no hay ninguna preocupación por estas dificultades y sus consecuencias en el ámbito académico. Al contrario, vivimos la aplicación creciente de medidas y baremos para contratar profesores, para mejorar contratos, para financiar la investigación y la docencia, para obtener complementos retributivos de carácter general, investigador y docente, para repartir la docencia, para medir la calidad docente, etc.

El objetivo de estas notas es mostrar que la medida del rendimiento académico es un problema más complejo de lo que parece. La aplicación de baremos y criterios poco rigurosos, combinados con la estructura y funcionamiento actual de la universidad puede incentivar comportamientos contraproducentes, fomentar objetivos contrarios a los deseados y producir más injusticias.

No quiero que estas notas transmitan una idea negativa de la universidad. Se trata sólo de reflexiones hechas en ratos libres sobre aspectos particulares de un conjunto que creo que funciona bien en general. También me ha motivado analizar el comportamiento universitario desde el punto de vista de la respuesta a incentivos, maximización racional de la utilidad, y otras ideas económicas sobre el comportamiento.

No obstante la universidad tiene problemas serios de eficiencia que pueden agravarse a corto y medio plazo^⁵. Puede que esté sobredimensionada, con muchos alumnos, tasas elevadas de abandonos y repetidores, y pasando una factura relativamente elevada al contribuyente^⁶.

Individualidad

De acuerdo con el Código de Conducta Complutense^⁷: El mérito individual que combina capacidad intelectual, esfuerzo personal y honradez profesional es un valor supremo del quehacer universitario. Las decisiones que competen e involucran a la comunidad universitaria deben respetar este principio y muy particularmente en los procesos de evaluación y selección de candidatos.

Sin embargo los méritos muy raramente son individuales. Los trabajos docentes y de investigación suelen realizarse en grupos. Nada garantiza la participación equitativa de todos los miembros del grupo en todos los trabajos. De hecho puede haber profesores que figuren como participantes en proyectos en los que no trabajan (ver apartado de proyectos).

La agrupación de profesores está fuertemente fomentada por las autoridades académicas. Los organismos públicos son extraordinariamente reticentes a financiar proyectos de profesores individuales, o incluso, tienen como norma no financiarla en absoluto con independencia de su valor, interés y viabilidad.

La primacía de grupos frente a los profesores individuales es nociva para la eficiencia académica ya que incentiva agrupaciones interesadas en las que el papel de sus miembros es muy desigual. Los grupos pueden convertirse en máquinas de hacer méritos que atraigan a profesores, doctorandos y becarios necesitados de ellos para su carrera académica. A cambio, aportan su dedicación a los proyectos puestos en marcha por los líderes del grupo. Líderes y recién enrolados se benefician de esta asociación desigual. Por ello la gestión de los grupos tiende a mantener este tipo de estructuras acrecentando su poder, en lugar de regirse por criterios de eficacia académica.

En un grupo de investigación las ideas, objetivos y planificación del trabajo suelen fluir desde los líderes hacia los recién enrolados mientras que el trabajo de campo fluye en el sentido opuesto. Esto también puede ser contraproducente. Es probable que los líderes estén desconectados de la práctica investigadora, sean más conservadores al tender a repetir lo que les ha funcionado en el pasado, y tengan mayor miedo al fracaso. Por el contrario los doctorandos son más proclives a tener ideas innovadoras por su falta de prejuicios, y tienen menor miedo al fracaso^⁸. La creatividad y la innovación necesitan libertad, que está mucho más relacionada con la iniciativa de investigadores individuales que con la interdependencia dentro de un grupo.

Los grupos no tienen ningún poder por sí mismos. Todo su poder deriva de las autoridades académicas mediante financiación y otras recompensas por méritos. Las consecuencias nocivas de este tipo de agrupaciones podrían evitarse estableciendo un número máximo de profesores que puedan participar en un proyecto financiado, todo lo contrario de la situación actual. Sin la pantalla del historial del grupo sería más fácil discernir los mejores proyectos y los investigadores más eficientes.

Aleatoriedad de baremos

Una demostración de la extrema dificultad de medir méritos académicos ocurre cuando se comparan baremos formulados por distintas comisiones nombradas para los mismos fines. Para ello me he fijado en los baremos publicados en otoño de 2009 por distintos tribunales de oposición a Titular o Catedrático de Universidad en una misma Facultad. Las siguientes tablas muestran puntuaciones máximas asignadas por distintas comisiones (A, B, C, etc.) a lo mismos apartados (por sencillez sólo muestro unos pocos apartados de un total que suma 100 puntos)^⁹:

Titulares:	A	B	C	D	E	F	Variabilidad
Elaboración de material docente	2	3	1	6	3	3	500%
Comunicaciones a congresos	10	5	15	8	4	4	275%
Dirección de tesis y otros trabajos de investigación	2	2	1	7	6	3	600%
La trayectoria docente	9	10	10	10	2	10	400%

Catedráticos:	G	H	I	J	Variabilidad
Elaboración de material docente	15	15	5	2	650%
Comunicaciones a congresos	8	8	2	5	300%
Dirección de tesis y otros trabajos de investigación	6	5	10	7	100%
La trayectoria docente	5	5	10	15	200%

La comisión C entiende que las comunicaciones a congresos valen quince veces más que la dirección de tesis. Todo lo contrario, para la comisión E la dirección de tesis vale una vez y media más que las comunicaciones a congresos. Para la comisión H elaborar material docente vale tres veces más que dirigir tesis, mientras que para la comisión J la dirección de tesis vale entre tres y cuatro veces más que elaborar material docente.

Además hay una serie de ítems cuyo significado es al menos dudoso como “La trayectoria docente” al que casi todas las comisiones le dan un valor relativamente alto.

Para estas oposiciones no hay ningún apartado específico que valore la formación de los candidatos más allá del mínimo requerido por el perfil de la plaza. Paradójicamente, la universidad no valora de forma específica haber superado cursos de especialización, actualización investigadora o docentes ni de gestión.

Podría argumentarse que los anteriores son baremos formulados ad-hoc que se adaptan al perfil de un candidato. Si admitiéramos esta objeción no sería necesario continuar estas notas. En cualquier caso no podrían hacerse públicos criterios tan disimilares si no se entendiera que realmente no hay nada parecido a un baremo objetivo y que cada apartado se puede valorar de una forma o de la contraria sin posibilidad seria de objeción.

Docencia

Esencialmente la docencia no se evalúa. Por ejemplo, los complementos retributivos por méritos docentes se conceden automáticamente cada cinco años con el único trámite de pedirlos. Ni siquiera importa el número de horas de clase impartidas.

Para ciertas convocatorias se suele valorar la elaboración de materiales docentes (libros, apuntes, páginas en internet, etc.). Sin embargo, la elaboración de materiales docentes no es propiamente docencia. También se suele valorar el número de años de experiencia docente, con independencia de cualquier estimador de eficacia, calidad o resultados.

Los resultados docentes podrían medirse con evaluaciones externas de lo que han aprendido los alumnos, por ejemplo por profesores del mismo departamento pero distintos de los que han impartido la docencia.

La Universidad Complutense está desarrollando un Programa de Evaluación de la Actividad Docente del Profesorado¹⁰ de momento voluntario para los profesores. Las fuentes de información para la evaluación son encuestas a los alumnos e informes del propio profesor. ¿Es normal que la evaluación descanse en la opinión de los evaluados^¹¹? Por otro lado las encuestas se centran en aspectos circunstanciales y de organización. Como no se puede medir lo esencial, se mide lo accesorio, que así pasa a ser lo esencial, como otro ejemplo más de tergiversación de objetivos ^¹².

Un profesor que dedique a sus clases y a la atención de sus alumnos mucho más tiempo interés y trabajo que la media, o que tenga particulares habilidades docentes no tiene reconocimiento ni recompensa ninguna. Todo lo contrario. Recientemente las autoridades han desarrollado un Plan de Dedicación Académica^¹³. Se trata de medir los méritos de cada profesor en investigación y en elaboración de material docente. De acuerdo con este plan, los profesores con mayores méritos disminuirían proporcionalmente el número de horas de clase que deben impartir, a costa de que las aumentaran los profesores con menores méritos.

Por lo tanto se da la paradoja de que la universidad incentiva que los profesores dediquen el mínimo esfuerzo a la docencia y el máximo a investigación y elaboración de materiales docentes.

Lo misma tergiversación ocurre con la contratación de profesores, donde sólo se valora la investigación y los materiales docentes. Se repite muchas veces que un buen docente debe ser un buen investigador, una afirmación muy difícil de confirmar experimentalmente. En cualquier caso el Plan de Dedicación Académica sugiere que den más horas de clase los peores investigadores que tenga la universidad.

Proyectos de investigación y docentes

Para desarrollar sus actividades los profesores acuden con frecuencia a convocatorias de organismos públicos que ofrecen financiación a los proyectos que estimen mejores. Para la concesión de proyectos son muy importantes los méritos del grupo solicitante, en particular los proyectos concedidos en el pasado. También influye el número de profesores en el grupo solicitante. Como se ha comentado en el apartado sobre la individualidad, muy raramente se financian proyectos de profesores individuales, y en muchos casos ni siquiera se admiten tales solicitudes.

Ante la idea de que cuanto mayor es el grupo mayor es la probabilidad de financiación no es inusual que se recluten investigadores para figurar en la solicitud bajo el sobreentendido de que los reclutados no van a trabajar en el proyecto. Los líderes del proyecto ganan probabilidad de éxito y los reclutados ganan el mérito y quizás parte de la financiación sólo por prestar su nombre.

Se entiende que para la concesión de un proyecto se evalúa el conjunto del grupo solicitante por lo que resulta discutible que después se compute como mérito de los investigadores individuales. Podemos hacernos la pregunta hipotética siguiente: Si quitáramos de la solicitud al profesor que esgrime el mérito ¿se habría concedido el proyecto^¹⁴? Si la respuesta es afirmativa la concesión no puede ser mérito de tal profesor.

Aunque pueda parecer paradójico, el mérito lo constituye la concesión de financiación, no la realización con éxito. Para cómputo de méritos da lo mismo si los objetivos del proyecto se consiguen o no.

También es irrelevante si se ha aprovechado al máximo el dinero o si se ha malgastado. En este sentido, las autoridades esgrimen frecuentemente el dinero que gastan (o invierten) en investigación pero casi nunca aportan estimaciones de los resultados que se obtienen^¹⁵.

Contrariamente al sentido común, se penaliza la eficiencia económica. La misma investigación realizada sin financiación tendrá menos recompensa en méritos que si es financiada. Se trata de un incentivo claro para que la investigación sea lo más costosa posible, puesto que se suele entender también que cuanto mayor es el importe concedido mayor es el mérito.

No obstante, el último Plan Nacional de Investigación plantea la posibilidad de evaluaciones de los resultados de los proyectos de investigación que muestren la efectividad de la inversión pública, de tal forma que se establezca una evaluación objetiva de resultados por pares cuyas calificaciones sean tenidas en cuenta a la hora de adjudicar nuevos fondos en convocatorias posteriores ^¹⁶. Al tratarse de una evaluación por pares puede caer en la misma indefinición de baremos y otras peculiaridades mencionadas aquí.

Dentro del grupo de investigación suele llevarse más porción del mérito los llamados Investigadores Principales, que es una figura administrativa y formal. No es necesariamente ni el que más trabaja ni el que más aporta^¹⁷.

Hay razones que sugieren que no valorar el tamaño del grupo para la concesión de proyectos tendría ventajas (es decir si se valoraran solamente los objetivos y la viabilidad). Aumentaría la oferta y la competitividad, lo que suele mejorar la eficiencia. También aumentaría la independencia y libertad de los investigadores, y, por tanto, la creatividad.

Reiteración y amplificación

La obtención de algunos méritos depende de la obtención de otros méritos en el pasado, con lo que se produce un efecto de repetición y amplificación^¹⁸. Por ejemplo, es más fácil obtener proyectos si se obtuvieron en el pasado.

Los méritos que dan lugar a la concesión de proyectos se cuentan varias veces, primero como méritos por sí mismos y luego implícitamente en los proyectos concedidos gracias a esos mismos méritos. Este efecto es muy notable en los grupos de investigación por multiplicarse las aportaciones de sus miembros que revierten en todo el conjunto.

Publicaciones de investigación

Un mérito que suele ser muy valorado es la publicación de resultados de investigación en revistas científicas. En algunas ocasiones se tiene en cuenta el prestigio de la revista, usualmente medido con el llamado parámetro de impacto (promedio de las veces que han sido citados los artículos de dicha revista) o el número de citas que ha recibido el artículo en cuestión.

La publicación de un artículo en una revista la deciden los editores de la revista, que suelen proceder según la opinión anónima y no remunerada de uno o dos colegas en el área del trabajo juzgado (revisión por colegas). Los que han participado en este proceso saben de su enorme aleatoriedad. Todo depende de los colegas requeridos por la revista para dar su opinión, los cuales muchas veces demuestran un sesgo inequívoco o un claro desconocimiento del tema que juzgan^¹⁹.

En cualquier caso, la publicación de un artículo no garantiza su valor, ni su interés, ni su utilidad, ni su repercusión en el futuro. Ni siquiera que reciba muchas citas en un corto espacio de tiempo es un indicativo fiable. No hay que confundir relevancia con moda o fama. Investigación equivale muchas veces a ruptura con el pasado. Por ello no siempre es posible juzgar resultados de investigación con los criterios del presente. Los avances pueden necesitar mucho tiempo para ser conocidos, comprendidos y asimilados, especialmente si son realizados por investigadores sin fama de universidades sin renombre^²⁰.

A efectos de cómputo de méritos, todos los artículos de una misma revista valen lo mismo (o incluso de revistas diferentes), da igual el tema o lo que contengan.

Un artículo de diez páginas vale diez veces menos que si se divide en diez artículos de una página. Esto incentiva artículos con contenidos originales mínimos. Al investigador le compensa dedicar tiempo a redactar e intentar publicar resultados menores en lugar de esperar a tener resultados más completos, más originales y de mayor calidad. También es fácil imaginar qué ocurriría si, para regocijo de la industria papelera, se valorara el número de páginas de una publicación.

También suele dar igual el número de autores, y una publicación hecha entre diez investigadores vale lo mismo que si ha sido hecha por uno solo. De nuevo esto incentiva la agrupación interesada de investigadores. En igualdad de condiciones, un investigador puede multiplicar por cinco sus méritos si trabaja en un grupo de cinco investigadores. La indiferencia respecto al número favorece que pueda haber autores que no han participado apenas en el trabajo, ya que su inclusión como autores no tiene ningún coste para los que realmente han realizado el trabajo y que pueden beneficiarles por ello en otros aspectos académicos.

Materiales docentes

Los materiales docentes no editados oficialmente no cuentan para nada, dando igual si son utilizados y valorados por los alumnos.

Como otros tantos méritos, los materiales docentes se evalúan a bulto. Vale lo miso una página web que se hace en una hora con unos enlaces, un poco de texto y unas imágenes, que un texto interactivo original que lleve años completar.

Congresos

Los congresos son reuniones de científicos organizadas por ellos mismos en los que se comunican y discuten resultados recientes en un tema específico. Suelen ser realizados en sitios turísticos y pintorescos. Su razón de ser es esencialmente social y responden a la necesidad de conocerse y establecer relaciones entre investigadores que se dedican a lo mismo. Para el intercambio de información y discusión hay actualmente métodos más eficaces en Internet. De hecho en los congresos suele intercambiarse información que ya conocen los asistentes.

Normalmente, para participar en un congreso sólo hay que inscribirse y pagar unas tasas. No suele haber ningún tipo de selección. Cuantos más participantes haya mejor para los organizadores de la reunión, que ingresarán más dinero por las tasas. De hecho, ni siquiera hace falta asistir al congreso. En general vale con que uno de los autores asista para que todos los autores de la comunicación se apunten el mérito.

Por todo ello no está claro en qué consiste el mérito de haber participado en un congreso. Quizás se trate sólo de incentivar la participación porque se considere que es bueno que los investigadores se conozcan y relacionen de esa forma en lugar de otras.

Otras reflexiones

¿Es igual de valioso un tema de investigación que otro? Claramente la respuesta es no. Todo investigador puede trabajar en muchos temas diferentes, de los que escoge sólo unos pocos. ¿Tienen el mismo valor los resultados en un tema complejo con muchas aplicaciones que en un tema sencillo y meramente académico?

Respecto a la evaluación, como se dice en inversión bursátil, rendimientos pasados no garantizan rendimientos futuros. ¿No hay mejor estimador del futuro que lo que fue el pasado? ¿Invertiría su dinero en una empresa sólo porque fue rentable hasta el año pasado?

Las plazas de investigadores y docentes podrían adjudicarse mediante exámenes escritos exhaustivos, externos y uniformes. Sorprende que los profesores no se apliquen entre sí los métodos de evaluación que aplican a sus alumnos.

La evaluación de proyectos, candidatos, programas docentes, resultados docentes, etc., podría realizarse por un cuerpo administrativo especializado y dedicado exclusivamente a ello^²¹. Esto liberaría a los docentes e investigadores de tareas administrativas para las que no están ni preparados ni motivados. No se trata de más burocracia, sino de repartir el trabajo de forma más eficiente mediante la división del trabajo y la especialización^²².

Madrid-Zaragoza-Toledo

Primavera-verano-otoño 2009

Alfredo Luis Aina

Departamento de Óptica

Universidad Complutense

1 On the folly of rewarding A, while hoping for B, S. Kerr, The Academy of Management Executive; Feb 1995; 9, 1. Sobre el papel de la información de la productividad de los agentes y sus efectos vea por ejemplo The Economics of Information.

2 Tampoco el Evangelio es muy partidario de recompensar por objetivos al poner de ejemplo al dueño de una viña que paga lo mismo al obrero que ha trabajado once horas que al que ha trabajado sólo una …Así, los últimos serán primeros y los primeros, últimos, Mateo 20:8-16. Ver también Los enemigos del comercio, A. Escohotado, Espasa-Calpe 2008.

3 Ha de entenderse mercado en un sentido amplio, formado por agentes que se relacionan y sufren las consecuencias de sus decisiones para maximizar su utilidad, beneficio, o, en general su felicidad según su propio entender (es decir la combinación de responsabilidad más retroalimentación). Por ejemplo hay mercados del crimen, de la familia, la religión, etc. The economic way of looking at life, G. Becker, Nobel Lecture, December 9, 1992. También hay un mercado para el arte (en el sentido más monetario), pero no para la ciencia básica.

4 Un proceso que en general se denomina revisión por pares o por colegas (peer review en inglés).

5 Para el futuro se augura subida de precios, en especial para alumnos con bajo rendimiento, reducción de oferta, y desestatalización. Algunas Ideas sobre la Reforma del Sistema Educativo en España, J. J. Dolado FEDEAblogs. Ver también la reforma Finlandesa

6 El coste anual de la universidad pública española (49 universidades) es de unos 7000 millones de euros (0.7 % del PIB) de los cuales 1200 millones son recaudados en la matriculación. Cuenta con unos 90000 profesores, 45000 administrativos, y 1,2 millones de alumnos. Hay una media de 14 alumnos por profesor, 80000 euros al año por profesor, y 5000 euros al año por alumno. Los alumnos que abandonan es del orden del 25%. Vea la fiscalización del ejercicio 2003 del tribunal de cuentas.

7 Código de conducta Complutense

8 Pienses los que pienses piensa lo contrario, P. Arden, Maeva 2008.

9 Puede consultar los apartados evaluados en el Anexo I de la regulación de concursos en la Universidad Complutense de Madrid o en el BOE correspondiente.

10 Programa de Evaluación de la Actividad Docente del Profesorado

11 No se olvide que los alumnos forman parte del proceso educativo.

12 Recuerda la anécdota del borracho que busca las llaves perdidas no en el portal oscuro donde se le han caído, sino debajo de una farola porque allí hay más luz.

13 Plan de Dedicación Académica

14 Se trata de una especie de utilidad marginal del profesor.

15 En este sentido es conocida la baja posición que ocupan las universidades españolas en clasificaciones internacionales. ¿Tales posiciones son acordes al gasto realizado o, por el contrario, sugieren que más inversión no se traducirá en mayor rendimiento?

16 Se trata del Programa de Evaluación de Resultados (PROEVAR)

17 Quizás el Investigador Principal se lleve más recompensa no por tener más mérito sino por tener más poder, como se discute en el epígrafe dedicado a la individualidad.

18 Es el llamado efecto Mateo, del Evangelista Mateo 25.29 “…Porque al que tiene se le dará y le sobrará, pero al que no tiene, se le quitará hasta lo que tiene…”.

19 Merecería un estudio aparte los incentivos y recompensas que tienen los revisores en estos procesos no remunerados.

20 Ignora a todos, H. Macleod, Empresa Activa, Ediciones Urano 2009.

21 Recientemente, la ex ministra de Educación Mercedes Cabrera abogó por la profesionalización de la gestión académica, aclarando que ahora lo puede decir en público porque ya no es ministra Diario El público 23/11/2009

22 Valga el famosos ejemplo de la fabricación de alfileres de Adam Smidt en el capítulo 1 del libro I de La riqueza de las naciones, 1776 (An Inquiry into the Nature and Causes of the Wealth of Nations. Edited by Sálvio M. Soares. MetaLibri, 2007).

17 CPM 200926 COMISIÓN DE MEDIDAS FITOSANITARIAS CUARTA REUNIÓN
2 MEDIDAS CAUTELARES ACORDADAS O EXTENDIDAS POR LA COMISIÓN
2 MEDIDAS DE FRECUENCIA EN EPIDEMIOLOGÍA OBJETIVOS UNA VEZ

Tags: académicos resumen----------------------------, méritos académicos, méritos, reflexiones, académicos, resumen, medida, escrito, contiene