Análisis de las notas del escrito (OEP2022)

Antecedentes

El Tribunal es el órgano colegial que asume la responsabilidad de seleccionar para la Administración su personal de nuevo ingreso. Debe aplicar los principios de mérito y capacidad contemplados en la Constitución. Hay otros principios relevantes y podéis leer sobre ellos aquí.

En su actuación rige la discrecionalidad técnica y es francamente complicado que nadie pueda alegar nada en relación a este aspecto. Cualquier recurso que se planteé, en términos generales, solo puede estar basado en los aledaños. Para aclarar los términos empleados en este párrafo podéis leer esta entrada.

En convocatorias pasadas siempre surgieron rumores acerca del nivel de exigencia del comité de selección según quien formara parte de este. Sin embargo, era difícil de hacer cualquier tipo de análisis ex post, en la medida que no era observable ningún tipo de contrafactual y todo quedaba en teorías más o menos conspiranoicas.

En esta convocatoria podríamos considerar que las cosas han cambiado. La publicación de las notas no se ha visto alterada. Se sigue sacando un único listado. Sin embargo, es posible saber en qué sala leyó cada opositor y en base a ello hacer algún tipo de comparación.

Para que quede claro, la única variable explicativa que tenemos, a la vista de las notas, es la sala en la que cada uno leyó. Cualquier diferencia solo podrá ser explicada en base a la sala. Pretender vincularla a cualquier otro aspecto es, sin matices, tendencioso, en la medida que nadie, que nosotros sepamos, tiene información completa y, por tanto, estará sesgada.

Funcionamiento del Tribunal

Regulación en la convocatoria y operativa publicada

En la convocatoria se afirma lo siguiente sobre el tribunal:

• Apartado 8.1.a): ‘El Tribunal calificador de ambos procesos selectivos es el que figura como anexo III a esta convocatoria y actuará con sujeción a la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas, a la Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público, y a las demás disposiciones vigentes.’
• Apartado 8.2.b): ‘Los miembros titulares y suplentes del Tribunal podrán actuar indistinta o conjuntamente en aras a su mejor funcionamiento.’

El primer punto podríamos decir que tiene que ver con el cumplimiento de los principios fundamentales comentados en la primera sección de este post. El segundo podría justificar la lectura en dos salas. Esto mismo se vería refrendado en el Manual de Órganos de Selección (‘También se podrá prever que el Órgano de Selección pueda celebrar sesiones simultáneas con distinta configuración de miembros participantes en ellas’, página 25 del PDF, segundo párrafo).

El Tribunal acordó unos criterios de valoración para el examen escrito.

Regulación en el Manual de Órganos de Selección

El Manual de Órganos de Selección destaca los siguientes aspectos sobre los tribunales (página 6 del PDF):

• ‘Los Órganos de Selección son órganos colegiados cuya función es llevar a cabo la selección de los candidatos de los procesos selectivos para los que son nombrados. Para ello deberán proceder a la organización y desarrollo de dichos procesos y a la calificación de las pruebas selectivas que en ellos tengan lugar, y en su caso, a la comprobación y calificación de los méritos de los aspirantes, con sujeción a los principios constitucionales de igualdad, mérito y capacidad, así como a los principios generales de publicidad, objetividad y celeridad.’
• ‘La peculiar naturaleza de este tipo de órganos determina que en lo referente a la actuación de sus miembros no estén sometidos al principio de jerarquía entre ellos mismos, pues únicamente están obligados por la Ley, sin que ningún miembro pueda dar órdenes a otros en virtud de rango o antigüedad.’
• ‘El Órgano de Selección, como órgano colegiado, no está tampoco sometido a ninguna autoridad.’

Para aquellos que se pregunten por qué mencionamos este manual, es el que el tribunal ha dicho en todas sus memorias que sigue.

Situación observada

Respecto al Tribunal

Se desconoce cómo se seleccionaban las personas que estarían en cada una de las salas. Hemos intentado obtener esta información a través de este formulario y los resultados no son concluyentes. Más que nada porque apenas han contestado una veintena de personas.

El formulario lo difundimos a través del grupo de telegram que creamos en su momento, con el fin de que intentar minimizar el ruido en los datos. En azul tenéis los que se incluyeron antes de la publicación de esta entrada.

Respecto a los opositores

Se presentaron 276 personas y aprobaron 150.

Este hecho ha de ser considerado, en términos generales, como positivo. Nuestra mejor previsión, con la cifra de asistentes al examen, era de 140 aprobados. Han aprobado 10 personas más de las previstas. De este modo, todo el mundo debería estar contento.

¿Todos?

Las calificaciones, distribuidas por salas serían las mostradas en la siguiente gráfica.

El hecho que llama más la atención es que, de los 126 suspendidos, el 40% está en la primera y el 60% restante en la segunda.

Con la idea de saber vuestra opinión sobre qué ha podido pasar hemos publicado esta encuesta en twitter. Pasamos a comentar a continuación las tres opciones posibles y una eventual cuarta que añadimos con posterioridad.

Distintos criterios de valoración

Esta opción es claramente la menos probable, por no decir imposible. El tribunal ha publicado unos criterios de valoración. No tiene ningún sentido que se apliquen otros diferentes.

Mismos criterios, diferente apreciación en cada sala

En una primera lectura, este motivo es el más verosímil. Es el que más votos ha recibido. Pero plantea una serie de preguntas de las que no tenemos respuestas. La fundamental sería, ¿qué hay que entender como ‘sala’?

Las salas no son las que ponen las notas. Las ponen las personas que están dentro. ¿Quién ha estado dentro de cada sala? No se sabe, aunque creemos que a través de Transparencia podríamos obtener esta información. A priori, cualquier opción se puede resumir en alguna de estas dos:

• Cada sala la ocupa un tribunal, el titular o el suplente. De este modo, aunque habrá una cierta variabilidad, se puede considerar que también hay una cierta consistencia en la apreciación. Si asumimos que el quorum está en 7, en dos sesiones sucesivas como mínimo habrá 3 personas que repitan. Si fuera de 6, una. Solo a partir de 5 puedes encontrarte con dos días seguidos sin que necesariamente haya solapamiento. No sabemos cuál es el quorum de este tribunal. De nuevo, seguramente vía Transparencia se pueda saber.
• Los miembros de los dos tribunales rotan en las dos salas. Esta opción es especialmente problemática, como se verá en la conclusión.

No es válido asumir una distribución uniforme de notas entre las dos salas

Estadística la tuve en 3º de carrera. Este año se cumplen los 25 de mi graduación. Lo único que recuerdo de la asignatura es la ley de los grandes números, comentada en este blog ya aquí. Lo que se venía a defender en esa entrada es que si tu nota es la media de la que te ponen 7 personas, seguramente esta se parezca mucho a la real que te pondría un juez imparcial y justo.

Aquí no tiene nada que decir. El problema es si, cogiendo un grupo de 137 y 139 personas de un total de 276, estos dos grupos representan el comportamiento del total de los opositores. Cabe decir aquí que la selección de los dos grupos es aleatoria. No parece verosímil que ningún sesgo y que a una sala haya ido gente con mejor examen que a la otra.

Dado el tiempo transcurrido y mi casi nula relación con la estadística durante este periodo, he tenido que tirar de google para resolver la pregunta. En mi ayuda ha acudido esta página web con una ‘Calculadora de tamaño de muestras para tu investigación’.

Los datos que hemos metido son:

• Nivel de confianza: 95%.
• Margen de Error: 10%.
• Población: 276

La calculadora con estos datos da un tamaño de muestra de 72 personas. Si hacemos cuadrar el tamaño de muestra hasta 137 personas, podemos bajar el margen de error hasta el 6%.

Un grado de confianza del 95% y un margen de error del 6% nos dicen, de forma muy resumida, que todos los opositores y las dos mitades de ellos deberían tener, razonablemente, la misma distribución de notas. No hay ninguna certeza. Esto también ha de quedar claro, pero, si hubiese que apostar, ganaríamos más dinero diciendo que ´sí’ que diciendo que ‘no’.

Conclusiones, con mención a la diferente configuración de los tribunales

Si asumimos como cierto que las notas de las personas en ambas salas deberían tener una distribución semejante, la disparidad en la distribución de las notas podría explicarse si hay algún tipo de error sistemático que hace que la media de un tribunal esté algo desplazada respecto a la del otro.

No obstante, esto implicaría, tácitamente, que estaríamos suponiendo una cierta consistencia en la forma de valorar los criterios establecidos. Para conseguir esto solo se nos ocurre que los miembros del tribunal fuesen razonablemente estables en cada sala.

Si lo que sucedió es que las 22 personas de los dos tribunales rotaron aleatoriamente entre las dos salas, se podria argumentar que la media de sus notas converge con la real (ley de los grandes números), por lo que ya la tenemos liada. Esta convergencia de la nota del tribunal por persona debería hacer semejante la distribución de las notas y esto no sucede.

Otra opción podría ser que en lugar de tener a ‘n’ personas independientes en su criterio tuviéramos a 1-2 líderes por sala y el resto seguidores del criterio de ellos. Es decir, que en vez de tener a un grupo como podría ser los Beach Boys o Mocedades, tenemos a un solista con un coro, como el Padre Abraham y los Pitufos o Alaska y los Pegamoides.

Por último, podrá haber cualquier tipo de combinación lineal de las tres alternativas planteadas.

¿Qué es lo que ha pasado entonces? Ni la más remota idea. Nos faltan datos.

Lo que sí está claro es que los datos llaman la atención y pueden levantar suspicacias. A los suspendidos de si podrían haber aprobado si hubiesen sido citados en la otra sala. En sentido contrario, a los aprobados de si podrían haber suspendido si hubiesen sido citados en la otra sala y, adicionalmente, de si su aprobado en el oral puede depender de la sala que les toque. Todo mal.

Eso sí, a nivel agregado no hay ningún problema. Aprobarán más funcionarios de los esperados, presumiblemente. Lo único que cabría plantearse es si son los que tenían más mérito y capacidad y si a todos se les ha tratado con igualdad.

Actualización 25 de enero de 2023: consultado un estadístico, nos ha dicho que para obtener información concluyente sobre si los tribunales han actuado de manera diferente hay que hacer un contraste de hipótesis. No somos expertos en la materia y hemos empleado un tutorial de youtube. Tenéis la información aquí. La conclusión parece ser clara, pero somos cautos al no tener muy clara la aplicabilidad del modelo.

Propuestas

La mujer del César, además de ser honesta, debe parecerlo. Hay formas de conseguirlo. A bote pronto se nos ocurren dos.

• Asignación aleatoria de los tribunales en las salas.
• Votación secreta, de tal modo que no haya seguidismo entre los miembros del tribunal.

La otra opción que siempre nos quedará será ajustar las notas a martillazos, desplazando una o las dos normales.

Contacto y comentarios

Como siempre, puedes ponerte en contacto con nosotros aquí para tratar el contenido de este post o cualquier otro relacionado con la oposición.

Del mismo modo, agradeceremos cualquier comentario que quieras poner a esta entrada o cualquier otra del blog.