La convocatoria 2023 de sexenios plantea un nuevo modelo de evaluación de las aportaciones basado en la bibliometría narrativa en la que la debe argumentarse cualitativamente el impacto científico y social.

Aprobados los criterios del sexenio 2023

El 5 de diciembre de 2023 ANECA presentó la versión final de criterios de evaluación que se aplicarán en la convocatoria 2023 del sexenio de investigación, una vez aprobados por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI).

El texto, que se publicará en el BOE en las próximas semanas, recoge, según señalan, las contribuciones recibidas durante el periodo de información y consulta pública abierto en el mes de noviembre que son competencia de ANECA. En aquellos aspectos que afectan a cuestiones procedimentales establecidas en la Orden ministerial de 2 de diciembre de 1994, como la tan reclamada obligación de revisar la fracción mínima de 8 meses para establecer el cómputo de año natural con contrato en dedicación a tiempo completo establecida en el artículo 10, o la habilitación para solicitar el sexenio determinadas figuras de profesorado universitario y de personal investigador, quedan en manos del Ministerio de Ciencia, Innovación y Universidades y de cada institución, respectivamente.

novedades de la convocatoria

La convocatoria presenta algunas novedades importantes que tratan de mejorar la calidad de la evaluación incluyendo elementos cualitativos y ampliando los elementos y fuentes de evaluación, en línea con la San Francisco Declaration on Research Assessment (DORA) los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA) y, aunque no se menciona expresamente, con el Leiden Manifesto for Research Metrics.

Conceptualmente es un avance importante y apunta en una buena dirección, pero cuya aplicación no es sencilla, y exige un proceso más laborioso por parte de solicitantes, evaluadores y gestores. Como se sabe, el diablo está en los detalles, y para que las buenas ideas se conviertan en procesos exitosos hacen falta recursos para llevarlos a cabo, tanto humanos como técnicos. Confiemos en que, detrás de este cambio relevante, que afecta a muchos aspectos, se haya simulado el escenario de aplicación y se hayan tenido en cuenta de forma detallada qué hace falta para que no embarranque el proceso. En breve lo sabremos.

El preámbulo del texto refleja las novedades destacadas que resumimos (puede consultarse el texto completo más abajo):

1. Ampliación de la tipología de aportaciones que pueden ser evaluadas, al extender qué puede incluirse en las solicitudes “extraordinarias”. Esto, en el caso de las áreas de Comunicación (Campo 7.1) es especialmente relevante porque, por primera vez, se recoge la valoración de las obras audiovisuales, un aspecto reclamado históricamente. Lástima que no hayan recogido la valoración de las obras digitales y multimedia, como se solicitó también desde diferentes asociaciones y colectivos durante el periodo de consulta pública (aspecto sobre el que habrá que volver)
2. Reformulación de la metodología de evaluación que, como señalábamos, incluye tanto elementos cualitativos como cuantitativos, introduciendo la bibliometría narrativa de cada aportación como instrumento para presentar, de manera rigurosa las “evidencias e indicios relacionados con la visibilidad, diseminación e influencia de los resultados de la investigación” (ANECA, 2023, p. 24) El texto dice, expresamente, que esta narración justificativa podrá apoyarse por un “uso responsable de indicadores cuantitativos”. Este cambio es profundo, porque hasta ahora, estos eran los elementos de referencia, y ahora pasan a ser un apoyo que ha de usarse de manera responsable. Seguramente no cabe en una resolución, pero hubiese sido didáctico hacer alguna referencia que concretase este aspecto genérico, de base ética, del uso responsable, aludiendo de nuevo, por ejemplo, a los grupos de trabajo de COARA sobre métricas e indicadores responsables, el clásico informe de The metric tide del UK Research and innovation, los resultados de la campaña Responsible Metrics, o el interesante ensayo de Islam & Greenwood (2022) “The Metrics of Ethics and the Ethics of Metrics“, especialmente para ayudar a comprender que se busca más calidad en el proceso evaluativo, y es un imperativo, pero que la calidad tiene un coste y se debe apostar por estructuras sólidas que lo hagan posible para evitar un fracaso y un rápido desencanto.
3. Impulso de la ciencia abierta a través de la potenciación del acceso abierto, libre y gratuito tanto de las publicaciones científicas como de los componentes de la investigación (metodologías, instrumentos, datos, programas de ordenador, modelos de aprendizaje automático…) El requerimiento de depósito de las aportaciones objeto de evaluación en repositorios institucionales (bien específicos de universidades, consorciados, o de ámbito global y propósito general como Zenodo, por ejemplo) cuyos procesos han sido documentados y se apoyan por unidades como la Ofilibre de la URJC o su repositorio institucional, es fundamental para impulsar un cambio en el modelo global de publicación, como lo es la inclusión expresa de la plataforma Open Research Europe para potenciar el acceso abierto diamante como objetivo irrenunciable. Es importante señalar la alusión que se hace al artículo 37.6 de la LCTI para facilitar el depósito de publicaciones que estén embargadas, respetando el “derecho de atribución o transferencia a terceros de los derechos sobre las publicaciones”, aunque no puedan quedar disponibles en acceso abierto.
4. Identificación de la aportación realizada en la investigación. La limitación del número máximo de autores ha estado condicionada en muchos casos por la imposibilidad de precisar el trabajo realizado por cada uno de ellos. Esto, en el caso de resultados de investigación obtenidos en proyectos en colaboración de carácter internacional ha supuesto una limitación muy importante. La incorporación de la taxonomía CRediT (Contributor Roles Taxonomy) no resuelve por completo el problema, pero es un avance significativo para impulsar la identificación precisa de los roles desarrollados en una investigación y la aportación que cada autor tiene en ella, más allá de su mera posición en el orden de autorías.
5. Incorporación del Campo 0. Interdisciplinar y multidisciplinar con la finalidad de evaluar las trayectorias claramente interdisciplinares, o cuya actividad, durante el periodo sujeto a evaluación, lo haya sido y tenga un encaja complejo en un área determinada.

preparando la solicitud

A partir de estos criterios generales, veamos ahora qué nos solicitan para preparar la solicitud:

• Se deben presentar 5 aportaciones principales que pueden acompañarse de 2 aportaciones sustitutorias.
• Las aportaciones que se presenten a sexenio de investigación no podrán hacerlo en el sexenio de transferencia (cuando sea que se convoque de nuevo) Esto está especialmente dirigido a las aportaciones de carácter extraordinario ya que al ampliar la tipología de aportaciones la convocatoria deja una delgada línea entre qué es investigación y qué transferencia (pero esto es objeto de otro debate)
• En la narración justificada de los méritos se debe:
  • Demostrar el impacto científico o social, es decir, que se hagan evidentes los beneficios que aporta más allá del ámbito académico.
  • Tener en cuenta que los indicadores bibliométricos, como la indexación en un determinado repertorio bibliométrico o base de datos, es ahora un argumento de carácter complementario que ayuda a entender la narrativa que se hace de la aportación, pero ya no supone, al menos en el papel, que determinados indicadores bibliométricos del medio (revista, editorial…) vayan a dar como resultado una valoración positiva. En este sentido, se pone el peso en la calidad intrínseca del contenido lo que, sin duda, es todo un reto para la gestión del proceso de evaluación y para quienes vayan a estar involucrados en él.
  • Estar publicadas o registradas en los años sometidos a evaluación, aunque sirve si está disponible en cualquiera de los modelos de publicación continua (forthcoming, online first, in press…) y dispone de identificador persistente.
  • Indicar la aportación realizada en la investigación. Si el medio de publicación incluye la taxonomía CRediT se debe aludir a la información incorporada en esta, y, en caso contrario, se deberá documentar en la narrativa la contribución realizada siguiendo el esquema de roles de esta taxonomía.
  • Informar si se ha utilizado Inteligencia Artificial Generativa en el caso de que su uso haya contribuido al resultado original de la aportación. Ello se alinea con el ámbito 8 de actuación de las Recomendaciones sobre la Ética de la Inteligencia Artificial de la UNESCO (2021) así como las realizadas por un conjunto editores de revistas internacionales sobre el Uso de Inteligencia Artificial Generativa en las publicaciones (Kaebnick et al, 2023)
  • Incluir la evidencia del depósito en un repositorio institucional abierto.
  • Revisar, en el caso de que la aportación sea un conjunto de datos, que cumplen los principios FAIR.
• De manera específica, para los investigadores de Comunicación, que presenten su evaluación por el subcampo 7.1. Ciencias Sociales y Estudios de Género, se debe considerar:
  • Que se requiere como mínimo que, de las cinco aportaciones, dos sean artículos con alta relevancia e impacto publicados en revistas o plataformas como las referidas previamente.
  • Que el número maximo de aportaciones extraordinarias es 2.
  • Que por primera vez se valoran las obras audiovisuales que cumplan los siguientes requisitos:
    • Que la financiación, exhibición, distribución o impacto demuestre que han sido sometidos a procesos de selección rigurosa por parte de comités especializados que sean indicadores de la calidad del producto de investigación.
    • Que sean, por tanto, a) obras seleccionadas en festivales de reconocido prestigio, congresos con comité evaluador, así como la presencia en revistas académicas con revisión por pares que publiquen este tipo de trabajos audiovisuales; o, b) obras distribuidas y estrenadas en salas, incluidas en catálogos y presentes en exposiciones y plataformas de distribución tanto generalistas como especializadas.
    • Para documentar la relevancia y el impacto, dado que no hay índices normalizados, es importante incluir también críticas, reseñas en revistas especializadas, exposiciones en museos u otras instituciones científicas, o presentaciones invitadas en departamentos universitarios, centros de investigación o equivalentes, que se hayan producido.
    • Que se valoran preferentemente las aportaciones publicadas en:
      • Revistas de calidad contrastada o indexadas en bases de datos bibliográficas de reconocido prestigio.
      • Medios que hayan recibido un sello o reconocimiento de calidad por un organismo independiente (vg. FECYT).
      • Plataformas de publicación de resultados de investigación como Open Research Europe.
      • Editoriales o colecciones que cuenten con sello de calidad otorgado por una institución de reconocido prestigio, y en las que se hayan publicado libros o capítulos de libros. En estos casos, también serán criterios de valoración las reseñas que estos hayan recibido en revistas científicas especializadas.

recursos para buscar la información y completar la bibliometría narrativa

Hasta ahora, el medio de publicación era la fuente fundamental de información sobre la calidad de la aportación.

Ahora, con el fin de mejorar ese proceso de valoración específica de cada una de ellas, se aplica un sistema cualitativo definido a través de la narrativa de impacto científico-social de la aportación que debe argumentarse en base a una diversidad de métricas, fuentes y dimensiones, apoyadas por un uso responsable de los indicadores biblométricos.

Se trata de un proceso que introduce riqueza en el proceso de evaluación y, esperablemente, debe mejorar cómo se evalúan estos méritos. Pero es cierto que esta densidad de “sensorización” del impacto científico y social también incorpora una mayor complejidad, requiere más formación y conocimiento sobre la generación, seguimiento y análisis de dicho impacto, y ello requiere una comprensión más global del fenómeno.

En la siguiente infografía dinámica se presentan, de forma gráfica, una selección de métricas, fuentes y dimensiones que, a partir de la Tabla 1 publicada por ANECA (2023, p. 28) presenta las diferentes dimensiones y niveles, incluyendo una explicación del contexto/narrativa y un enlace a una selección de fuentes que pueden usarse para documentar el impacto.

Obtener indicadores en los portales científicos de las universidades

Los portales científicos que ofrecen las universidades y centros de investigación, permiten recuperar informes específicos con una parte importane de las métricas que se precisan para la creación de la bibliometría narrativa. Así, por ejemplo, el sistema iMarina dispone en sus iReport de un modelo específico para la convocatoria 2023.

En este se puede configurar el informe seleccionando las fechas de recuperación o el tipo de ítems (artículos, capítulos, libros…) entre otros aspectos.

Aunque la calidad de los resultados dependerá de la información que tenga capturada la plataforma, lo que según los casos puede variar mucho, es una buena aproximación para recoger de forma sencilla algunos indicadores. En el caso de las plataformas de impacto social ofrece un acceso directo a la información de la aportación en dicha plataforma lo que ayuda a localizarlo de forma rápida, e indudablemente, ahorra tiempo. Merece la pena que las universidades continúen mejorando la calidad de estas plataformas. Va a ser imprescindible.

Conclusiones

La convocatoria de sexenios 2023 plantea un cambio importante en su diseño, específicamente en lo que respecta a los criterios de evaluación de las aportaciones.

Su diseño es coherente con lo establecido en la Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario (LOSU), así como con el Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos, y pasa a un modelo cualitativo que se alinea con los acuerdos y principios de la Coalition for Advancing Research Assessment (CoARA).

El nuevo modelo enriquece el proceso de evaluación, y, en el plano teórico, ofrece mayor información para realizar una evaluación más ajustada a los méritos presentados. Es un cambio sistémico y, sobre todo, social, porque supone replantear la forma de comprender el impacto científico y social de la actividad investigadora.

Es, sin duda, un reto, porque el cambio será progresivo, pero la convocatoria es inminente, y queda por saber si para el esfuerzo extra que supondrá se contará con los mecanismos de apoyo necesarios. En ello estará parte de su éxito.

Texto de la resolución (enviado a boe)

Referencias

ANECA (2023, 5 de diciembre) Aprobados los criterios de evaluación de la próxima convocatoria 2023 del sexenio de investigación. https://www.aneca.es/web/guest/-/aprobados-los-criterios-de-evaluaci%C3%B3n-de-la-pr%C3%B3xima-convocatoria-2023-del-sexenio-de-investigaci%C3%B3n

ASTON University (2023) Responsible Use Of Publication Metrics Policy and Operational Principles. https://www.aston.ac.uk/research/supporting-our-researchers/responsible-use-publication-metrics-policy-and-operational-principles

Islam, G., Greenwood, M. The Metrics of Ethics and the Ethics of Metrics. J Bus Ethics 175, 1–5 (2022). https://doi.org/10.1007/s10551-021-05004-x

Kaebnick, Gregory E., Magnus, David Christopher, Kao, Audiey, Hosseini, Mohammad, Resnik, David, Dubljević, Veljko, Rentmeester, Christy, Gordijn, Bert, and Cherry, Mark J., “ Editors’ Statement on the Responsible Use of Generative AI Technologies in Scholarly Journal Publishing,” Hastings Center Report 53 no. 5 (2023): 3–6. DOI: 10.1002/hast.1507

Responsible Metrics (2023) https://responsiblemetrics.org/

UNESCO (2021) Recomendación sobre la Ética de la Inteligencia Artificial. UNESDOC Biblioteca Digital. https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa

Wilsdon, James. et al. (2015) The Metric Tide Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE. https://www.ukri.org/wp-content/uploads/2021/12/RE-151221-TheMetricTideFullReport2015.pdf