Cómo medir la eficacia de la comunicación científica
Los indicadores de rendimiento (KPIs) al servicio de la medición de impacto de un proyecto
Las convocatorias de proyectos de investigación requieren que estos definan el impacto que tendrán sus planes de comunicación y divulgación. Medir la eficacia supone establecer, desde el diseño inicial, los indicadores que permitirán conocer en qué medida se cumplen los objetivos previstos. Los KPI (Key Prformance Indicator) permiten medir los resultados, identificar los elementos clave en su rendimiento, y tomar decisiones informadas sobre el desarrollo de las acciones de comunicación.
Definir indicadores para orientar el logro de los objetivos
Las convocatorias de proyectos ponen cada vez más empeño en que se describan de forma precisa los resultados y el impacto de la comunicación del proyecto para marcar la importancia que, desde su mismo diseño, tiene comprender este desde una dimensión 360º, considerando todos los públicos que forman parte del modelo de la cuádruple hélice de la innovación (Carayannis & Campbell, 2019).
Conocer la eficacia que tienen las acciones de comunicación científica, requiere, por tanto, definir una estrategia a través de la cuál se establezcan los mecanismos necesarios para saber en qué medida los objetivos planteados se logran, de forma que se pueda evaluar el desempeño real de las acciones llevadas a cabo, y corregirlas en su caso.
Uno de los instrumentos más habituales para hacerlo son los denominados KPI (Key Performance Indicator) que permiten evaluar el logro de los objetivos definidos en el proyecto. Los indicadores de rendimiento facilitan, mediante el uso de métricas cuantitativas (Bauer, 2004), evaluar cómo influyen las diferentes actividades en los resultados que se han obtenido, y de qué manera estas han incrementado o deteriorando los objetivos que se perseguían (IBM, 2017). La definición de estos indicadores sirve, además, para que, desde el inicio, todos los investigadores y colaboradores que participan en el proyecto conozcan y compartan la estrategia perseguida, lo que ayudará a que se sumen a ella y contribuyan al logro de los mismos objetivos colectivos.
Cómo definir nuestros indicadores
Establecer indicadores, y definir en ellos un valor esperado, nos acerca a conocer el ROI (Return of Investment), el retorno de la inversión del proyecto, y poder comunicarlo socialmente. Más allá del valor puramente cuantitativo que podamos asociar al ROI, lo cierto es que este puede incluir cualquier beneficio al proyecto, lo que incluye también datos subjetivos relacionados con el proyecto (Phillips, 1997). En el caso de los proyectos de investigación, y de forma concreta en sus planes de difusión y divulgación, el ROI debe estar asociado a todos aquellos otros elementos que generan valor y aportan beneficios medibles al proyecto, como el nivel de conocimiento de la acción, la participación de los agentes involucrados, la aplicabilidad del conocimiento obtenido, el nivel de interés generado, etc.
Actualmente existen diferentes modelos para la elaboración de indicadores de rendimiento, como el establecido por Parmenter (2015) que se desarrolla a través de siete niveles. Pero probablemente sea la metodología del Instituto ROI (2018) la que resulta más útil para la medición del retorno de inversión de un plan de comunicación de un proyecto competitivo de investigación. Esta establece cuatro grandes categorías: Reacción, aprendizaje, aplicación e impacto, y que se desarrollan en una secuencia de cuatro bloques:
- Evaluación del plan. Se desarrollan los objetivos que queremos alcanzar y, sobre estos, se establece el plan de evaluación y la forma de obtener y analizar los datos para hacerlo.
- Obtención de datos. Se definen los instrumentos de recogida de datos y se colectan estos en función de dichos instrumentos.
- Análisis de los datos. Se analizan los datos en el contexto del plan de comunicación del proyecto, se convierten los datos en métricas objetivables, y se calcula el ROI.
- Informar. Los resultados se trasladan a un informe que recoge tanto los beneficios obtenidos como los elementos de mejora para futuras fases del proyecto o la realización de nuevos.
Cómo seleccionar los indicadores
Es habitual encontrarse con diferentes fórmulas para referirse a los indicadores de rendimiento, como KPI, PI, lead indicator, lag indicator, metric, index, key figure… (Barr, 2008), por lo que esta misma diversidad hace que el número de opciones que nos pueden servir de referencia para medir una misma actuación sea muy diversa. En función de los elementos de medición, Badawy et al (2016), categorizan estos en: KRIs (Key result indicators, que señala lo que se ha conseguido), RIs (Result indicators, que indica lo que se ha hecho), Pis (Performance indicators, revela lo que se debe hacer), y KPIs (que establece lo que debe hacerse para incrementar el rendimiento).
Aterrizar este modelo en el seguimiento del impacto de un plan de comunicación es fundamental para que realmente nos resulten de utilidad. En función de dónde nos interese poner el acento, y qué nos interese medir, podemos utilizar (Vaisman & Zimányi, 2014):
- Indicadores de carácter temporal, como los Leading KPIs, Coincident KPIs o Lagging KPIs
- Indicadores cuantitativos o cualitativos, como los Quantitative KPIs o Qualitative KPIs)
- Procesuales, tanto de entrada como de salida, tales como los Input KPIs u Output KPIs
- Operacionales o estratégicos, como los Operational KPIs o Strategic KPIs
- De calidad, contexto, etc., como los Quality KPIs o Context KPIs).
La combinación de indicadores que utilicemos deberá ser lo más exhaustiva posible y resultar adecuada para que el seguimiento del proyecto y de sus acciones de comunicación, divulgación y difusión, de forma que permitan tomar decisiones informadas y corregir su orientación donde sea necesario.
Referencias
Badawy, Mohamed; El-Aziz, Abd; Idress, Amira M., Hefny, Hesham & Hossam, Shrouk. (2016). A survey on exploring key performance indicators. Future Computing and Informatics Journal, 1(1-2), 47-52.
Barr, Stacey. (2008) What Does ‘KPI’ Really Mean? KPI Library.
Bauer, Kent. (2004). KPIs-The metrics that drive performance management. Information Management, 14(9), 63.
Carayannis, E. G., & Campbell, D. F. (2019). Mode 1, Mode 2, and Mode 3: Triple Helix and Quadruple Helix. In Smart Quintuple Helix Innovation Systems (pp. 17-30). Springer, Cham.
IBM (2017). What are key performance indicators or KPIs?.
Parmenter, David (2015). Key Performance Indicators: Developing, Implementing, and Using Winning KPIs.
Phillips, Jack J. (1997). Measuring return on investment (Vol. 2). American Society for Training and Development.
ROI Institute (2018). The ROI Methodology.
Vaisman, A., & Zimányi, E. (2014). Data warehouse systems. Data-Centric Systems and Applications. Springer.
Te puede interesar
Ciencia y sociedad en la Unión Europea II
Desde 1977 los Eurobarómetros especiales sobre ciencia y tecnología, realizados por las instituciones europeas, muestran la evolución de la agenda temática de la investigación científica y tecnológica en la UE y la importancia que otorgan los europeos a las diferentes...
Cómo medir la eficacia de la comunicación científica II
El uso de identificadores persistentes se ha generalizado en los procesos de difusión científica tanto para autores (ORCID, WOS ResearchID…) como para artículos (DOI). ¿Pero sabes cuáles son los identificadores de las agencias y organizaciones que debes usar para...
La política científica en la construcción de la UE
Desde los orígenes de la actual Unión Europea (UE), la investigación científica se ha consolidado como uno de los elementos fundamentales de su construcción. Ha favorecido la colaboración entre los Estados miembros, al servicio, primero, de las políticas comunes...