Título del Capítulo: «Modelos de evaluación en relaciones públicas»
Autoría: Paula Pineda-Martínez;
Antonio Castillo-Esparcia
Cómo citar este Capítulo: Pineda-Martínez, P.; Castillo-Esparcia, A. (2025): «Modelos de evaluación en relaciones públicas». En Pineda-Martínez, P.; Castillo-Esparcia, A., Evaluación de las campañas de comunicación estratégica en redes sociales. Salamanca: Comunicación Social Ediciones y Publicaciones.
ISBN: 978-84-10176-11-9
d.o.i.: https://doi.org/10.52495/c4.emcs.38.rpyco3
Capítulo 4. Modelos de evaluación en relaciones públicas
Tal y como se ha visto, la evaluación en redes sociales tiene unos principios similares a los de las relaciones publicas «tradicionales», siendo el problema que la terminología empleada es a menudo muy diferente (CIPR, 2011a; Watson y Noble, 2014). Además, la medición de las redes sociales debe realizarse de manera integrada con otros métodos y fuentes de investigación (CIPR, 2011b; AMEC Public Relations Agency Working Group, 2023), por lo que su evaluación debe ser comprendida desde un marco integral de la evaluación de los programas o campañas de relaciones públicas.
Tomando esta idea como punto de partida, conocer los modelos de evaluación existentes en relaciones públicas se torna fundamental, ya que constituyen la base sobre la que se asientan la medición y evaluación en el medio online. Tal y como afirman Castillo y Álvarez Nobell (2014), los modelos de evaluación constituyen «un fundamento y antecedentes ineludibles» para la medición en comunicación digital, ya que los cambios y mejoras, dicen, se estarán produciendo y se producirán en torno a «la medición, las herramientas y dispositivos, las métricas e indicadores, etc. No así en la función de evaluación propiamente dicha (…)» (p. 132).
Con todo ello, no hay que olvidar que las redes sociales constituyen un medio con unas características diferenciales. En los últimos años, se observa que la literatura especializada también ha realizado contribuciones específicas en lo que respecta a los procesos de medición y evaluación a aplicar en medios/redes sociales de manera singular. Algunos de ellos pueden considerarse propiamente «modelos», mientras que la mayor parte constituirían únicamente «marcos» que agregan dimensiones adicionales a un modelo (Bartholomew, 2013b), o únicamente aportaciones relacionadas con el proceso de medición y evaluación en redes/medios sociales.
Así pues, en las próximas líneas se analizarán los principales modelos/marcos de evaluación de los programas/campañas en el campo de las relaciones públicas, diferenciándolos con base en su carácter integral (modelos generales de evaluación de los programas/campañas en relaciones públicas) y específico (modelos/marcos de evaluación en relaciones públicas específicos para medios/redes sociales).
En el caso de los modelos generales de evaluación de los programas/campañas en relaciones públicas, para abordar la gran cantidad y diversidad de modelos existentes, recurrimos a la literatura especializada, que se ha encargado de recabar y describir de forma pormenorizada el mayor número de modelos tanto desde la escuela de las relaciones públicas como de otras corrientes comunicativas. Concretamente, se han revisado las compilaciones de modelos de evaluación realizadas por Armendáriz (2010: 66-99), Cuenca (2010; 2012), Marca (2011: 118-175), Álvarez Nobell (2011: 51-71), Castillo y Álvarez Nobell (2014: 132-136), Watson y Noble (2014: 54-74), Macnamara y Likely (2017), Gregory y Macnamara (2019: 3-7). Adicionalmente, se añaden otros modelos identificados de manera propia en la literatura sobre evaluación.
En lo que respecta a los modelos/marcos de evaluación en relaciones públicas específicos para medios/redes sociales, al contrario de lo que ocurría con los anteriores modelos de evaluación en relaciones públicas, al no existir un listado o compilación previa de modelos/marcos específicos para medios/redes sociales, y constituir, además, un campo con un desarrollo relativamente reciente, resulta muy complicado elaborar un listado completo y exhaustivo de modelos/marcos. Por ello, se ha procedido a la identificación de los modelos/marcos a través de la literatura especializada en medición y evaluación en medios/redes sociales.
A partir de la identificación de los modelos, se seleccionaron para su análisis únicamente aquellos que han sido ampliamente citados por la literatura en relaciones públicas, o que por las aportaciones que realizan resultan de especial interés y ayudan a entender la evolución en este campo. De todos los modelos analizados se profundiza de forma especial en el «Integrated Evaluation Framework» elaborado por la AMEC (2016), al tratarse de uno de los principales modelos de referencia en la actualidad a nivel internacional, y que más difusión y alcance ha tenido tanto entre la academia como en la industria de las relaciones públicas.
Cada una de las compilaciones que se han tomado como punto de partida para la identificación de los modelos de evaluación generales, utiliza una lógica o criterio diferente para su clasificación. Por ejemplo, Marca Frances (2011), diferencia los modelos de evaluación en relaciones públicas de los modelos de planificación estratégica en relaciones públicas y comunicación corporativa que contemplan la evaluación dentro de sus etapas. Respecto a estos últimos modelos de planificación estratégica en comunicación corporativa, los divide entre: 1) modelos de planificación estratégica de comunicación integral, empresarial, organizacional, institucional y de reputación; 2) modelos de comunicación de crisis e issues management; y 3) modelos de planificación estratégica en comunicación interna. Castillo y Álvarez Nobell (2014), por su parte, toman como base la clasificación propuesta por Wilcox et al. (2001) añadiendo algunas categorías propias: 1) medición de la producción; 2) medición de la exposición; 3) medición del impacto; 4) medición de la participación; 5) las auditorías de la comunicación; 6) la medición en comunicación digital; 7) modelos integrales de medición y evaluación en comunicación estratégica. Otras compilaciones como, por ejemplo, la de Armendáriz (2010), Watson y Noble (2014) o Gregory y Macnamara (2019), simplemente ordenan de forma cronológica los modelos de evaluación identificados, sin ordenarlos en base a ningún tipo de clasificación.
En este libro se analizan los modelos seleccionados según lógica evolutiva, ordenados de forma cronológica en función de su año de publicación, y considerando las aportaciones realizadas por cada uno de ellos respecto a la literatura precedente. Finalmente, se presenta una conclusión de la revisión de los modelos analizados, considerando las similitudes y diferencias existentes entre los mismos, así como su desarrollo progresivo en el tiempo.
Durante los últimos años han surgido una gran cantidad de modelos para la evaluación de la comunicación estratégica y las relaciones públicas. La mayoría de ellos se encuentran basados en la teoría del cambio y la teoría de programas, que se desarrollaron en los años setenta y ochenta en el ámbito de la administración pública (Macnamara y Gregory, 2018: 6; Gregory y Macnamara, 2019: 3). Estos modelos persiguen finalidades teóricas, prácticas o mixtas (Marca Frances, 2011), y tienen en común el mostrar la importancia del uso de técnicas, métricas e instrumentos diferentes dependiendo de lo que se esté midiendo (Lindenmann, 1993: 9), así como la necesidad de monitorizar durante todo el proceso, y no solamente al final.
En la Tabla 8 puede verse un resumen de los modelos analizados a continuación, considerando los niveles de evaluación propuestos por cada uno de los modelos, así como sus principales aportaciones. Además, se identifica la consideración o no de métodos y/o métricas de evaluación para los medios sociales online dado su interés para la propia investigación, si bien se ahonda en este aspecto en el posterior análisis.
Tabla 8. Modelos de evaluación en relaciones públicas.
|
Autor/a y año |
Modelo (denominación) |
Niveles de evaluación |
Principales aportaciones |
Consideración de métodos/ métricas de evaluación para medios sociales online |
|
Broom (1977) |
«The coorientational model» |
1) la perspectiva de la organización sobre el asunto; 2) la perspectiva del público sobre el asunto; 3) la estimación que la organización realiza sobre cómo el público define el asunto; 4) la estimación que el público realiza sobre cómo la organización define el asunto. |
Enfatiza la importancia del punto de vista de los públicos en la evaluación. |
|
|
Grunig y Hunt (1984) |
«The objectives/effects taxonomy» |
1) Comunicación/Recepción del mensaje; 2) Retención del mensaje; 3) Aceptación de las cogniciones; 4) Formación o cambio de actitud; 5) Conducta. |
Se contribuye al establecimiento de una jerarquía básica de objetivos/efectos de relaciones públicas. |
|
|
Cutlip, Center y Broom (1985) |
«Preparation, Implement, Impact (PII) model» |
1) Preparación (investigación formativa); 2) Implementación (difusión, recepción, atención); 3) Impacto (recuerdo, cambio de opiniones, actitudes y comportamientos, cambio social y cultural). |
Separación entre los niveles de distribución (Output) e impacto (Outcome). Diferenciación de métricas y metodologías por nivel. |
|
|
Macnamara (1992; 2002) |
«Macro Model of PR evaluation» / «Pyramid Model of PR Research» |
1) Inputs (investigación formativa); 2) Outputs (difusión, recepción, alcance, consideración, retención y comprensión); 3) Outcomes (actitudes y conductas). |
Contribuye a la separación entre los niveles de distribución (Output) e impacto (Outcome). Diferenciación de métricas y metodologías por nivel. |
|
|
Lindenmann (1993) |
«PR Effectiveness Yardstick» |
1) Básico / Output (publicaciones en medios, impresiones, público objetivo); 2) Intermedio / Outgrowths (recepción, conocimiento, comprensión y retención); 3) Avanzado / Outcomes (cambio en opinión, actitud y comportamiento). No considera la investigación formativa (Inputs) como primer nivel de evaluación. |
Incide en la importancia de establecer los objetivos y métodos de evaluación antes de comenzar con la actividad de RR.PP. Diferenciación de métricas y metodologías por nivel. |
|
|
International Public Relations Association (1994) |
«IPRA Model of Evaluation» |
1) Preparación / Inputs (planificación y producción); 2) Implementación / Outputs (difusión, alcance, aceptación); 3) Impacto / Outcomes (adquisición y aplicación de conocimiento, cambio de opiniones, actitudes y comportamientos). |
El primero en utilizar las etapas de Inputs, Outputs, y Outcomes. |
|
|
Autor/a y año |
Modelo (denominación) |
Niveles de evaluación |
Principales aportaciones |
Consideración de métodos/ métricas de evaluación para medios sociales online |
|
Watson (1996) |
«Short Term Model» y «Continuing Model of Evaluation» |
Fases genéricas en el caso de ambos modelos, sin detallar niveles de evaluación. |
Diferencia entre los programas de RR.PP. a corto y largo plazo. Enfoque de retroalimentación de todo el proceso de la planificación estratégica. |
|
|
Lindenmann (1997a; 2003) |
«The IPR model» |
1) Outputs (grado de exposición de la organización); 2) Outcomes (recepción del mensaje, atención, comprensión, retención e impacto en opiniones, actitudes y comportamientos); 3) Outcomes de negocio/organizacionales (relación entre Outcomes de RR.PP. y Outcomes deseados para la organización). 4) Posteriormente, se adopta el nivel de Outtakes (recepción, atención, comprensión y retención) como paso intermedio entre Outputs y Outcomes (cambios en las opiniones, actitudes y comportamientos). |
Adopción del nivel de evaluación Outtakes como paso intermedio entre Outputs y Outcomes. |
|
|
Watson y Noble (1999) |
«Unified Evaluation Model» |
1) Input (planificación y preparación); 2) Output (mensajes y target); 3) Impact (conocimiento e información); 4) Effect (actitud y motivación); 5) Result (comportamiento y acción). |
Identifica cinco fases de evaluación, frente a los anteriores que incluían tres o cuatro fases. Contribuye a visibilizar la importancia de la retroalimentación en el proceso de evaluación. |
|
|
Fairchild y O’Conner (1999) |
«PRE Process» |
1) Auditoría; 2) Establecimiento de objetivos; 3) Estrategia y plan; 4) Medición continua; 5) Resultados y evaluación. Mayor semejanza a un modelo global de planificación que a un modelo específico de evaluación. |
Contribuye al entendimiento de la evaluación como una parte integral del proceso de planificación estratégica (perspectiva dinámica de la evaluación). |
|
|
Deutsche Public Relations Gesellschaft y Gesellschaft Public Relations Agenturen (2000) y Deutsche Public Relations Gesellschaft y International Controller Association (2009) |
«Communication controlling framework» |
1) Input (recursos humanos y económicos); 2) Output interno (desempeño de los procesos internos) y externo (cobertura y contenido accesible para el target); 3) Outcome directos (conocimiento, recuerdo) e indirectos (opiniones, actitudes, emociones, intenciones conductuales y comportamientos); 4) Outflow (impacto en los objetivos estratégicos y/o financieros de la compañía, y en los recursos tangibles y/o intangibles. |
Se incluye en el proceso de evaluación la contribución de la comunicación a la creación de valor de la compañía (Outflow). |
|
|
Álvarez Nobell (2013) |
«Communication Management Bridge» |
1) Planificación de la evaluación, objetivos de comunicación alineados con objetivos organizacionales: 1.1) Output (eficiencia del proceso, calidad, cobertura y contenido); 1.2) Outtake (recepción, comprensión, retención y reproducción); 1.3) Outcomes (contribución a los objetivos de negocio, en base a impacto en opinión, actitud, emociones, predisposición del comportamiento y comportamiento); 2) Diseño de la medición (definición de variables, dimensiones e indicadores); 3) Medición (niveles, dispositivos, protocolos, cuadro de mando, reportes y presentaciones). |
Contribuye al nexo entre los objetivos/resultados de comunicación y objetivos/resultados de la organización. Incluye métodos propios del management. |
|
|
Autor/a y año |
Modelo (denominación) |
Niveles de evaluación |
Principales aportaciones |
Consideración de métodos/ métricas de evaluación para medios sociales online |
|
European Commission (2015) |
«Communication Evaluation Model» |
1) Inputs (planificación y diseño de la comunicación); 2) Activities (generación de productos/entregables de comunicación); 3) Outputs (alcance); 4) Results (recuerdo, engagement, tasas de conversión); 5) Impacts (cambio de conducta y/o cultural en opinión pública, sociedad, economía, comportamiento individual). |
Contribuye al afianzamiento de cinco niveles de evaluación y la consideración de la contribución del programa o campaña de relaciones públicas a los objetivos/resultados organizacionales. |
X |
|
Government Communication Service (2015, 2018) |
«UK Government Communication Service evaluation framework» |
1) Inputs (planificación, preparación, pre-testing, producción); 2) Outputs (distribución, exposición, alcance); 3) Outtakes (conocimiento, comprensión, interés, engagement, preferencia, soporte); 4) Outcomes (impacto, influencia, efectos en actitudes y conductas); 5) Impacto organizacional (ingresos, reducción de costes, acciones de conformidad —cambio de actitud, comportamiento—, retención, Reputación). |
Contribuye al afianzamiento de cinco niveles de evaluación, y a la alineación con los objetivos/resultados organizacionales. Incide en la evaluación como un proceso iterativo. |
X |
|
Association of Measurement and Evaluation of Communication (AMEC) (2016) |
«Integrated Evaluation Framework» |
1) Inputs (target, información, presupuesto y recursos para el diseño del programa); 2) Actividades (investigación formativa, planificación, diseño y producción de materiales); 3) Outputs (distribución, cobertura, alcance); 4) Out-takes (atención, conocimiento, comprensión, interés, engagement, consideración); 5) Outcomes (aprendizaje/ conocimiento, confianza, preferencia, intención, cambio de actitud, comportamiento deseado, recomendación); 6) Impacto organizacional (reputación, relaciones establecidas o mejoradas, ingresos, fidelización, retención del personal, cambios organizacionales, cambio social, etc.). |
Fomento de estándares internacionales para la medición de medios y canales de forma integrada. Refuerza la contribución de la comunicación a los objetivos y estrategias generales de la organización. Además de los impactos organizacionales, también se tienen en cuenta en el proceso de evaluación los producidos en la sociedad, si bien el modelo continúa partiendo de una visión centrada en la organización. |
X |
|
Macnamara (2018a) |
«Integrated model of evaluation» |
1) Inputs (preparación); 2) Activities (producción); 3) Outputs (distribución, exposición/recepción); 4) Outcomes (respuesta, ej.: conocimiento, cambio de actitud, acción/comportamiento); 5) Impact (resultados, ej.: ingresos, ahorro de costes, mejora de la salud pública, etc.). |
Reconocimiento del cumplimiento de las expectativas de los públicos y de la sociedad como forma legítima de evaluación. Contribución a la importancia del contexto en el proceso de evaluación. |
|
|
Gregory y Macnamara (2019) |
«Bi-directional and bi-functional evaluation model» |
Preguntas clave y principios de evaluación para cada uno de los niveles de estrategia: 1) Sociedad; 2) Corporativo; 3) Cadena de valor; 4) Funcional. |
Reconocimiento del cumplimiento de las expectativas de los públicos y de la sociedad como forma legítima de evaluación. Promoción de una evaluación basada en principios en lugar de métricas. |
Fuente: Elaboración propia.
Uno de los modelos más citados por la literatura de las relaciones públicas es el de Broom (1977), que propone un enfoque coorientacional a la medición de la eficacia de los programas de relaciones públicas. Su principal valor radica en que proporciona indicadores adicionales del efecto de las relaciones públicas más allá de las tradicionales encuestas de opinión pública, que, según el autor, únicamente tienen en cuenta el grado de acuerdo del público con el punto de vista de la organización.
El enfoque coorientacional de la medición de Broom (1997) incluye cuatro aspectos de análisis: 1) la perspectiva de la organización sobre el asunto; 2) la perspectiva del público sobre el asunto; 3) la estimación que la organización realiza sobre cómo el público define el asunto; 4) la estimación que el público realiza sobre cómo la organización define el asunto (p. 114).
La interacción entre estos cuatro aspectos o tipos de perspectivas da lugar a tres tipos de métricas de coorientación: 1) «Agreement», referido al grado de acuerdo o desacuerdo entre el público y la organización respecto a la definición que éstos realizan sobre el asunto; 2) «Accuracy», indica el grado de precisión con el que la organización estima correctamente la perspectiva del público sobre el asunto, y viceversa; 3) «Congruency», representa el grado de precisión con el que la perspectiva de la organización coincide con su percepción sobre la perspectiva del público, y viceversa (Broom, 1977: 115).
En su obra Managing Public Relations, Grunig y Hunt (1984) ofrecen una taxonomía de cinco objetivos de relaciones públicas, que se corresponde con la naturaleza de los cinco niveles de efectos deseados: 1) Comunicación, en el que el público objetivo recibe un mensaje; 2) Retención de los mensajes, en el que el público objetivo recuerda el mensaje, pudiendo no estar de acuerdo con éste o planear acción alguna al respecto; 3) Aceptación de las cogniciones, en el que el público no solo retiene el mensaje sino que también lo acepta; 4) Formación o cambio de una actitud, en el que el público objetivo no solo cree el mensaje, sino que también evalúa favorablemente sus implicaciones y tiene la intención de modificar su conducta; y 5) Comportamiento manifiesto, en el que el público objetivo cambia su conducta, comienza una nueva o repite una conducta ya existente (p. 134).
De acuerdo con los autores, estos cinco objetivos o niveles de efectos deseados deben considerarse en relación con el público objetivo y la dirección del efecto (asimétrico y simétrico). Además, los autores advierten que existe una menor probabilidad de obtener estos efectos a medida que se avanza de nivel, produciéndose un efecto embudo, lo que será necesario tener en cuenta a la hora de establecer unos objetivos realistas (Grunig y Hunt, 1984: 133).
4.1.3. Preparation, Implement, Impact (PII) model (Cutlip, Center y Broom, 1985)
Otro de los modelos con mayor difusión en el campo de las relaciones públicas es el propuesto por Cutlip, Center y Broom (1985). El «Preparation, Implement, Impact (PII)» es un modelo basado en el pensamiento lógico del programa, que comprende 3 niveles de evaluación representados en forma de triángulo: Preparación, Implementación e Impacto. Cada uno de los niveles considera una serie de pasos consecutivos, que corresponden a diferentes tipos de métricas o informaciones que permiten comprobar la consecución del programa de relaciones públicas (ver Figura 5).
El primer nivel de Preparación comprende tres pasos. El primer paso considera si se ha obtenido información adecuada sobre la que fundamentar el diseño del programa. El segundo paso examina si el mensaje y el contenido de los materiales producidos se corresponden con lo planificado. Por último, el tercer paso analiza la calidad de las presentaciones de los materiales.
El segundo nivel de Implementación considera cuatro pasos. El primero tiene en cuenta el número de mensajes enviados a los medios y las actividades diseñadas, mientras que el segundo examina cuántos de esos mensajes han llegado a distribuirse ante el público objetivo del programa y cuántas actividades de las diseñadas han sido finalmente implementadas. El tercer nivel analiza cuántas personas han recibido el mensaje y actividades distribuidas, y, el cuarto, el número de personas que han prestado atención o atendido a ese mensaje o actividades.
El último y tercer nivel, de Impacto, abarca seis pasos, y se centra en la consideración de los Outcomes obtenidos: el número de personas que conocen el mensaje, la cantidad de aquellas personas que han modificado sus opiniones, el número de personas que han cambiado sus actitudes, la cantidad de personas que se comportan de la forma deseada, el número de personas que repiten esa conducta, y el cambio social y cultural.
Una de las principales aportaciones de este modelo es la separación entre los niveles de distribución (Output) e impacto (Outcome), contribuyendo asimismo a la diferenciación de métricas para cada uno de los niveles (Watson y Noble, 2014: 57). De hecho, los autores apuntan que «el error más común en la evaluación de un programa es la sustitución de métricas de un nivel a otro» (Cutlip, Center y Broom, 1994: 414), como el uso del número de notas de prensa enviadas o el número de eventos llevados a cabo (implementación) para documentar la efectividad del programa (impacto). De acuerdo con los autores, los investigadores en evaluación denominan a este tipo de práctica «el juego de la sustitución» (Cutlip, Center y Broom, 1994:. 414), ya que se desvía la atención de lo que verdaderamente está ocurriendo para generar una ilusión.
El modelo, asimismo, ofrece una serie de métodos de evaluación para cada uno de los niveles (Cutlip, Center y Broom, 1994: 415-431), tales como el análisis de contenido o el test de legibilidad de los materiales producidos en el primer nivel de preparación, la medición de la difusión y la audiencia en el segundo nivel de implantación, o la observación (directa e indirecta) y las encuestas en el tercer nivel de impacto.
El modelo fue inicialmente denominado «Macro Model of PR evaluation» (Macnamara, 1992), para después pasarse a llamar «Pyramid Model of PR Research» (Macnamara, 2002). Tal y como se indica en su denominación, el «Pyramid Model of PR Research» es representado a través de una estructura piramidal, al igual que el «PII» de Cutilp, Center y Broom (1985); en su base toma como punto de partida la investigación formativa para la planificación de la comunicación (Inputs), para continuar con la medición del proceso a través de métricas relacionadas con la distribución y la recepción de los mensajes diseñados (Outputs), y, finalmente, la medición de los efectos e impactos en las actitudes y conductas en el pico de la pirámide (Outcomes) (ver Figura 6).
El modelo toma como punto de partida el modelo «PII» y, en este sentido, presenta grandes similitudes con éste (Macnamara y Likely, 2017: 6). No obstante, al contrario que el modelo anterior, este segundo modelo presenta un listado de métricas y metodologías de evaluación para cada uno de los tres niveles.
Un año más tarde que el «Macro Model of PR evaluation» de Macnamara (1992), Lindenmann publica el modelo denominado «PR Effectiveness Yardstick», que sería ampliamente citado y adoptado, debido en cierta medida tanto a la posición profesional de Lindenmann como investigador en firmas como Ketchum o Hill & Knowlton, como a sus prolíficas publicaciones sobre evaluación (Macnamara y Likely, 2017:8).
Al igual que el modelo «PII» (Cutlip, Center y Broom, 1985) y el «Macro Model of PR evaluation» (Macanamara, 1992), el «PR Effectiveness Yardstick» presenta un modelo que se estructura de forma vertical, en el que el proceso de evaluación comprende tres niveles, comenzando por el nivel «Básico» («Output»), para a continuación pasar a los de «Intermedio» («Outgrowths») y «Avanzado» («Outcomes»), que se corresponderían con las etapas de «Impacto» del PII y «Outcome» del «Pyramid Model of PR Research» (ver Figura 7).
Este modelo, diferirá de los anteriores en que no considera la investigación formativa (Inputs) como primer nivel de evaluación dentro del proceso de la planificación. En este sentido, podría considerarse como una regresión respecto a modelos precedentes (Gregory y Macnamara, 2019: 3), y ser criticado por no reforzar la importancia de la evaluación desde el comienzo del proceso de la planificación (Watson y Noble, 2014: 58).
El valor de este modelo radica en que contribuyó a visibilizar la importancia de la evaluación en las relaciones públicas, siendo, además, uno de los primeros trabajos en diseñar una jerarquía para el establecimiento de los objetivos, y en remarcar la importancia que juega esa jerarquía en la evaluación (Watson y Noble, 2014: 60). El modelo también incide en la importancia de establecer los objetivos y seleccionar los métodos de evaluación antes de comenzar con la actividad de relaciones públicas, algo que debería incluir cualquier modelo de evaluación (Watson y Noble, 2014: 61). No obstante, el modelo representa un proceso parcial de la planificación, y utiliza una terminología que no se adecúa a la mayoritariamente utilizada por la academia en evaluación (Gregory y Macnamara, 2019: 3).
La International Public Relations Association (IPRA) propuso en su Gold Paper publicado en 1994 un modelo circular que conectaba la evaluación con la planificación, a través de tres etapas (Inputs, Outputs, y Outcomes). La primera etapa relativa a los Inputs correspondía a la «Preparación» o fase de planificación y producción; la segunda etapa de Outputs se refería a la «Implementación» o fase en la que los objetivos y componentes del programa se encuentran (abarcando desde el número de mensajes enviados, hasta el número de mensajes recibidos, la respuesta a esos mensajes o su aceptación por parte del target); y la tercera etapa de Outcomes correspondía al «Impacto», en la que se considera el éxito del programa respecto a los objetivos propuestos en términos de resolución de los problemas, adquisición y aplicación de conocimiento, cambio de opiniones y actitudes, cambio de comportamientos, y acción llevada a cabo por el target establecido.
El modelo de IPRA presenta una gran similitud con sus predecesores, en tanto que citó y se basó en el «PII» de Cutlip, Center y Broom (1985) y el «Macro Model of PR evaluation» de Macnamara (1992). A pesar de haber sido un modelo ampliamente ignorado, su principal aportación radica en ser el primero en utilizar las etapas de Inputs, Outputs y Outcomes, aunque también se hablaba de estos términos en el UK Institute of Public Relations (CIPR en la actualidad) (Macnamara y Likely, 2017: 7).
Como resultado de su tesis doctoral, Tom Watson publica en 1996 los modelos «Short Term Model» («Modelo a Corto Plazo») y «Continuing Model of Evaluation» («Modelo Continuo de Evaluación»). Estos dos modelos parten de la premisa de que los programas de relaciones públicas a corto y largo plazo cuentan con características diferenciales, por lo que presentan diferentes implicaciones para el desarrollo de modelos de evaluación.
El modelo «Short Term Model», como su propio nombre indica, se propone para campañas y actividades que abarcan un lapso de tiempo reducido, como campañas basadas en la relación con los medios y actividades que buscan un resultado inmediato. El «Continuing Model of Evaluation», por el contrario, está pensado para actividades a largo plazo, en las que los outcomes podrían producirse después de un largo periodo de actividad continuada (un año o más) (Watson y Noble, 2014: 68).
Watson relaciona ambos modelos de evaluación con los modelos de relaciones públicas de Grunig, siendo que el «Short Term Model» se correspondería con el modelo del agente de prensa e información pública, en el que no se busca un diálogo o feedback con los públicos, y el «Continuing Model of Evaluation» estaría relacionado con el modelo bidireccional asimétrico y el modelo bidireccional simétrico, basado en la monitorización de las campañas y el feedback para la modificación de los mensajes (Watson y Noble, 2014: 68).
El «Short Term Model» responde a un proceso lineal, sin un mecanismo de retroalimentación, ya que está concebido para la evaluación de actividades tácticas, de corta duración en el tiempo. No se persigue un objetivo de efectos en los públicos, sino más bien de alcance del target (Watson y Noble, 2014: 68) —ver Figura 8—.
El «Continuing Model of Evaluation», por el contrario, al estar diseñado para la evaluación de campañas a largo plazo, presenta un enfoque dinámico e iterativo, evaluando de manera continua y teniendo en cuenta los efectos creados por el programa para la reformulación de objetivos, estrategias y tácticas (Watson y Noble, 2014: 68) —ver Figura 9—.
El modelo presenta un enfoque de retroalimentación de todo el proceso de planificación estratégica útil para la evaluación. No obstante, las fases que ambos modelos presentan resultan demasiado genéricas, sin detallar los aspectos relativos a cada una de ellas.
Un año después de la publicación de los modelos de Watson (1996), el «Institute for Public Relations Research & Education», con la autoría principal de Walter Lindenmann, publicó un modelo cuya primera versión se dio a conocer en el documento denominado «Guidelines and standards for measuring and evaluating PR effectiveness» (Lindenmann, 1997a). En el mismo, Lindenmann renombró las fases de evaluación propuestas en su anterior modelo «PR Effectiveness Yardstick» (Lindenmann, 1993), pasando a estar constituidas por Outputs (logros conseguidos a corto plazo, esto es, analizar el grado de exposición obtenido por la organización); Outcomes (resultados a largo plazo, es decir, conocer si el target recibió el mensaje, atendió al mismo, lo comprendió y lo retuvo, y qué impacto produjo en las opiniones, actitudes y comportamientos), y Outcomes de negocio/organizacionales (relacionando los Outcomes de relaciones públicas con los Outcomes deseados para la organización en su conjunto) (Lindenmann, 1997a; 1997b). Así pues, se dejó de lado el término Outgrowths de su anterior modelo, y tampoco se incluyeron los Inputs.
En una revisión posterior del modelo, publicada por el Institute for Public Relations en el documento titulado Guidelines and Standards for Measuring the Effectiveness of PR Programs and Activities (Lindenmann, 2003), tampoco se utilizó el término Outgrowths, si bien adoptó el concepto de Outtakes, que, según Macnamara y Likely (2017), fue propuesto por primera vez por Fairchild (1997). Esta nueva fase de los programas de relaciones públicas —Outtakes—, abarcaba la recepción, atención, comprensión y retención de los mensajes por parte del target, y, por lo tanto, suponía un paso intermedio entre los Outputs (grado de exposición de la organización) y los Outcomes (cambios en las opiniones, actitudes y comportamientos del target).
En 1999, Tom Watson y Paul Noble introducen el «Unified Evaluation Model», que buscaba presentar un modelo más integrado de evaluación frente a los modelos desarrollados anteriormente por Watson (1996) (Watson, 2016, como se citó en Macanamara y Likely, 2017: 9). Además, pretendía superar algunas de las deficiencias presentadas por anteriores modelos como el «PII» (Cutlip, Center y Broom, 1985), el «Macro Model of PR evaluation» (Macanamara, 1992), o el «PR Effectiveness Yardstick» (Lindenmann, 1993), cuyo carácter era predominantemente estático, y no utilizaban una terminología común para referirse a las mismas fases, olvidando, además, algunas etapas fundamentales en el proceso de evaluación (Watson y Noble, 2014).
Frente a los modelos anteriores, que presentaban tres o cuatro fases, el «Unified Evaluation Model» identifica cinco fases de evaluación (ver Figura 10), incluyendo la etapa de «Input» (Input, Output, Impact, Effect y Result), si bien la terminología que utiliza para ello continúa contribuyendo a la diversidad anteriormente apuntada. Adicionalmente, el modelo reconoce la existencia de una jerarquía en los objetivos a través de tres niveles (conocimiento, predisposición y conducta), que, según los autores, requerirán diferentes metodologías de evaluación; es por ello que los autores abandonan el término «Outcome» para desgranar esta etapa en tres fases diferentes que se corresponden con las tres tipologías de objetivos (Impact, Effect y Result).
Además, el modelo señala la necesidad de un feedback dinámico en la evaluación. Así, según los autores, la evaluación formativa de las relaciones públicas opera en dos niveles: 1) un feedback formativo de una etapa a la siguiente, que permite afinar la presente campaña; y 2) un feedback de la presente campaña que se tomará como base para la planificación de futuras campañas.
En este modelo no se especifica la metodología a aplicar; a pesar de que se considera que serán necesarias diferentes metodologías para cada uno de los niveles de evaluación, los autores explican que la metodología de investigación estará sujeta al problema de investigación específico y las circunstancias concretas en las que se aplica. Por lo tanto, «cualquier listado sería simplemente una colección de posibles aproximaciones más que algo con una aplicabilidad universal» (Watson y Noble, 2014: 65).
En el mismo año que el Unified Evaluation Model de Watson y Noble (1999), Michael Fairchild y Nigel O’Conner (1999) publican la primera edición del Public relations research and evaluation toolkit, en el que se continuaron promoviendo las etapas de Outputs, Outtakes y Outcomes a través de lo que los autores denominaban «PRE Process», es decir, «Planning» (Planificación), «Research» (Investigación) y «Evaluation» (Evaluación).
El modelo también contribuye al entendimiento de la evaluación como una parte integral de la planificación de las relaciones públicas, y no como un paso que se lleva a cabo al final. Así, el «PRE Process» contribuye a la perspectiva dinámica de la evaluación frente a otros modelos de carácter estático, estructurándose a través de un proceso circular que comprende cinco pasos: 1) Auditoría, 2) Establecimiento de objetivos, 3) Estrategia y plan, 4) Medición continua, y 5) Resultados y evaluación. No obstante, tal y como advierte Marca Frances (2011: 151), Fairchild plantea una propuesta evaluativa que se asemeja más a un modelo global de planificación de acciones de Relaciones Públicas que a un modelo específico de evaluación.
Una de las críticas fundamentales realizadas a los primeros modelos es la falta de consideración sobre cómo las relaciones públicas contribuyen a los resultados de negocio. A partir del siglo XXI, sin embargo, comienzan a surgir modelos de evaluación con un énfasis especial en la creación de valor por parte del proceso de las relaciones públicas (Volk, 2016: 964). Estos modelos se originan a partir del desarrollo de la investigación sobre management, y de la popularización del cuadro de mando integral (BSC) de Kaplan y Norton (1992), que proponía una mayor integración entre las funciones organizacionales y el intercambio de Indicadores Clave de Desempeño (KPIs) (Watson, 2012: 396).
Uno de los modelos más conocidos a este respecto es el «Communication controlling framework», desarrollado conjuntamente por la Sociedad Alemana de Relaciones Públicas (Deutsche Public Relations Gesellschaft, DPRG), la Sociedad de Agencias de Relaciones Públicas (Gesellschaft Public Relations Agenturen, GPRA) y la Asociación Internacional de Controladores (International Controller Association, ICV), en Alemania (Deutsche Public Relations Gesellschaft y Gesellschaft Public Relations Agenturen, 2000; Deutsche Public Relations Gesellschaft y International Controller Association, 2009), que han elaborado multitud de documentos para el desarrollo de este marco, disponibles en actualmente en su portal.
El modelo se presenta como «una herramienta de discusión que busca brindar orientación a un nivel meta y proporcionar un contexto viable para la plétora de métodos y parámetros de evaluación existentes» (Communicationcontrolling.de, s.f., s.p.), e identifica cuatro etapas para la evaluación o «control» de los programas de relaciones públicas (Input, Output, Outcome y Outflow), introduciendo un nuevo término y etapa en relación con la evaluación de las relaciones públicas (Outflow), equivalente al impacto organizacional. De esta manera, se incluye en el proceso de evaluación la contribución de la comunicación a la creación de valor de la compañía.
El «Communication controlling framework» delimita cada una de las etapas de evaluación de la siguiente forma (PRG y ICV, 2009: 1; Communicationcontrolling.de, s.f., s.p.):
1. Input: referente a los recursos humanos y económicos destinados a la comunicación.
2. Output: diferenciados en internos y externos.
a. Los «outputs internos» evalúan el desempeño o eficiencia de los procesos internos, en términos de cumplimiento del presupuesto, tiempos de producción, tasas de error o satisfacción de los clientes internos.
b. Los «outputs externos» se refieren a la cobertura y el contenido accesible para los públicos destinatarios. Para ello se tienen en cuenta parámetros como los clipping de medios, las visitas al sitio web o el «Share of Voice».
3. Outcome: comprende los «Outcome directos» y los «Outcome indirectos».
a. Los «Outcome directos» se refieren a la efectividad de las campañas en términos de elevar los niveles de percepción, uso y conocimiento por parte de los públicos objetivo. El conocimiento (awareness), el tiempo de permanencia en el sitio, los visitantes únicos, el número de lectores, el recuerdo y el reconocimiento son algunos de los parámetros que se utilizan para su medición.
b. Los «Outcome indirectos» describen el grado de impacto en opiniones, actitudes, emociones, intenciones conductuales y comportamientos. Esta etapa se relaciona con el impacto entendido como el objetivo real de todos los procesos de comunicación, y se determinan sobre la base de parámetros como la imagen de marca, los índices de reputación, el compromiso de los empleados, o la intención de compra, entre otros.
4. Outflow: relativo al impacto de la comunicación en los objetivos estratégicos y/o financieros de la compañía, así como en los recursos tangibles y/o intangibles. Los parámetros incluidos en este cuarto nivel son las ventas, el número de proyectos o acuerdos, la reducción de costos, o el valor reputacional y/o de marca, entre otros, si bien este modelo considera que la contribución de la comunicación a la estrategia corporativa global debe evaluarse de acuerdo a las especificidades y contacto de cada empresa.
4.1.12. Communication Management Bridge (Álvarez Nobell, 2013)
El «Communication Management Bridge», desarrollado por Alejandro Álvarez Nobell (2013) como parte de su tesis doctoral, supone una de las pocas y principales aportaciones a los modelos de evaluación que se han realizado desde España. Con el mismo objetivo de establecer un «puente» entre los objetivos organizacionales y los objetivos de comunicación en el proceso de evaluación, este modelo propone medir los resultados de la gestión de comunicación a los objetivos organizacionales a través de métodos propios del management, trascendiendo la medición departamental en pos de una gestión articulada y articuladora (Castillo y Álvarez Nobell, 2014: 152).
Tal y como puede verse en la Figura 11, el modelo considera una matriz constituida por tres fases para la medición y evaluación (estratégica, táctica y operativa). La primera fase estratégica consiste en la planificación de la evaluación, y comprende las actividades de alineación al modelo de gestión organizacional, selección de los objetivos organizacionales y la definción de los objetivos de comunicación (output, outtake y outcome). De acuerdo con el autor, los outputs corresponderían al nivel de resultados más bajo e inmediato, y abarcarían variables como la eficiencia del proceso, la calidad, la cobertura y el contenido; los outtakes, se relacionarían con el nivel de recepción, comprensión, grado de retención y capacidad de reproducción; y, finalmente, los outcomes, buscan cuantificar aquellos cambios que contribuyan a los objetivos de negocio, y podrían ser medidos sobre la opinión, actitud y emociones que influirán en la predisposición del comportamiento y comportamiento en sí (Castillo y Álvarez Nobell, 2014: 156-157).
En la segunda fase del modelo —táctica—, se conceptualizan las variables a evaluar y las dimensiones e indicadores a medir en función de los objetivos de resultados. En la tercera y última fase —operativa—, se establecen para cada nivel de evaluación los dispositivos de medición, se desarrolla el cuadro de mando con el análisis y la interpretación de los resultados para la evaluación correctiva y final, se calculan los índices existentes, y se confeccionan reportes y presentaciones en función de cada uno de los públicos y niveles de objetivos (Castillo y Álvarez Nobell, 2014: 158-162).
La primera fase —estratégica— es llevada a cabo tanto por el responsable de comunicación como por los demás departamentos y management de la organización, mientras que las dos restantes —táctica y operativa— corresponden a funciones propias de las áreas o equipos de comunicación.
4.1.13. European Commission’s Communication Evaluation Model (European Commission, 2015; 2019a; 2019b)
La Comisión Europea ha desarrollado desde el año 2015 su propia aproximación a la evaluación de la comunicación, a través de una serie de documentos que comprenden el denominado «Communication Evaluation Model» (European Commission, 2019a; 2019b). El proceso de evaluación descrito por el modelo incluye: necesidades (análisis de las necesidades, definición del problema), objetivos (teniendo que cumplir éstos las características SMART), y cinco niveles de evaluación (inputs, activities, outputs, results, e impacts).
El primer nivel de evaluación —Inputs— se refiere a la planificación y diseño de la comunicación, incluyendo indicadores como la planificación, la elaboración de presupuestos, o el establecimiento de objetivos SMART. El segundo nivel de evaluación —Activities— hace referencia a las actividades que se llevan a cabo para generar productos y entregables de comunicación, como, por ejemplo, la redacción de publicaciones, el diseño de carteles, la organización de eventos, o el desarrollo de un sitio web. El tercer nivel de evaluación —Outputs— tiene que ver con la eficacia con la que se ha llegado al público objetivo a través de la acción de comunicación, y se mide a través de aspectos como el número de impresiones en las redes sociales, el número de participantes en un evento, el número de lectores de una publicación, o el alcance de una campaña. El cuarto nivel —Results— describe el efecto inmediato de la comunicación en el público objetivo, a través de la medición del recuerdo de la audiencia de una campaña, el engagement, o las tasas de conversión en sitios web. Por último, el quinto nivel —Impacts— apunta al cambio de conducta y/o cultural en la opinión pública, la sociedad, la economía o el comportamiento individual que la Comisión Europea busca lograr, causado de manera total o parcial por la comunicación. Se mide, por ejemplo, a través del número de personas que tienen una opinión más positiva de la Unión Europea, o mediante un aumento de los resultados del Eurobarómetro en preguntas como «Confianza en las Instituciones» (European Commission, 2019a; 2019b).
El modelo también incluye un listado pormenorizado de indicadores (European Comission, 2019a: 1) para cada uno de los niveles de evaluación y por tipo de técnica/medio/soporte de comunicación, lo que supone un nivel de detalle mayor respecto a los anteriores modelos analizados. En lo que a la evaluación de los medios sociales online se refiere, establece, de forma escueta y génerica, algunos indicadores para la evaluación de los Outputs, Results e Impacts (ver Tabla 9).
Tabla 9. Indicadores de evaluación para los medios sociales online propuestos por el «Communication Evaluation Model» de la European Commission (2019a; 2019b).
|
Social media |
Outputs Lo que entregamos que alcanza e involucra al público objetivo |
Results Lo que el público objetivo obtiene de la comunicación y respuestas iniciales |
Impacts Resultados causados, total o parcialmente, por la comunicación |
|
|
|
Fuente: Elaboración propia a partir de European Commission (2019ª: 1)
El Servicio de Comunicación del Gobierno del Reino Unido, publicó en 2015 un modelo de evaluación (GCS, 2015) que ha sido posteriormente actualizado y cuya última ampliación se publicó en 2018 (GCS, 2018), basándose en las premisas establecidas por el «Integrated Evaluation Framework» de la AMEC (2016).
El modelo presenta cinco niveles de evaluación (inputs, outputs, outtakes, outcomes e impacto organizacional), alineados con los objetivos de comunicación, que a su vez sirven a los objetivos organizacionales. En este mismo sentido, la etapa final de la evaluación, definida como «impacto organizacional», refuerza la evaluación del impacto de la campaña respecto a los objetivos organizacionales, propiendo seleccionar «the right business KPIs to track performance of your Integrated communication activities against your organisations goals» (GCS, 2015: 4).
El modelo incide en la conexión entre una etapa y la siguiente en el proceso de evaluación, de manera que la evaluación de los outputs, outtakes, outcomes e impacto organizacional debe utilizarse para evaluar la campaña en tiempo real e informar futuras planificaciones (ver Figura 12).
En la ampliación del modelo de 2018, el modelo incluye sendos listados de métodos y métricas que pueden utilizarse para diferentes tipos de campañas en función del objetivo fundamental que éstas persiguen (cambio de comportamiento, reclutamiento o sensibilización), y en función de cada uno de los niveles de evaluación (inputs, outputs, outtakes, outcomes). Coincidiendo con los Principios de Barcelona (AMEC, 2011), el modelo señala que el más importante de los niveles es el de los outcome, y lo define como «cuán efectiva es la actividad de comunicación para lograr los objetivos de las políticas y generar impacto organizacional» (GCS, 2018: 3).
En lo que respecta a los métodos y métricas en medios sociales online, el modelo propone algunos ejemplos de métricas de medios sociales online y medios digitales en general, por cada uno de los niveles de evaluación, como por ejemplo: el gasto realizado hasta la fecha, la creación de contenido (publicaciones, etc.), o el número de notas de prensa enviadas a través de medios sociales propios (Inputs); el alcance, o el número de impresiones (Outputs); el engagement (seguidores, «likes», compartidos, comentarios/respuestas, retuits) por canal, la compartición de contenido por parte de stakeholders clave, el uso de hashtags oficiales, el sentiment, o acciones (click throughs, coste por click, descargas, suscripciones) (Outtakes) (GCS, 2018). No se ofrecen, sin embargo, ejemplos de métricas para medios sociales para los dos últimos niveles de evaluación —Outcome e Impacto organizacional—.
Desde su creación en Londres en 1996, la Association of Measurement and Evaluation of Communication (AMEC) ha llevado a cabo multitud de iniciativas para promover el avance y la innovación en la medición y evaluación de la comunicación y las relaciones públicas. La asociación lleva a cabo conferencias internacionales anuales, cursos de formación en medición y evaluación, y realiza multitud de publicaciones relacionadas, reuniendo a una amplia parte de la industria y de la academia de la comunicación y de las relaciones públicas.
Tal y como se explicaba en el Capítulo 2 del Estado de la Cuestión, uno de los eventos más importantes a este respecto fue el 2nd European Summit on Measuring Communication and Public Relations, celebrado en junio de 2010 en Barcelona y organizado por la AMEC e IPR. En la cumbre, la industria de la comunicación y de las relaciones públicas llegó por primera vez a un consenso sobre cómo medir y evaluar su actividad. El evento también contribuyó en 2011 a la creación de una matriz de indicadores para la evaluación de las relaciones públicas, denominada «Valid Metrics Framework», que dio lugar a una gran cantidad de publicaciones que intentaban explicar la matriz y cómo debía utilizarse (ej. AMEC, 2011; 2014; Pestana y Daniels, 2011; Ketchum y AMEC, 2012; Rebold, 2019), o que señalaban sus déficits y ofrecían nuevas aproximaciones (ej. Macnamara, 2015a). La matriz «Valid Metrics Framework» fue reemplazada en 2016 por el «Integrated Evaluation Framework» (AMEC, 2016).
Una de las primeras cuestiones que hay que tener en cuenta a la hora de comprender el modelo «Integrated Evaluation Framework» elaborado por la AMEC es que éste se desarrolla de acuerdo con el ciclo de planificación estratégica de la comunicación, que comprende las fases de diagnóstico, planificación, ejecución y control, y evaluación. El modelo describe el proceso de evaluación en siete fases: objetivos, inputs, actividades, outputs, out-takes, outcomes, e impacto organizacional. Frente al modelo anterior, el «Valid Metrics Framework», de carácter estático, este segundo modelo incorpora una herramienta online interactiva (la interface de la herramienta puede verse en la Figura 13).
Al hacer clic en cada una de las fases del modelo, la herramienta interactiva nos muestra una ventana emergente con información sobre qué tipo de aspectos se deben tener en cuenta en cada una de las fases, y cómo interpretarlos:
—Objetivos: El modelo establece que éstos deben incluir «Objetivos organizacionales» (recogidos habitualmente en el plan o estrategia de negocio) y «Objetivos de comunicación» del programa, campaña o proyecto (que, el modelo establece, deben cumplir las características SMART), mostrando éstos últimos debajo de los primeros, y, por lo tanto, representando su subordinación.
—Inputs: Se incluye un apartado para numerar la audiencia clave o target del programa, campaña o proyecto, señalando la importancia de definirlas de la manera más concreta posible, sugiriendo aspectos demográficos, socioeconómicos y hábitos de consumo de medios. Adicionalmente, aparece un segundo espacio para incluir «Inputs estratégicos», definidos como aquellas «informaciones y materiales que son necesarios para diseñar y preparar tu comunicación» (AMEC, s.f.a, s.p.), y se sugieren datos provenientes de investigaciones existentes, información sobre el contexto, presupuesto y recursos necesarios.
—Actividades: Se pide incluir un listado de aquellas actividades clave que se van a llevar a cabo o ya se han llevado a cabo, y clasificarlas a través del modelo P.E.S.O. (P=Paid E=Earned S=Shared O=Owned), en función de si son actividades «Pagadas», «Ganadas», «Compartidas» o «Poseídas». Estas actividades incluyen: investigación formativa que se va a llevar a cabo (por ejemplo, encuestas, focus groups, o pre-tests), planificación (incluido el análisis DAFO,1 el PEST o PESTLE),2 el diseño de materiales, y la redacción y producción de materiales, eventos, etc., de comunicación.
—Outputs: El modelo indica que deben listarse aquellos contenidos, materiales y actividades que han sido distribuidos y a las que el target ha sido expuesto, clasificándolas también a través del modelo P.E.S.O. El modelo indica que en los Outputs se incluyen métricas cuantitativas y cualitativas, si bien los ejemplos que facilita son mayoritariamente cuantitativos: Datos de publicidad relevantes (ej. alcance); información de publicity (ej. lectores potenciales en función de la cobertura); medios propios, como páginas web (ej. número de visitas), blogs y suplementos; medios sociales (ej. tweets o re-tweets); eventos llevados a cabo (ej. número de personas asistentes); lanzamiento de patrocinios (ej. audiencia alcanzada); E-mailing, e-marketing, etc. (ej. audiencia alcanzada).
—Out-takes: Se refiere a la respuesta y reacción inicial de la audiencia clave ante la actividad de comunicación. El modelo señala que éstos pueden suponer pasos hacia los objetivos, y no necesariamente el cumplimiento de los mismos. Se incluyen dentro de este nivel: Atención (ej. visitantes únicos, views, clickthroughs), Conocimiento (ej. recuerdo), Comprensión (ej. comentarios, datos de encuesta post-campaña), Interés y enlace (ej. likes, follows, shares, retweets, pins), Engagement (ej. return visits, suscripciones, comentarios positivos), Consideración (ej. comentarios, suscripciones, registros).
—Outcomes: Se debe incluir aquí un listado de los efectos de la comunicación en el target que se encuentran alineados con los objetivos. El modelo sugiere ejemplos como: Aprendizaje/conocimiento (ej. a través de encuestas o datos de entrevistas, cuestionarios, tests), Confianza (ej. aumento de las valoraciones de confianza en las encuestas), Preferencia (ej. Preferencia declarada en encuestas, comentarios en redes sociales), Intención (ej. a través de consultas, registros, pruebas, datos de encuestas), Cambio de actitud (ej. a través de datos de encuestas o entrevistas), Comportamiento deseado (ej. ventas, donaciones, conducción segura; votación, etc.), Advocacy/Recomendación (ej. respaldos en comentarios online).
—Impacto organizacional: Se pide reflejar «cómo se ha visto afectada la organización durante la campaña» (AMEC, s.f.a, s.p.), definiendo el «impacto» como «el flujo final de resultados relacionados con sus objetivos que su comunicación ha logrado o a los que ésta ha contribuido» (AMEC, s.f.a, s.p.). Se incluyen ejemplos como la mejora de la reputación, las relaciones establecidas o mejoradas, el aumento en ingresos por ventas o donaciones, una mayor fidelización y retención del personal, cambios organizacionales (ej. conocimiento que permita «informar» la estrategia futura, realineación de políticas para los stakeholders), y el cambio social (ej. mejora de la salud y el bienestar, mayor acceso a la información).
Frente a otros modelos anteriores predominantes, el «Integrated Evaluation Framework» destaca por tener en cuenta en el proceso de evaluación, no únicamente los impactos organizacionales, sino también aquellos impactos o cambios producidos en la sociedad más allá de la organización. No obstante, el modelo, al igual que los anteriores, continúa partiendo de una visión centrada principalmente en la organización, tomando como eje principal del proceso los objetivos organizacionales y los efectos deseados en los públicos clave.
El modelo de la AMEC (2016) ofrece toda una serie de recursos adicionales en su página web que pretenden complementar el modelo y contribuir a su comprensión. Entre ellos destaca una taxonomía de métricas y métodos que se proponen para cada uno de los niveles de evaluación y que tienen como objetivo contribuir a su estandarización (AMEC, s.f.b) (ver Tabla 10), un tutorial de uso del modelo, o una guía sobre medición destinada a las personas profesionales de las relaciones públicas realizada junto a otras asociaciones profesionales del sector de las relaciones públicas (AMEC et al., 2020). Además, se ofrecen enlaces a recursos sobre medición y evaluación, tales como un diccionario de términos de medición y evaluación, guías para establecer objetivos de relaciones públicas medibles, un listado de organizaciones y herramientas que pueden utilizarse para obtener datos para la evaluación, casos de estudio, o bibliografía de referencia sobre medición y evaluación.
Tabla 10. Taxonomía de métricas y métodos por el «Integrated Evaluation Framework» de la Association of Measurement and Evaluation of Communication (2016).
|
Fases |
Inputs |
Actividades |
Outputs |
Out-takes |
Outcomes |
Impacto |
|
Pasos clave Nivel meso |
Objectives Budget Resources (e.g., staff, agencies, facilities, partnerships) |
Formative research Planning Production (e.g., design, writing, media buying, media relations, media partnerships, etc.) |
Distribution Exposure Reception |
Attention Awareness Understanding Interest/liking Engagement Participation Consideration |
Learning/knowledge Attitude change Satisfaction Trust Preference Intention Advocacy |
Reputation Relationships Compliance/complying actions Organisation change Public/social change |
|
Fases |
Inputs |
Actividades |
Outputs |
Out-takes |
Outcomes |
Impacto |
|
Pasos clave Nivel micro |
SMART objectives Targets/KPIs |
Baselines/ enchmarks (e.g., current awareness) Audience needs, preferences, etc. Strategic plan Evaluation plan Pre-test data (e.g., creative concepts) Content produced (e.g., media releases, Websites) Media relations |
Publicity volume Media reach Impressions/OTS Share of voice Tone/sentiment/ favourability Messages placed Posts, tweets, etc. Advertising TARPs E-marketing volume CPM Clickthroughs Event attendance |
Unique visitors Views Response (e.g., follows, likes, tags, shares, retweets) Return visits/views Recall (unaided, aided) Positive comments Positive response in surveys, etc. Subscribers (e.g., RSS, newsletters) Inquiries |
Message acceptance Trust levels Statements of support or intent Leads Registrations (e.g., organ donor list) Brand preference Trialling Joining Reaffirming (e.g., staff satisfaction) |
Public/s support Meet targets (e.g., blood donations; cancer screening membership, etc.) Sales increase Donations increase Cost savings Staff retention Customer retention/ loyalty Quality of life/wellbeing increase |
|
Métodos de evaluación |
Internal analysis Environmental scanning Feasibility analysis Risk analysis |
Metadata analysis (e.g., past research and metrics) Market/audience research (e.g., surveys, focus groups, interviews) Stakeholder consultation Case studies (e.g., best practice) SWOT analysis (or PEST, PESTLE, etc.) Pre-testing panels Peer review/expert review |
Media metrics (e.g., audience statistics, impressions, CPM) Media monitoring Media content analysis (quant) Media content analysis (qual) Social media analysis (quant and qual) Activity reports (e.g., events, sponsorships) |
Web statistics (e.g., views, downloads) Social media analysis (qual-e.g.., comments) Feedback (e.g., comments, letters) Ethnography (observation) Netnography (online ethnography) Audience surveys (e.g., re awareness, understanding, interest, opinion) Focus group (as above) Interviews (as above) |
Social media analysis (qual) Database statistics (e.g., inquiry tracking identifying sources) Ethnography (observation) Netnography (online ethnography) Opinion polls Stakeholder surveys (e.g., re satisfaction, trust) Focus groups (as above) Interviews (as above) Net Promoter Score (NPS) |
Database records (e.g., blood donations, health outcomes, membership, etc.) Sales tracking Donation tracking CRM data Staff survey data Reputation studies Cost Benefit Analysis/ Benefit Cost Ratio ROI (if there are financial objectives) Econometrics Quality of life scales & wellbeing measures |
Fuente: Elaboración propia a partir de AMEC (s.f.c: 2-3)
El «Integrated model of evaluation» de Macnamara (2018a) parte de la idea de que los modelos de evaluación predominantes han tendido a considerar el logro de los objetivos organizacionales como el propósito principal de los programas de relaciones públicas, y situando, por lo tanto, a la organización en el centro de la evaluación. Además, estos modelos no han representado gráfica ni textualmente a los públicos o stakeholders, una omisión que demuestra la lógica unidireccional y de arriba abajo, centrada en la organización, que subyace a la literatura en evaluación (Macnamara y Gregory, 2018: 13).
Frente a los anteriores modelos de evaluación, una línea paralela de pensamiento ha apuntado a la necesidad de reconocer también el cumplimiento de las expectativas de los públicos y de la sociedad como forma legítima de evaluación de los programas y actividades de relaciones públicas (Broom, 1977; Grunig, 1992; L’Etang y Pieczka, 2006; L’Etang, 2009; Macnamara y Gregory, 2018).
El modelo de evaluación de Macnamara (2018a) pretende dar respuesta a esta necesidad, reconociendo la naturaleza bidireccional de las relaciones entre las organizaciones, los stakeholders y la sociedad en los cinco niveles de evaluación que propone (Inputs, Activities, Outputs, Outcomes, Impact), desde el establecimiento de los objetivos organizacionales y de comunicación, pasando por la investigación formativa sobre la que fundamentar la planificación (Inputs), hasta la evaluación de los resultados obtenidos, es decir, los impactos tanto en la organización como en los stakeholders, públicos y sociedad, intencionados y no intencionados (Impact).
En paralelo, el modelo reconoce la importancia del contexto en el proceso de evaluación, no solamente en lo que respecta a los factores internos, sino también a los externos (contexto económico, político, social, cultural, competitivo) (ver Figura 14).
El modelo de Gregory y Macnamara (2019), denominado «Bi-directional and bi-functional evaluation model», toma como punto de partida el «Four-by-four model of strategic public relations» propuesto por Gregory y Willis (2013), ampliándolo y ofreciendo una perspectiva de evaluación.
Al contrario que los anteriores modelos de evaluación predominantes, el «Bi-directional and bi-functional evaluation model» ofrece un enfoque no basado en la lógica del programa, y, al igual que el «Integrated model of evaluation» de Macnamara (2018a), apunta a la necesidad de reconocer los requerimientos de los stakeholders, públicos y sociedad en los procesos de relaciones públicas, equilibrando los objetivos de ambas partes (organización y públicos). De acuerdo con los autores, las preguntas clave para las relaciones públicas son «¿quién/qué nos obliga a rendir cuentas?», «¿cuáles son sus expectativas?» y «¿cómo se cumplen sus expectativas?» (Gregory y Macnamara, 2019: 1).
Otro de los elementos novedosos del modelo frente a los anteriores es que aboga por una evaluación basada en principios en lugar de métricas, con el objetivo de que cada organización adapte la evaluación de los principios a su situación particular (Gregory y Macnamara, 2019: 7). Para ello los autores toman como punto de partida el modelo propuesto por Gregory y Willis (2013), que plantea cuatro niveles de estrategia, representados en forma de pirámide: funcional, Stakeholder/cadena de valor, Corporación y Sociedad (ver Figura 15).
Tal y como puede verse en la figura 15, las cuatro flechas verticales representan los cuatro atributos de las relaciones públicas ejemplares e impregnan todos los niveles (Gregory y Macnamara, 2019: 8): 1) una excelente comprensión de la marca; 2) exhibir y apoyar el liderazgo; 3) incorporar las relaciones públicas como una competencia organizativa central; y 4) la excelencia en la planificación, gestión y evaluación de las relaciones públicas. Los círculos representan las diversas comunidades de stakeholders de las que depende la organización, y se presentan alrededor de la pirámide porque constituyen una red que penetra y se conecta con los cuatro niveles organizativos.
Gregory y Macnamara (2019) actualizan el modelo de Gregory y Willis (2013), reordenando la representación visual de los niveles de estrategia, añadiendo un nivel más («campaña»), y renombrando el nivel de «Corporativo» por el de «Organización» (ver Figura 16). La flecha hacia arriba representa que los objetivos de la organización parten desde dentro de la organización, pero van más allá del nivel organizacional, teniendo en cuenta las preocupaciones e intereses de los stakeholders y buscando realizar una contribución a la sociedad. Por lo tanto, según los autores, «la sostenibilidad y la legitimidad a largo plazo están integradas en el pensamiento de la evaluación» (Gregory y Macnamara, 2019: 9-10). De forma paralela, la flecha hacia abajo indica que las realidades sociales y las exigencias de los stakeholders se tienen en cuenta en la toma de decisiones organizacionales, y esto se lleva a cabo en el nivel operativo de los departamentos y campañas de relaciones públicas a la hora de implementar esas decisiones.
Como parte de este modelo, Gregory y Macmanara (2019: 8) proponen una serie de preguntas clave y principios de evaluación para cada uno de los niveles de estrategia. Estas preguntas clave se presentan a modo de indicadores clave de desempeño (KPI), cuyas respuestas pueden servir para la evaluación del desempeño del trabajo de relaciones públicas.
Al igual que ocurría con los modelos de evaluación en relaciones públicas previamente analizados, los modelos/marcos de evaluación en medios sociales proponen en su mayoría una evaluación basada en la lógica de programas, representando el proceso de las relaciones públicas a través de un embudo que abarca diferentes fases en función del tipo de resultados a evaluar (ej. Bartholomew, 2010; AMEC e IPR, 2010; Bagnall, 2012; Jeffrey, 2013; Watson y Noble, 2014). En paralelo, en su mayoría ponen el foco en el impacto económico y comercial de los programas y campañas frente a los efectos en las relaciones y en los públicos, en la línea con lo apuntado por estudios anteriores (Sheldrake, 2013; Cuenca Fontbona, Matilla y Compte-Pujol, 2016; Compte-Pujol, Sueldo y Cuenca-Fontbona, 2023). Probablemente la aportación que ha recibido una mayor difusión a este respecto en el campo de las relaciones públicas ha sido el «Validated metrics framework for measuring social media», que formaba parte del marco de evaluación integral denominado «Valid Metrics Framework», publicado por la AMEC e IPR en 2010 después del establecimiento de los Principios de Barcelona, y que sería reemplazado seis años después por el «Integrated Evaluation Framework» de la AMEC (2016), ambos considerados ya en el apartado anterior.
Aunque no constituye un modelo/marco, es importante recordar que los Principios de Barcelona establecidos en 2010 contribuyeron en gran medida al avance de la medición y evaluación de los medios sociales online, al reconocerles un estatus de disciplina en lugar del papel tradicionalmente táctico que se les había otorgado. Esta declaración consideraba en su sexto principio que los medios sociales podían y debían ser medidos, y establecía las siguientes recomendaciones para su medición (AMEC e IPR, 2010: 10-26):
El principal valor de la matriz propuesta por la AMEC e IPR (2010) radicaba en que ofrecía un mecanismo para conectar las actividades de relaciones públicas con los outputs y outcomes, a través de un embudo de ventas que resulta familiar, y con un foco en los outcomes (Bartholomew, 2013a). No obstante, se trata de una matriz que ha recibido diversas críticas por parte de la academia. El Chartered Institute of Public Relations (2011b), por ejemplo, critica la calificación de la matriz como «métricas válidas», ya que cada organización cuenta con unas características propias, y, por consiguiente, también con una estrategia propia, por lo que el conjunto de métricas que utilice también tendrán que ser propias. De acuerdo con la organización, por lo tanto, más que «métricas válidas», se debería hablar de métricas dignas de consideración (p. 7).
Figura 17. «Validated metrics framework for measuring social media» de AMEC e IPR (2010).
|
Social/ Community Engagement |
Awareness |
Knowledge/ Understanding |
Interest/ Consideration |
Intent/ Support/ Preference |
Action |
|
Public Relations Actyvity |
|
|
|
|
|
|
Intermediary Effect |
• Owned media site visitors per day
|
|
|
|
|
|
Target Audience Effect (Consumer/Customer) |
|
|
|
|
|
Fuente: AMEC e IPR (2010: 24).
Otro de los principales esfuerzos realizados por la industria para definir y promover estándares para la medición en medios sociales, fue la creación del «Conclave on Social Media Measurement Standards» (también conocido como «#SMMStandards Coalition» o «Conclave»), un año después de la publicación de los Principios de Barcelona (AMEC e IPR, 2010) y del «Valid Metrics Framework» (AMEC e IPR, 2010). El Conclave es una amplia coalición de empresas B2B y B2C, agencias de relaciones públicas y medios sociales, y asociaciones de la industria (incluída la AMEC).3 En su primera reunión en 2011, definió una serie de temas prioritarios respecto a las que era necesario establecer estándares: 1) Content and Sourcing; 2) Reach and Impressions; 3) Engagement and Conversation; 4) Influence; 5) Opinion and Advocacy; y 6) Impact and Value. Dos años más tarde, en 2013, el Conclave llevó a cabo un esfuerzo de estandarización en este sentido, a través de la publicación del documento titulado The Conclave Complete Social Media Measurement Standards (The Conclave on Social Media Measurement Standards, 2013), en el que se establecían definiciones para cada uno de los aspectos anteriormente citados, y cuyas principales aportaciones se han considerado ya en la presente investigación en el apartado de «Indicadores y métricas para la medición de los resultados».
Los Principios de Barcelona (AMEC e IPR, 2010), el «Valid Metrics Framework» (AMEC e IPR, 2010), así como los esfuerzos de estandarización realizados por el Conclave y otras iniciativas del sector, como el «Social Media Measurement Group» del CIPR, dieron lugar a la aparición de nuevas propuestas sobre cómo medir de forma efectiva los medios sociales, y promovieron la creación de nuevos modelos de evaluación en medios sociales.
Don Bartholomew, que es uno de los profesionales dedicados a la investigación en medios sociales más reconocidos en el sector, presentó en 2010 un modelo basado en el «Valid Metrics Framework» de la AMEC e IPR (2010), pero adaptando el embudo de la comunicación a los medios sociales a través de cuatro etapas —«exposure» (exposición), «engagement», «influence» (influencia) y «action» (acción)— (ver Figura 18), y sustituyendo la columna vertical respecto a las fases de relaciones públicas por los cuatro tipos de medios de acuerdo al modelo PESO —medios pagados, ganados, compartidos, y propios— (Bartholomew, 2010).
El autor argumentó que el modelo de comunicación de Outputs-Outtakes-Outcomes tenía dos deficiencias principales en la era de la digitalización y de las redes sociales: claridad y relevancia. Respecto a la falta de claridad, el autor criticaba que el modelo era difícil de entender y aplicar, y que a menudo los y las profesionales de las relaciones públicas tendían a confundir los Outputs con los Outtakes o Outcomes. En cuanto a la relevancia, Bartholomew expresaba que el contexto en el que se aplica el modelo ha variado mucho debido a la digitalización, pasando de un proceso centrado en los medios a otro centrado en los contenidos, por lo que la forma en que los receptores de la comunicación se involucran y se ven influenciados por el contenido ha cambiado de manera significativa (Bartholomew, 2010).
Tal y como se observa (ver Figura 19), de acuerdo con el autor, las métricas tienen que obedecer a los objetivos de exposición, engagement, influencia y acción de la campaña, y son aplicables también a los medios convencionales, aunque están fundamentalmente centradas en los medios/redes sociales. La primera fase de exposición incluye métricas tradicionales como las impresiones, y métricas digitales como el alcance en Twitter (actual X). La segunda fase de engagement considera métricas tradicionales como el número de lectores, y agrega otras como las suscripciones o el ratio de interacción. La tercera fase de influencia, según el autor, se refiere a la influencia del objetivo público, no a quién tiene influencia en las redes sociales, y se cosideran métricas como el cambio en las actitudes y opiniones, o la asociación de la marca con atributos clave. La cuarta y última fase de acción incluye métricas que pueden variar desde la asistencia a eventos hasta la votación a favor o en contra de la legislación o la compra de un producto (Bartholomew, 2010, s.p.).
En el año 2013, Don Bartholomew y Richard Bagnall, en ese momento Vice-presidente y Presidente respectivamente del «Social Media Measurement Group» de la AMEC, presentaron un nuevo marco para la medición en medios sociales —«Social Media Metrics Model»— (Bartholomew, 2013a; 2013b), tomando como punto de partida el «Valid Metrics Framework» de la AMEC e IPR (2010) y con el objetivo de incorporar los estándares establecidos por el Conclave (The Conclave on Social Media Measurement Standards, 2013). De acuerdo con el «Social Media Measurement Group», el embudo de comunicación tradicional y las fases que considera (actividades de relaciones públicas, efecto intermediario y efecto en el público objetivo) en el que se basaba el «Valid Metrics Framework» no constituía el proceso más adecuado para su aplicación a los medios sociales (Bartholomew, 2013a; 2013b), por lo que se tornaba necesario la creación de un modelo adecuado a la naturaleza y características de este medio.
Así pues, a partir de las categorías y definiciones propuestas por el Conclave (The Conclave on Social Media Measurement Standards, 2013), y después de estudiar alrededor de quince modelos de comunicación y medios sociales, el «Social Media Measurement Group» propone un modelo basado en cinco fases, a través de las cuales organizan las métricas respectivas a los medios sociales: «Exposure» («Exposición»), «Engagement», «Influence» («Influencia»), «Impact» («Impacto») y «Advocacy» («Defensa») (Bartholomew, 2013b) (ver Figura 20).
Para la operativización de las métricas a utilizar en medios sociales, el «Social Media Measurement Group» propone un marco denominado «The AMEC Social Media Valid Framework», que incluye dos posibles versiones con muestras de métricas a utilizar (Bartholomew, 2013b: 11-17):
No obstante, tanto el modelo de Bartholomew (2010) como el propuesto por el «Social Media Measurement Group» (Bartholomew, 2013b), han sido considerados posteriormente por otros autores, explicando dichos modelos/marcos (ej. Bagnall, 2012; Watson y Noble, 2014; Luttrell, 2021), o tomándolos como referencia para establecer los niveles de evaluación en medios sociales, como es el caso de Watson y Noble (2014), que argumentan que el embudo en medios sociales cuenta normalmente con cuatro fases, que, aunque utilizan una terminología diversa, pueden ser resumidos de la siguiente forma (p. 147):
1. Identificar las metas organizacionales y departamentales.
2. Investigar cada uno de los stakeholders y priorizar.
3. Establecer objetivos específicos para cada stakeholder priorizado.
4. Establecer indicadores clave de rendimiento (KPI) en medios sociales para cada objetivo de stakeholders.
5. Elejir herramientas y puntos de referencia (usando la Matriz de AMEC).
6. Analizar los resultados y comparar con los costos.
7. Presentar a la gerencia.
8. Medir continuamente y mejorar el rendimiento.
El proceso propuesto por Jeffrey (2013) presenta una gran similitud con el proceso de planificación estratégica en relaciones públicas que veíamos en apartados anteriores, con algunas diferencias terminológicas adaptadas al entorno de medios sociales. También cuenta con algunas similitudes con el proceso de medición en medios sociales propuesto por el «Social Media Measurement Group» (Bartholomew, 2013b: 4) y el «Seven Stepts to the Perfect Measurement Program» planteado por Paine (2011a), siendo que el propio autor reconoce haber tomado como referencia el trabajo previo de Paine (Jeffrey, 2013: 4).
El «Seven Stepts to the Perfect Measurement Program» de Paine (2011a) incide en el carácter iterativo del proceso de medición, estableciendo que los datos sobre el éxito contribuyen a la mejora de la estrategia (p. 33). La autora establece siete pasos «lógicos», que, según ella, aplican la mayoría de los programas de medición, independientemente de quiénes sean los stakeholders o qué métricas se utilicen (p. 33). Estos siete pasos incluyen (pp. 34-44):
1. Define tus metas y objetivos.
2. Define tu entorno, tus audiencias y tu papel influyendo en ellas.
3. Define tu inversión.
4. Determina tus «benchmarks» —comparaciones— (por ejemplo, con la competencia, contigo mismo, o con un promedio de la industria).
5. Define tus indicadores clave de rendimiento.
6. Secciona la herramienta de medición y los proveedores adecuados y recolecta los datos.
7. Convierte los datos en acción, extrae conclusiones viables, y haz recomendaciones.
Basados en estos siete pasos para la medición de los programas en medios sociales, Paine (2011a) propone asimismo seis pasos para la medición en medios sociales (pp. 84-96):
1. Define la meta.
2. Identifica tus públicos y determina cómo les afectan tus esfuerzos en medios sociales.
3. Define tus «benchmarks».
4. Determina los KPIs específicos a través de los cuales definirás el éxito.
5. Selecciona una herramienta.
6. Recoge los datos, analiza los resultados, realiza recomendaciones y mide de nuevo.
En el ámbito del estado español, destaca el trabajo realizado por Emilia Smolak-Lozano en colaboración con Antonio Castillo (Smolak-Lozano, 2012b; Castillo-Esparcia y Smolak Lozano, 2013). La autora propone un «modelo integral de evaluación de las estrategias implementadas en Social Media» basado en el concepto de «Social Web Analytics» de Philip Sheldrake (Smolak-Lozano, 2012b). El modelo incide en la importancia de considerar la participación e investigación como dos aspectos indivisibles en medios sociales, por lo que incluye en el modelo tanto la participación, como la investigación y evaluación en tiempo real, destacando, además, la importancia del uso de varias técnicas y herramientas de forma simultánea para ello (Smolak-Lozano, 2012b: 305-306).
Respecto a la monitorización de medios sociales de manera específica, por ejemplo, el Chartered Institute of Public Relations (2013b) propone a modo de ejemplo un proceso de monitorización flexible constituido por ocho pasos, si bien constituye más un proceso general de planificación que exclusivamente de medición y evaluación (pp. 20-23):
1. Partir de los objetivos de negocio de la organización.
2. Establecer roles y responsabilidades.
3. Establecer un calendario y tiempos de respuesta.
4. Establecer el tono que se utilizará en medios sociales, coherente con la personalidad de la organización.
5. Decidir qué herramientas de monitorización se van a utilizar y qué se va a «escuchar», identificando las keywords relevantes, como el nombre de la marca, los productos o servicios, o los competidores.
6. Categorizar las conversaciones/menciones detectadas, estableciendo si necesitan respuesta inmediata, urgente, o no necesitan respuesta.
7. Llevar a cabo un registro de las conversaciones identificadas, incluyendo información clave, como por ejemplo quién realiza la publicación, qué ha dicho, dónde lo ha dicho, cuál es el sentiment de la publicación, cuál es el share of voice de la publicación, si es una publicación sensible, si es una publicación que necesita respuesta, si la publicación ha recibido una respuesta, si el usuario ha respondido, si hay algún área de la organización que necesita ser contactada antes de responder, si la publicación necesita ser escalada a algún alto ejecutivo, o cuál es el estado de la conversación.
8. Reportar semanal o mensualmente al resto de la organización, con un análisis que informe la estrategia de engagement futura.
En lo que respecta al proceso del análisis de contenido para llevar a cabo una monitorización en medios sociales, Paine (2011a) propone un proceso que consta de ocho pasos (pp. 91-95):
1. Recolectar el contenido.
2. Determinar el tipo de conversaciones que se están produciendo, y categorizarlas por temas.
3. Determinar la visibilidad de tu marca.
4. Determinar quién ha sido citado en el ítem (en el caso de que alguien haya sido citado).
5. Determinar el sentiment y/o presencia o ausencia de recomendaciones.
6. Determinar si alguno de los mensajes clave de la organización ha sido comunicado.
7. Determinar el posicionamiento de la organización y competidores respecto a asuntos clave.
8. Cuantificar la autoridad del escritor o posteador.
Con todo ello, más allá de los modelos y marcos generales para la medición y evaluación de los medios sociales online previamente considerados, es importante notar que también han surgido otras contribuciones de carácter específico, centradas, por ejemplo, en aspectos como la monitorización de blogs influyentes en situaciones de crisis (Jin y Liu, 2010; Liu et al., 2012), la evaluación del engagement en situaciones de normalidad y en situaciones de crisis (Jiang, Luo y Kulemeka, 2016), o la investigación de la reputación online (Del-Fresno-García, 2011), entre otros. Además, también se han realizado aportaciones en este sentido desde otros campos de conocimiento afines a la comunicación/relaciones públicas, especialmente, el Marketing (ej. Barger y Labrecque, 2013; Boon-Long y Wongsurawat, 2015).
Después de un uso continuado de los clippings de medios como forma mayoritaria de medición y evaluación de las relaciones públicas hasta 1980 (Watson, 2012), a partir de 1990 comienzan a surgir formas de medición más complejas tanto desde el ámbito académico como desde el profesional. Tal y como se ha expuesto, Cutlip, Center y Broom presentan en 1985 el modelo «Planning, Implementation, Impact (PII)», que ha sido ampliamente difundido y discutido por la academia, y que fue tomado como base para el desarrollo de un gran número de modelos de medición y evaluación durante los años 90: El «Macro Model of PR evaluation» (Macnamara, 1992), ampliado más tarde y re-denominado como «Pyramid Model of PR Research» (Macnamara, 2002); el «PR Effectiveness Yardstick» (Lindenmann, 1993); el «IPRA Model of Evaluation» (IPRA, 1994); los modelos «Short-Term Model» y «Continuing Model of Evaluation» (Watson, 1996); y el «Unified Evaluation Model» (Noble y Watson, 1999), entre otros.
Tal y como se ha podido comprobar a través del análisis, la mayoría de los modelos de evaluación existentes tanto para los programas/campañas de relaciones públicas de forma general como para la evaluación de los programas/campañas en medios/redes sociales de forma específica, proponen una evaluación basada en la lógica de programas, identificando diferentes fases e indicadores/métricas de evaluación, y algunos de ellos proponiendo asimismo metodologías y técnicas para su aplicación. No obstante, se observa una amplia discrepancia respecto a la terminología que utilizan y a qué nivel corresponden qué métricas o mediciones.
Tal y como podía observarse en la tabla-resumen que se incluía en el subapartado referente a los modelos de evaluación en relaciones públicas —Tabla 8, supra p.156—, a medida que estos modelos han ido evolucionando, se produce una fragmentación de la terminología utilizada y del número de etapas en el proceso de evaluación. Algunos autores han apuntado que el debate sobre la evaluación se encuentra actualmente «estancado» (Macnamara, 2015a: 371), y atascado cada vez más en el desarrollo de listas más completas de indicadores y métricas y en la expansión de taxonomías de términos de evaluación (Gregory y Macnamara, 2019: 1).
Los primeros modelos de evaluación, como el «PII», el «Pyramid Model of PR Research» o el «PR Effectiveness Yardstick», tendían a considerar el proceso de la comunicación desde el creador del mensaje hasta los objetivos de comunicación deseados, entiendo la comunicación como un proceso unidireccional y en interés del autor, que no tiene en cuenta el contexto y la respuesta de los públicos (Gregory y Macnamara, 2019), considerando el proceso de las relaciones públicas como lineal y estático (Watson y Noble, 2014). Con el paso de los años, aparecen nuevos modelos con una perspectiva dinámica e iterativa del proceso de evaluación, como el «Unified Evaluation Model» de Watson y Noble (1999), o el «UK Government Communication Service evaluation framework» del Government Communication Service (2015; 2018), si bien algunos modelos anteriores ya mencionaban la necesidad de una evaluación que retroalimentase el proceso de planificación estratégica, aunque no lo representaran gráficamente.
A partir de los 2000, aparecen nuevos modelos que consideran dentro del proceso de evaluación la contribución de las relaciones públicas a la creación de valor organizacional, en gran medida promovidos por asociaciones u organizaciones profesionales, entre los que destacan el «Communication controlling framework» (PRG y GPRA, 2000; PRG e ICV, 2009) o el «Integrated Evaluation Framework» (AMEC, 2016) por su amplia difusión, si bien también existen otros que no han sido incluidos en el anális, con un foco específico en este aspecto, como el «Communication Value Circle» (Zerfass y Viertmann, 2017) o el «Communications Contributions Framework» (Zerfass y Volk, 2018).
En los últimos años, sin embargo, aparecen nuevas aproximaciones que retan esta perspectiva centrada en la organización, reconociendo la necesidad de incluir las exigencias de los públicos, stakeholders y sociedad como forma legítima de evaluación de los programas y actividades de relaciones públicas, tanto desde la lógica de programas, como el «Integrated model of evaluation» (Macnamara, 2018a), como desde enfoques alternativos, como el «Bi-directional and bi-functional evaluation model» (Gregory y Macnamara, 2019) basado en principios. Estos modelos responden a una necesidad de evaluar el impacto en la sociedad que ya había sido ampliamente reconocida tanto por la Teoría de la Excelencia de las Relaciones Públicas (Grunig, 1992), como por diversos autores (ej. Broom, 1977; Grunig, 1992; L’Etang y Pieczka, 2006; L’Etang, 2009; Van Ruler, 2019; Hurst y Johnston, 2021).
Gregory y Macnamara (2019), expresan muy bien estas carencias de los modelos predominantes:
La diversidad, complejidad y grado de abstracción de los modelos de evaluación existentes podría ser una de las razones por las que éstos no han gozado de una amplia aceptación y aplicación por parte de la academia y la práctica de las relaciones públicas, lo que ha llevado a autores como Watson y Noble (2014: 55) a afirmar que, en la actualidad, no existe un modelo universalmente aceptado. Este hecho ha dado pie a que la academia apunte a la necesidad de una estandarización en la evaluación de las relaciones públicas, que permita la comparación de las evaluaciones y asegure que se están aplicando métodos adecuados (Michaelson y Stacks, 2011; ADECEC, 2018).
Otros autores como Gregory y Macnamara (2019) también advierten la distancia entre estos procesos y la práctica moderna, que está presionada por el tiempo, cuenta con recursos limitados y utiliza informaciones y lenguajes diferentes a los propuestos por los modelos, ajenos a la mayoría de los/las altos/as directivos/as (p. 7). Éstos apuntan que «una crítica clave de estos modelos es la sospecha de que están más preocupados por justificar el trabajo de relaciones públicas que por proporcionar información útil sobre el desempeño e inteligencia procesable que informará la toma de decisiones en el futuro» (p. 10).
A pesar de los esfuerzos de estandarización realizados por la academia y la industria de las relaciones públicas, con iniciativas como los Principios de Barcelona (AMEC e IPR, 2010), el «Integrated Evaluation Framework» (ADECEC, 2016), los estándares promovidos por el Conclave (The Conclave on Social Media Measurement Standards, 2013), y otras iniciativas del sector, como el «Social Media Measurement Group» de la AMEC o el «Social Media Measurement Group» del CIPR, todavía no se ha logrado una aceptación general de un modelo ni de la terminología de las fases de evaluación, algo que ya ha sido previamente señalado por la academia (ej. Buhman, Macnamara y Zerfass, 2019).
Aunque existe una gran cantidad de modelos de evaluación que no han sido considerados en este capítulo, el análisis realizado permite obtener una panorámica del proceso evolutivo de aquellos que han gozado de una difusión y aceptación más amplia en nuestro campo.
Referencias
Aced, C., Arqués, N., Benítez, M., Llordá B. y Sanagustin E. (2009). Visibilidad: cómo gestionar la reputación en Internet. Barcelona: Ediciones Gestión 2000.
AERCO-PSM (s.f.). Diccionario AERCO-PSM. https://www.zorraquino.com/diccionario/marketing-digital/que-es-aerco.html
Association of Measurement and Evaluation of Communication (AMEC) (s.f.b). A taxonomy of evaluation towards standards. AMECORG. https://amecorg.com/amecframework/assets/taxonomy.pdf
/
Barger, V. A. y Labrecque, L. (2013). An Integrated Marketing Communications Perspective on Social Media Metrics. International Journal of Integrated Marketing Communications, Spring, 64-76. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2280132
Bartholomew, D. (2010). The Digitization of Research and Measurement. MetricsMan. https://metricsman.wordpress.com/2010/05/12/the-digitization-of-research-and-measurement/
boyd, D.M. y Ellison, N.B. (2007). Social network sites: Definition, history, and scholarship. Journal of Computer-Mediated Communication, 13(1), 210-230. https://doi.org/10.1111/j.1083-6101.2007.00393.x
Hoboken, NJ, USA: John Wiley & Sons.
Hoboken, NJ, USA: John Wiley & Sons.
Castillo, A. y Álvarez Nobell, A. (2014). Medición y evaluación en comunicación estratégica. Madrid: McGraw-Hill.
Castillo-Esparcia, A. y Smolak Lozano, E. (2013). Redes sociales y organizaciones. Modelos de evaluación. Historia y Comunicación Social, 18, 473-487. https://doi.org/10.5209/rev_HICS.2013.v18.44343
Chartered Institute of Public Relations (CIPR) (2013a). Social media best practice guide. CIPR. https://es.slideshare.net/CIPRPaul/cipr-social-media-guidelines-final-2013
Chartered Institute of Public Relations (CIPR) (2013b). Guide to Social Media Monitoring. CIPR. https://www.slideshare.net/CIPRPaul/cipr-guide-to-social-media-monitoring
Levels of impact and evaluation. http://www.communicationcontrolling.de/indexae7f.html?id=33&L=3
Costa, C.V. (2015). Comunicación de crisis, redes sociales y reputación corporativa. Un estudio sobre el uso de las redes sociales como un discurso contrario a una campaña publicitaria [Tesis Doctoral, Universidad Complutense de Madrid, Madrid, España]. https://www.ucm.es/data/cont/media/www/pag-73273/TesisDoctoral_CarlosCosta-2015.pdf
Crifasi, S. (2000). Everything’s coming up ROSIE. Public Relations Tactics, 7(9), 22. https://ehu.idm.oclc.org/login?url=https://www-proquest-com.ehu.idm.oclc.org/docview/205142732?accountid=17248
Cutlip, S.M., Center, A.H. y Broom, G.M. (1994). Effective public relations. 7th ed. New Jersey, NJ: Prentice Hall.
Damásio, M. J., Dias, P. y Andrade, J.G. (2012). The PR Pyramid: Social media and the new role of Public Relations in organizations. Revista Internacional de Relaciones Públicas, 2(4), 11-30. http://dx.doi.org/10.5783/RIRP-4-201201-11-30
Deutsche Public Relations Gesellschaft (PRG) y Gesellschaft Public Relations Agenturen (GPRA) (2000). PR-evaluation: Messen, analysieren, bewerten-empfehlungen für die praxis. Bonn, Germany: Booklet.
Devin, B.L. y Lane A.B. (2014). Communicating engagement in corporate social responsibility: A meta-level construal of engagement. Journal of Public Relations Research, 26(5), 436-454. https://doi.org/10.1080/1062726X.2014.956104
Dhanesh, G. S. (2017). Putting engagement in its PRoper place: State of the field, definition and model of engagement in public relations. Public Relations Review, 43(5), 925-933, https://doi.org/10.1016/j.pubrev.2017.04.001
Di Génova, A. E. (2016). Manual de relaciones públicas e institucionales: estrategias y tácticas relacionales y de comunicación (2a. ed.). Buenos Aires, Argentina: Ugerman Editor.
Dozier, D. M., Grunig, J.E. y Grunig, L.A. (1995). Manager’s Guide to Excellence in Public Relations and Communication Management. Hillsdale, N.J.: Lawrence Erlbaum.
Endaltseva, A. (2015). The present state of integrated communication in Russia. Public Relations Review, 41(4), 533-540. https://doi.org/10.1016/j.pubrev.2015.05.015
Estanyol, E. (2012). Marketing, public relations, and how Web 2.0 is changing their relationship: A qualitative assessment of PR consultancies operating in Spain. Public Relations Review, 38(5), 831-837. https://doi.org/10.1016/j.pubrev.2012.04.006
European Commission (2019a). Communication network indicators. Supporting guide. European Comission. https://ec.europa.eu/info/sites/default/files/communication_network_indicators_supporting_guide.pdf
European Commission (2019b). Communication network indicators. European Comission. https://ec.europa.eu/info/sites/default/files/communication_network_indicators.pdf
Fairchild, F. y O’Conner, N. (1999). The public relations research and evaluation toolkit: How to measure the effectiveness of PR. London, UK: Institute of Public Relations.
Fernández, P. (2009). Clasificación de redes sociales. https://www.pablofb.com/2009/03/clasificacion-de-redes-sociales/
Fortune Business Insights (2023). Media Monitoring Tools Market. https://www.fortunebusinessinsights.com/media-monitoring-tools-market-104157
García Carballo, C. (2015). Relaciones Públicas. 2.0: La personalización de los mensajes en Redes Sociales como elemento de fidelización [Tesis Doctoral, Universidad de Málaga, Málaga, España].
Garton, L., Haythornthwaite, C. y Wellman, B. (1997). Studying Online Social Networks. Journal of Computer-Mediated Communication, 3(1). https://doi.org/10.1111/j.1083-6101.1997.tb00062.x
Gillin, P. (2008). New media, new influencers and implications for the public relations profession. Journal of New Communication Research, 2(2), 1-10.
GCS Evaluation Framework Comprehensive user guide and FAQs. Government Communication Service. https://www.davidhodder.com/wp-content/uploads/2018/09/GCS-Evaluation-Framework.pdf
Government Communication Service (GSC) (2018). Evaluation Framework 2.0. June 2018. Government Communication Service. https://3x7ip91ron4ju9ehf2unqrm1-wpengine.netdna-ssl.com/wp-content/uploads/2020/03/Evaluation-Framework-2.0.pdf
Gregory, A. (2010). Planning and Managing Public Relations Campaigns: A Strategic Approach. Third Edition. London, UK: Kogan Page.
Gregory, A. y Halff, G. (2013). Divided we stand: Defying hegemony in global public relations theory and practice? Public Relations Review, 39(5), 417-425. https://doi.org/10.1016/j.pubrev.2013.04.006
Gregory, A. y Halff, G. (2020). The damage done by big data-driven public relations. Public Relations Review, 46(2), 1-7. https://doi.org/10.1016/j.pubrev.2020.101902
Gregory, A. y Watson, T. (2008). Defining the gap between research and practice in public relations programme evaluation–towards a new research agenda. Journal of Marketing Communications, 14(5), 337-350. https://doi.org/10.1080/
13527260701869098
Gregory, A. y Willis, P. (2013). Strategic Public Relations Leadership. London, UK: Routledge.
Grunig, J.E. (Ed.) (1992). Excellence in public relations and communication management. Hillsdale, NJ: Lawrence Erlbaum Associates.
Grunig, J.E. y Hunt, T. (1984). Managing Public Relations. New York, NY: Holt: Rinehart and Winston.
Edward Elgar.
Hallam, J. (2013a). The Social Media Manifesto. London, UK: Palgrave Macmillan.
Hoboken, NJ: .John Wiley & Sons.
Howard, P.N.; Parks, M.R. (2012). Social media and political change: Capacity, constraint, and consequence. Journal of Communication, 62(2), 359-362. https://doi.org/10.1111/j.1460-2466.2012.01626.x
Howell, K. (2012). An introduction to social networks. En S. Waddington (Ed.), Share This: The Social Media Handbook for PR Professionals (pp. 4-12). Hoboken, NJ: .John Wiley & Sons.
Hurst, B. y Johnston, K.A. (2021). The social imperative in public relations: Utilities of social impact, social license and engagement. Public Relations Review, 47(2), 102039, https://doi.org/10.1016/j.pubrev.2021.102039
Ideya (2018). Social Media Monitoring Tools and Services Report Public Excerpts 2018. Analysis and Elaborate Profiles of more than 150 Social Technologies & Services Worldwide. Ideya. http://ideya.eu.com/images/SMMTools%20Excerpts%202018%20Final.pdf
International Communications Consultancies Organisation (ICCO) (2020). World PR Report 2020. London, UK: ICCO. https://iccopr.com/wp-content/uploads/2019/12/ICCO-brochure-digi.pdf
International Integrated Reporting Council (IIRC) (2013). International Integrated Reporting Framework. http://integratedreporting.org/wp-content/up
International Public Relations Association (IPRA) (1994). Gold Paper No.11: Public relations evaluation: professional accountability. London: IPRA.
Jiang, H., Luo, Y. y Kulemeka, O. (2016). Social media engagement as an evaluation barometer: Insights from communication executives. Public Relations Review, 42(4), 679-691. https://doi.org/10.1016/j.pubrev.2015.12.004
Kaplan, A.M. y Haenlein, M. (2010). Users of the world, unite! The challenges and opportunities of social media. Business Horizons, 53(1), 59-68. https://doi.org/10.1016/j.bushor.2009.09.003
Kaushik, A. (2015). How To Suck At Social Media: An Indispensable Guide For Businesses. https://www.kaushik.net/avinash/social-media-marketing-success-guide-businesses/
L’Etang, J. y Pieczka, M. (2006). Public relations: critical debates and Contemporary Practice. Mahwah, N.J.: Lawrence Erlbaum Associates.
Lévy, P. (1997). Collective Intelligence: Mankind’s Emerging World in Cyberspace. Cambridge, UK: Perseus Books.
Lindenmann, W.K. (1993). An Effectiveness Yardstick to Measure Public Relations Success. Public Relations Quarterly, 38(1), 7-9.
Lindenmann, W.K. (1997a). Guidelines and standards for measuring and evaluating PR effectiveness. Gainesville, FL: Institute for Public Relations Research & Education.
Little (2021). The Forrester New Wave™: AI-Enabled Consumer Intelligence Platforms, Q3 2021. Forrester. https://www.forrester.com/report/the-forrester-new-wave-ai-enabled-consumer-intelligence-platforms-q3-2021/RES161546
Liu, B.F., Jin, Y., Briones, R. y Kuch, B. (2012). Managing turbulence in the blogosphere: Evaluating the Blog-Mediated Crisis Communication Model with the American Red Cross. Journal of Public Relations Research, 24(4), 353-370. https://doi.org/10.1080/1062726X.2012.689901
Louma-aho, V. y Badham, M. (Eds.) (2023). Handbook on Digital Corporate Communication. Edward Elgar Publishing. https://doi.org/10.4337/9781802201963
Macnamara, J. (2015a). Breaking the measurement and evaluation deadlock: a new approach and model. Journal of Communication Management, 19(4), 371-387.
Macnamara, J. (2018a). Evaluating public communication: New models, standards and best practice. Abingdon, UK: Routledge.
Macnamara, J. y Zerfass, A. (2012). Social Media Communication in Organizations: The Challenges of Balancing Openness, Strategy, and Management. International Journal of Strategic Communication, 6(4), 287-308. https://doi.org/10.1080/1553118X.2012.711402
Marhuenda, C.M. y Nicolás, M.A. (2012). Herramientas para la medición de los social media. En M. M. Grandío y Ojeda, M. Á. N. (Eds.) (2012), Estrategias de comunicación en redes sociales: usuario, aplicaciones y contenidos (pp. 31-50). Barcelona: Gedisa.
Matilla, K., Miranda, T., Compte Pujol, M. y Oliveira dos Santos, A. (2018). Divergencias en la denominación funcional de los departamentos de comunicación en España. Redmarka: revista académica de marketing aplicado, 1(22), 129-156. https://doi.org/10.17979/redma.2018.01.022.4939
7449
Mintzberg, H. y Quinn, J.B. (1991). The Strategy Process. Englewoods Cliffs, NJ: Prentice Hall.
Moss, G., Kennedy, H., Moshonas, S. y Birchall, C. (2015). Knowing your publics: the use of social media analytics in local government. Information Polity, 20(4), 287-298. https://doi.org/10.3233/IP-150376
Muñoz, G. y Elósegui, T. (2011). El arte de medir: Manual de analítica Web. Barcelona: Profit editorial.
Niemann-Struweg, I. (2014). An integrated communication implementation model for the post-2000 business environment. Public Relations Review, 40(2), 184-192. https://doi.org/10.1016/j.pubrev.2013.08.011
Noble, P. (2014). Public relations programme research and evaluation. En R. Tench y L. Yeomans (Eds.), Exploring Public Relations (3th edition) (pp. 168-180). London, UK: Pearson.
O’Neil, C. (2017). The era of blind faith in big data must end. TED Ideas Worth Spreading. www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end
Paine, K. D. (2009). New school of thought. Communication World, 26(6), 20-24.
Paine, K.D. (2011b). Designing and Implementing Your Communication’s Dashboard: Lessons Learned. Gainesville, FL: The Institute for Public Relations. https://instituteforpr.org/designing-implementing-communication-dashboard/
Pardo Kuklinski, H. y Scolari, C. (2006). Web 2.0. Caos conceptual y nuevos mitos en el discurso cibercultura. [Ponencia] IX Congreso IBERCOM. El espacio iberoamericano de comunicación en la era digital, Sevilla, España.
Parker, A. (2013). Understanding social capital. En R. Brown y S. Waddington (Eds.), Share This Too: More Social Media Solutions for PR Professionals (63-71). Hoboken, NJ, USA: .John Wiley & Sons.
Petrovici, M.A. (2014). E-public relations: Impact and efficiency. A case study. Procedia-Social and Behavioral Sciences, 141, 79-84. https://doi.org/10.1016/j.sbspro.2014.05.015
Phillips, D.; Young, P. (2009). Online Public Relations. A practical guide to developing an online strategy in the world of social media (Second Edition). London, UK: Kogan Page.
Pineda-Martínez, P. (2014). Ser y comunicar la responsabilidad corporativa en internet: evidencias desde el sector energético en España. En D. Fernández Quijada y M. Ramos-Serrano (Eds.), Tecnologías de la persuasión: uso de las TIC en publicidad y relaciones públicas (pp. 29-50). Barcelona: UOC.
Pineda-Martínez, P. y Ruiz-Mora, I. (2019). Comunicación interna y narrativas transmedia, nuevas estrategias para la empresa responsable. Estudio de caso de Telefónica. El profesional de la información, 28(5), 1-12. https://doi.org/10.3145/epi.2019.sep.24
RAE (2023). Diccionario de la lengua española. Edición del Tricentenario, actualización de 2023. Real Academia Española. http://www.rae.es/
Rebold (s.f.). Medición y evaluación para la excelencia en la comunicación 2019. https://letsrebold.com/es/medicion-y-evaluacion-para-la-excelencia-en-la-comunicacion-2019/
Ruler, B. van y Verčič, D. (2002). The Bled Manifesto on Public Relations. Ljubljana: Pristop Communications. http://www.researchgate.net/profile/Dejan_Vercic/publication/259655315_The_Bled_Manifesto_on_public_relations/links/00b7d52d2afaab23f7000000.pdf
Safko, L. y Brake, D.K. (2009). The Social Media Bible: Tactics, Tools, and Strategies for Business Success. Hoboken, N.J.: John Wiley & Sons.
Sheldrake, P. (2012). Real-time public relations. En S. Waddington (Ed.), Share This: The Social Media Handbook for PR Professionals (pp. 147-156). Hoboken, NJ: John Wiley & Sons.
Sisco, H. F., Collins, E.L. y Zoch, L.M. (2011). Breadth or depth? A content analysis of the use of public relations theory. Public Relations Review, 37(2), 145-150. https://doi.org/10.1016/j.pubrev.2010.10.006
Smith, B.G. (2012). Communication integration: An analysis of context and conditions. Public Relations Review, 38(4), 600-608. https://doi.org/10.1016/j.pubrev.2012.06.003
Smolak-Lozano, E. (2012b). Gestión estratégica de Relaciones Públicas 2.0: Estrategia de visibilidad en las redes sociales en la gestión de reputación. Propuesta de un modelo integral de evaluación de Relaciones Públicas en las redes sociales. [Ponencia] VII Congreso Internacional de Investigación en Relaciones Públicas, Sevilla, España. https://idus.us.es/bitstream/handle/11441/39345/Pages%20from%20Actas_VII_Congreso_AIRP_Sevilla2012-9.pdf?sequence=1&isAllowed=y
Solis, B. (2010). PR 2.0 in a Web 2.0 world: what is public relations 2.0. New Jersey, NJ: FTPress Delivers.
Solis, B. y Breakenridge, D.K. (2009). Putting the Public Back in Public Relations: How Social Media Is Reinventing the Aging Business of PR. New Jersey: FT Press.
Sordo, A. I. (2021). ¿El algoritmo de Facebook está afectando tu alcance orgánico? HubSpot, Marketing. https://blog.hubspot.es/marketing/alcance-organico-facebook-algoritmo
Springston, J.K. (2001). Public Relations and New Media Technology: The Impact of the Internet. En R. L. Heath (Ed.), Handbook of Public Relations (pp. 603-614).
Thousand Oaks, CA: Sage.
Stacks, D.W. y Bowen, S.A. (Eds.) (2013). Dictionary of public relations measurement and research. Gainesville, FL: Institute for Public Relations. http://amecorg.com/wp-content/uploads/2013/09/Dictionary-of-Public-Relations-Measurement-and-Research-3rd-Edition-AMEC.pdf
Stamm, K. R. (1977). Strategies for evaluating public relations. Public Relations Review, 3(4), 120-128. https://doi.org/10.1016/S0363-8111(77)80011-8
Sterne, J. (2010). Social Media Metrics: How to Measure and Optimize Your Marketing Investment. Hoboken, NJ: John Wiley & Sons.
Tamboleo García, R. (2021). Medios sociales o redes sociales: conceptualización y metodología para sociología en español. Revista Inclusiones, 8, 1-13. https://ssrn.com/abstract=3898116
The Conclave on Social Media Measurement Standards (2013). The Conclave Complete Social Media Measurement Standards. https://130414be-3f61-49f5-815f-7199960c5399.filesusr.com/ugd/0b15ae_c4b5f3e188e143cca1ca263376fbb132.pdf
The Holmes Report; International Communications Consultancies Organisation (ICCO) (2015). World PR Report 2015. London, UK: ICCO. http://www.holmesreport.com/ranking-and-data/world-pr-report/research/growth-opportunities
Thomsen, S.R. (1995). Using online databases in corporate issues management. Public Relations Review, 21(2), 103-122. http://dx.doi.org/10.1016/0363-8111(95)90002-0
Van Ruler, B. (2019). Agile communication evaluation and measurement. Journal of Communication Management, 23(3), 265-280. https://doi.org/10.1108/JCOM-12-2018-0136
Verčič, D., Ruler, B. van, Büetschi, G. y Flodin, B. (2001). On the definition of public relations: a European view. Public Relations Review, 27(4), 373-387. https://doi.org/10.1016/S0363-8111(01)00095-9
Volk, S.C. (2016). A systematic review of 40 years of public relations evaluation and measurement research: Looking into the past, the present, and future. Public Relations Review, 42(5), 962-977. https://doi.org/10.1016/j.pubrev.2016.07.003
Volk, S. C. y Zerfass, A. (2018). Alignment: explicating a key concept in strategic communication. International Journal of Strategic Communication, 12(4), 433-451
Watson, T. y Noble, P. (1999). Applying a unified public relations evaluation model in a European context. [Ponencia] Transnational Communication in Europe: Practice and Research. International Congress, Berlin, Alemania. http://eprints.bournemouth.ac.uk/20486/1/Noble%20%26%20Watson%201999%20-%20Unified%20PR%20Evaluation%20model%20%28Berlin%29.pdf
Wellman, B. (1999). The network community. En B. Wellman (Ed.), Networks in the global village (pp. 1-48). Boulder, CO: Westview Press.
White, C.L. y Boatwright, B. (2020). Social media ethics in the data economy: Issues of social responsibility for using Facebook for public relations. Public Relations Review, 46(5), 101980. https://doi.org/10.1016/j.pubrev.2020.101980
Xifra, J. y Lalueza, F. (2009). Casos de relaciones públicas y comunicación corporativa. Madrid: Pearson, Prentice-Hall.
.
4.
Figura 5. Modelo «Preparation, Implement, Impact (PII)» de Cutlip, Center y Broom (1985).
Fuente: Elaboración propia a partir de Cutlip, Center y Broom (1994: 414).
Figura 6. Modelo «Pyramid Modelo f PR Research» de Macnamara (1992; 2002).
Fuente: Macnamara (2016b:11).
Figura 7. Modelo «PR Effectiveness Yardstick» de Lindenmann (1993).
Nivel 3: Avanzado(Outcomes)
Nivel 2: Intermedio(Outgrowths)
Nivel 1: Básico(Output)
Fuente: Elaboración propia a partir de Lindenmann (1993: 8).
Figura 8. Modelo «Short Term Model» de Watson (1996).
Fuente: Elaboración propia a partir de Watson (1996), como se citó en Watson y Noble (2014: 69).
Figura 9. Modelo «Continuing Model of Evaluation» de Watson (1996).
Fuente: Elaboración propia a partir de Watson (1996), como se citó en Watson y Noble (2014: 69).
Investigación
Objetivos establecidos
y efectos
seleccionados
Selección de la estrategia
Opciones tácticas
Efectos
Análisis
múltiple formal e informal
mantener vivo
exitoso
Figura 10. Modelo «Unified Evaluation Model» de Watson y Noble (1999).
Fuente: Watson y Noble (2014: 66).
Figura 11. Modelo «Communication Management Bridge» de Álvarez Nobell (2013).
Fuente: Castillo y Álvarez Nobell (2014: 153).
Figura 12. Modelo «UK Government Communication Service evaluation framework» de Government Communication Service (2015).
Fuente: Government Communication Service (2015: 4).
Figura 13. Herrammienta interactiva del modelo «Integrated Evaluation Framework» de AMEC (2016).
Fuente: AMEC (s.f.b, s.p.).
Figura 14. Modelo «Integrated model of evaluation» de Macnamara (2018a).
Fuente: Macnamara (2018a), como se citó en Gregory y Macnamara (2019: 5).
Figura 15. Modelo «Four-by-four model of strategic public relations» de Gregory y Willis (2013).
Fuente: Gregory y Willis (2013), como se citó en Gregory y Macnamara (2019: 7).
Figura 16. Modelo «Bi-directional and bi-functional evaluation model» de Gregory y Macnamara (2019).
Fuente: Gregory y Macnamara (2019: 10).
Foco 1:
Lograr los objetivos organizacionales
Foco 2:
Responsabilidades ante stakeholders y sociedad
To what degree
have we created exposure to content and message?
Figura 18. Embudo de medios sociales de Bartholomew (2010).
exposure
Fuente: Bartholomew (2010, s.p.).
Who is interacting
& engaging with
our content?
How and where
engagement
influence
How we influenced perceptions &
attitudes of the target?
action
What actions
if any has the target taken?
Figura 19. Embudo de medios sociales de Bartholomew (2010).
|
exposure |
engagement |
influence |
action |
|
|
Paid |
|
|
|
|
|
Eamed |
|
|
|
|
|
Share |
|
|
|
|
|
Owned |
|
|
|
|
Fuente: AMEC e IPR (2010: 24).
Figura 20. Social Media Metrics Model del «Social Media Measurement Group» de la AMEC (Barholomew, 2013b).
Fuente: Bartholomew (2013b: 10).
Figura 21. The AMEC Social Media Valid Framework (version de Métricas de Programa, Canal y Negocio) del «Social Media Measurement Group» de la AMEC (Barholomew, 2013b).
|
exposure |
engagement |
influence |
impact |
advocacy |
|
|
program metrics |
Total OTS for program content |
Number de interactions with content Interaction rate Hashtag usage |
Increase % association with key attributes Change in issue sentiment |
New subscribers Referral traffic to website White paper downloads |
Recommendation/Total Mentions % |
|
channel metrics |
Number of items Mentions Reach Impressins CPM |
Post like Comments Share Views RTs/1000 Followers |
Net promoter % by channel |
Unique visitors |
Organic posts by advocates Ratings/Reviews |
|
business metrics |
Purchase Likelihood to recommend % Association with brand attributes |
Sales Repeat sales Purchase Cost savings Number leads |
Employee ambassadors Brand fans/advocates |
Fuente: Bartholomew (2013b: 15).
Figura 22. The AMEC Social Media Valid Framework (version de Métricas de medios Pagados, Ganados y Propios) del «Social Media Measurement Group» de la AMEC (Barholomew, 2013b).
Fuente: Bartholomew (2013b: 17).
|
exposure |
engagement |
influence |
impact |
advocacy |
|
|
PAID |
Impressions Reach CPM Active GRPs |
Interaction rate Click-thrus Times viewing Completed plays |
Purchase Change in opinion |
Visit website Attend event Sales Download coupon |
Mentions in Earned channel |
|
OWNED |
Unique visitors Page views Reach Impressions CPM |
Return visits Interaction rate Duration Subscriptions Links |
Tell a friend Change in opinion Association with key attributes |
Download paper Download app Sales Request info Cost savings |
Recommendations Ratings |
|
EARNED |
Number of times Number of mentions Numbers of followers OTS |
CommentspPost Shares RTs/1000 Followers Number of inbound links |
Purchase Tell a friend Likelihood to recommend |
Visit the store Attend the event Sales Vote for issue |
Ratings Reviews Recommendations Recommendations rate |