No se puede hacer una tortilla sin romper algunos huevos

Incorporar la Evaluación Evolutiva en la activación de movimientos sociales y el cambio de sistemas

Esta es la primera de una serie de entradas de blog que tienen por objeto presentar el valor de la Evaluación Evolutiva en la activación de movimientos sociales y cambio de sistemas, así como reflexionar acerca de la implementación de este enfoque de evaluación.

La estrategia “Transformation in time” de EIT-Climate-KIC define la innovación de los sistemas como intervenciones integradas y coordinadas, a través de cadenas de valor completas, en sistemas económicos, políticos y sociales, basadas en un portafolio de experimentos de innovación deliberados y conectados – EIT-Climate-KIC

En este primer post, nos centramos en cómo empezar con la Evaluación Evolutiva.

¿Por qué utilizar Evaluación Evolutiva?

Se ha escrito mucho acerca de que los enfoques de evaluación tradicionales no son adecuados para evaluar los esfuerzos de innovación y cambio de sistemas. Están diseñados para programas y proyectos que ejecutan procesos lineales, en contextos estables y tienen como objetivo encontrar soluciones a problemas definidos, utilizando prácticas bien conocidas. En estos casos, la evaluación valora los resultados después de aplicar las soluciones, centrándose en la rendición de cuentas para comprender preguntas como: ¿hicimos lo que dijimos que haríamos? ¿Ha generado esto el impacto que pensábamos generaría?

Pero, ¿cómo se evalúa la complejidad? ¿Cómo se evalúa el valor de un proceso de innovación que no es lineal, que aborda un problema complejo, que opera en un contexto caracterizado por lo desconocido y en el que no se plantean las soluciones de partida si no que surgen en el proceso?  

La Evaluación Evolutiva (EE) ofrece un enfoque de evaluación que puede apoyar los procesos de innovación, a través de bucles que retroalimentan la información en tiempo real, y ayuda a captar el impacto emergente. La EE va más allá de la rendición de cuentas y se centra en:

  • Explorar hipótesis, haciendo preguntas como: ¿lo que estamos haciendo nos está ayudando a conseguirnuestros objetivos? 
  • Aprendizaje: ¿Qué está funcionando? ¿Qué es lo que no funciona? ¿Qué es lo que hay que cambiar? ¿Qué necesitamos seguir haciendo? Los espacios de aprendizaje y reflexión son claves para contrastar y adaptar continuamente nuestras acciones para generar el impacto deseado.
  • Comunicación: ¿Qué está sucediendo? ¿Qué impacto estamos generando? La comunicación interna mantiene alineados a los equipos internos y la comunicación externa es clave para involucrar a las partes interesadas en la construcción del movimiento y el cambio de los sistemas.
  • Gestión: ¿Cuáles son nuestras hipótesis para activar la transformación? ¿Cuáles son las actividades que haremos? ¿Cómo estamos contrastando las actividades que estamos haciendo? Este último elemento trata de captar y hacer un seguimiento de cómo la EE apoya el cambio de los sistemas.

Reflexión de Evaluación Tradicional vs. Evaluación Evolutiva por Michael Quinn Patton:

¿En qué estamos involucrados?

Agirre Lehendakaria Center (ALC) y EIT-Climate KIC (EIT-CKIC) estamosn trabajando, junto con equipos regionales formados por instituciones públicas, organizaciones privadas, ONGs, asociaciones, ciudadanas y ciudadanos, para explorar un enfoque de EE que apoye una serie de intervenciones de Transformación Justa en Europa. Estamos trabajando en el marco de los enfoques de Deep Demonstration de EIT-CKIC y de Plataforma de Innovación Abiertade ALC.

Actualmente, estamos incorporando el enfoque de EE en el trabajo que los equipos están llevando a cabo y estamos reflexionando sobre los aprendizajes iniciales que compartimos a continuación:

¿Qué estamos aprendiendo en…

Empezando – ¿es demasiado pronto para evaluar? 

En los enfoques de evaluación tradicionales se llama al evaluador al finalizar el proyecto, se capta el impacto y se presentan los resultados. De hecho, este ciclo de evaluación dificulta el aprendizaje, ya que la  información llega tarde para ayudar a la  toma de decisiones sobre elementos clave como la estrategia y la visión.

La EE es constante. Comienza al principio de un proyecto y sigue a lo largo del mismo. Se trata de situar la evaluación dentro de la complejidad del cambio social para apoyar la toma de decisiones desde las primeras etapas de una intervención. Sin embargo, esto trae consigo desafíos: ¿cómo evaluar el valor añadido de un proceso cuando no se sabe qué camino se va a tomar ni dónde te puedes ver involucrado? 

La introducción de la Evaluación Evolutiva como enfoque en los equipos regionales ha supuesto trabajar con un cambio de mentalidad en relación a la forma en la que se percibe normalmente la evaluación. Y, a menudo, escuchamos: «no estamos realmente seguros de tener resultados que compartir y sentimos que es demasiado pronto para evaluar».

Por lo tanto, la explicación de los diferentes elementos que forman una EE y el aprendizaje, como elemento central, han tenido que ser explicados a lo largo del proceso. Estamos dando los primeros pasos en la evaluación juntos, estamos aprendiendo con la práctica y estamos comprendiendo el valor que EE aporta a través de la exploración, la experiencia y la experimentación. 

Hemos iniciado las reflexiones sobre la EE desde el comienzo de nuestros procesos de transformación regional, en las etapas iniciales en las que todavía se están identificando las oportunidades de cambio de sistema. Nos estamos centrando en:

  • Apoyar los esfuerzos para comprender el sistema en el que los equipos están participando y el que tienen como objetivo transformar. En este ámbito, estamos recogiendo datos a través de la escucha profunda para comprender las oportunidades de transformación y apoyar la toma de decisiones.
  • Documentar las discusiones y decisiones relevantes para evaluar lo que está emergiendo en el proceso y cómo éste evalúa la metodología elegida para, en la medida en la que sea necesario, cambiarla  para activar el cambio de sistema deseado. Documentar lo que está sucediendo a través de un proceso de innovación complejo y a veces difícil es un desafío. Por ello, se han establecido plantillas específicas que se estánadaptando para captar los puntos de debate y las lecciones aprendidas. El siguiente diagrama muestra los componentes que estamos capturando y sobre los que estamos reflexionando:

Recoger y dar sentido a los datos… ¿por dónde empezar con la EE? 

A medida que se evaporan las dudas iniciales sobre la recopilación de datos de la EE, surgen nuevas preguntas : ¿Cómo darle sentido a los datos recogidos? 

La EE puede ser explorada usando datos que ya han sido recolectados a través de otros procesos. Y si fuera necesario, también se pueden establecer procesos específicos de recopilación de datos para apoyar la toma de decisiones. Sin embargo, en los procesos de innovación complejos, la cantidad de datos capturados y potencialmente relevantes puede ser abrumadora. Por ello, está siendo útil establecer una estructura para organizar periódicamente sesiones de reflexión con el objetivo de examinar y reflexionar sobre los datos recogidos en diferentes niveles: equipo, regional, interregional. 

Los enfoques que estamos probando en estas sesiones de reflexión son:

  • Sesiones de sensibilización siguiendo la estructura «¿Qué? ¿y esto qué significa? ¿y ahora qué?«.
  • Preguntas orientativas: un conjunto de preguntas que acompañan a los equipos tanto a reflexionar sobre la información que hay que recopilar, identificando las carencias  en las actividades y grupos de trabajo actuales, como a analizar los datos recopilados.
Fases PropósitoContexto y Marco
ObjetivosMapear el sistema actual, la visión del sistema y cómo llegar a ella.Definir el espacio y apoyar la definición y el desarrollo de los principios de la cartera 
Preguntas orientativas -¿Qué narrativa está emergiendo que podría activar el cambio de sistema deseado?-¿Cuáles son las barreras y facilitadores para hacer avanzar el proceso?-¿Qué punto de partida está emergiendo para comprender la situación/sistema actual?-¿Qué criterios emergen para identificar si estamos progresando o no hacia un sistema futuro (hitos de cambio de sistema)?-¿Qué procesos generan entusiasmo? ¿Por qué?-¿Qué criterios surgen para identificar a los actores relevantes e interesados?-¿Qué relaciones potenciales de causa y efecto, interdependencias, posibilidades, oportunidades de cambio están surgiendo?-¿Cómo están contribuyendo las nuevas fuentes o las acciones de innovación a las posiciones que se quieren activar?-¿Qué relaciones se están construyendo con los posibles agentes de innovación?-¿Qué conocimiento de la fase de “reconnaissance” se está utilizando para generar los principios de diseño?-¿Cómo se está avanzando en la elaboración de una cartera en términos de áreas de problema, posiciones, principios de diseño y acciones de innovación?

Estamos actualmente trabajando en el diseño y prototipado de estructuras de recogida y análisis de información para alimentar la toma de decisiones. Sigue este espacio para un futuro blog sobre esto.

La EE como un enfoque de colaboración – ¿qué se necesita para ser un buen evaluador de EE? 

En la EE, el evaluador no es un experto en evaluación. El ejercicio de evaluación es un esfuerzo de equipo, en el que cada miembro del equipo de innovación juega un papel en el proceso de evaluación. El equipo de evaluación combina tanto el conocimiento interno de las organizaciones involucradas, como la capacidad para incorporar conocimiento del exterior, además de plantear preguntas que faciliten la reflexión.

En las iniciativas de cambio de sistemas, el papel de los diseñadores y los evaluadores está interconectado. Encontramos el equilibrio para fomentar y mantener una tensión de innovación sana. Demasiados cambios y demasiada incertidumbre, y el equipo se perderá; si los cambios no son significativos o son pequeños, se estará volviendo a repetir lo que ya se ha hecho anteriormente. 

Hemos desarrollado un número de roles que estamos probando: Recolector de Información (en inglés Information Gatherer), Activador de la Reflexión (en inglés Information Sensemaker), Retador del Enfoque (en inglés Developmental Evaluation challenger) y Amigo Crítico (en inglés Critical Friend). Adentrarse en los roles y en la mentalidad que éstos requieren implica aprender y desaprender, y, fundamentalmente, lleva tiempo. Necesitamos recordarnos a nosotros mismos: «no puedes hacer un bebé con nueve mujeres en un mes».

En particular, el papel del Amigo Crítico es un desafío de la EE. Ser un Amigo Crítico puede ser frustrante y agotador. Se trata de encontrar una manera de decir las cosas de forma constructiva, crear la confianza para ser honesto y encontrar la energía para desafiar constantemente lo que se está desarrollando (¡incluso lo que tú mismo estás haciendo! No olvides que es fácil y cómodo para todos nosotros caer en las formas de hacer que ya conocemos).

Perspectivas para el futuro

En los próximos meses, continuaremos desarrollando prototipos, pruebas y contrastando el proceso, las herramientas y los enfoques de EE. En nuestro papel de Evaluadores y Evaluadoras Evolutivas seguiremos reflexionando y aprendiendo:

  • ¿Qué valor añadido aporta la evaluación? El uso de la EE requiere una mentalidad específica y la comprensión de lo que la evaluación aporta al proceso de innovación. Desde nuestra experiencia, el valor añadido reside en que mantiene el proceso activo y permite hacer preguntas que guían a las personas que asumen los retos en la toma de decisiones. 
  • ¿Cómo integrar la evaluación y hacerla sostenible a largo plazo? Es fundamental comprender la cultura y la identidad: ¿cuáles son los elementos que activarán el cambio en cada contexto y cuáles podrían ser las barreras? ALC llama a este elemento cultural el factor K, un elemento clave a explorar para activar el cambio sistémico.

Seguiremos experimentando, compartiendo las experiencias y aprendizajes en las siguientes entradas del blog. Sigue este espacio.

Escrito por: Mikkel Nedergaard <mikkel.nedergaard@climate-kic.org> y Ione Ardaiz Osacar <ione@agirrecenter.eus>