Big Data al servicio de la transformación social
Artículo de Alex Rayón, publicado en el número 0 de la Revista K
Ilustraciones: Elisabet Maresma
Todas las personas e instituciones que lideraron el proceso de transformación de la sociedad vasca desde el final de la dictadura franquista coinciden en señalar la extraordinaria capacidad que tuvieron estas iniciativas de entender y conectarse con las dinámicas sociales. Es, sin duda, un elemento diferencial del “caso vasco” respecto a otros intentos de transformación socioeconómica en situaciones de gran adversidad. La siguiente transformación de la sociedad vasca deberá encontrar la manera de entender y conectarse con las nuevas necesidades y dinámicas sociales pero tendrá que utilizar nuevas herramientas y lenguajes. Con este objetivo, Agirre Lehendakaria Center (ALC) lleva varios años trabajando en diversos puntos del planeta (Tailandia, Pakistán e Indonesia) para poder construir un “Observatorio de Narrativas Digitales” que ponga al servicio de la innovación social la capacidad de análisis y predicción que ofrecen las técnicas de procesamiento del lenguaje natural.
Francis Galton (1822-1911), conocido por muchos como el primo de Charles Darwin, tenía 84 años cuando se presentó en una feria de ganado de Plymouth. Su formación multidisciplinar (psicología, estadística, geografía, etc.), le hacía ser una persona con una curiosidad insaciable. Allí observó un concurso que consistía en adivinar el peso de un enorme buey. Galton anotó en su libreta lo que cada uno de los 800 participantes del concurso había predicho sobre el peso del buey y calculó el promedio: 1.197 libras.
Posteriormente, pesaron el buey: 1.198 libras. La multitud, como una unidad, se había comportado de forma más inteligente que la gran mayoría de los individuos en solitario. Un año después, en 1907, Galton publicó estos resultados en la prestigiosa revista Nature. Desde entonces, el buey de Galton ha llevado a desarrollar teorías de inteligencia colectiva que proponen que el grupo es más inteligente que cada uno de sus individuos como parte. Se ha aplicado a campos tan diversos como la dinámica de sistemas complejos, el estudio de inteligencia colectiva de abejas, estudios de mercado usando las preferencias de los internautas (Google, Amazon), etc., y también para entender lo que una sociedad demanda o piensa, que es lo que nos ocupa en este artículo.
No todos los problemas son adecuados para estas técnicas de agregación de la opinión de las masas. La existencia de sesgos generalizados, la imitación entre agentes (ver lo que ha votado el anterior para maximizar la utilidad del voto particular) o la necesidad de coordinar múltiples agentes son algunas de sus limitaciones. En el libro The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, James Surowiecki presenta tres tipos de problemas que pueden ser resueltos por la inteligencia colectiva. El primero, los “problemas cognitivos”: siempre tienen una solución, o en su defecto, hay unas respuestas mejores que otras. El segundo, los “problemas de coordinación”: los miembros de un grupo se ven en la necesidad de armonizar su comportamiento con el del resto de la gente. Y el tercero, los “problemas de cooperación”: las personas que buscan satisfacer el propio interés se ven en la necesidad de lidiar con los demás para obtener una solución que sea buena para todos.
Según ALC, las Plataformas de Innovación Social describen un espacio para el trabajo multiactor, en el que esos actores convergen para la cooperación en la búsqueda de soluciones a problemas reales. En este nuevo modelo se incorporan nuevas herramientas de escucha comunitaria, se diseñan las intervenciones junto a la ciudadanía, y se plantea la creación de una metodología colaborativa en lugar de proyectos aislados, con la aspiración de construir un verdadero ecosistema de innovación en el espacio donde se opera. En este sentido resulta clave, por lo tanto, partir de la escucha comunitaria. Entender sus necesidades, sus preferencias, sus hábitos, sus preocupaciones y sus motivaciones en tiempo real, para generar posteriormente un impacto social positivo. Pero, primero, es clave extraer una narrativa que permita entender cómo y en qué actuar. Se trata así de un problema de coordinación y cooperación, en el que escuchar en tiempo real todo lo que la sociedad demanda. Y, ahí, los datos que ha traído la era digital, compensando los sesgos que éstos pueden tener, resultan clave.
En términos generales, podríamos definir una sociedad inteligente como aquélla en la que la tecnología digital, cuidadosamente implementada por las organizaciones, puede mejorar la gestión pública en tres campos: el bienestar de los ciudadanos/as, la fortaleza de la economía y la eficacia de las instituciones. Por ello, un primer paso para llegar a esas sociedades inteligentes es entender de qué datos se dispone y dónde se pueden obtener para entender bien cómo se comporta el ciudadano.
La implosión de la era digital y los datos inherentes a su naturaleza y arquitectura han provocado la generación de grandes volúmenes de datos, en muchos lugares y expresados de manera muy heterogénea. A este paradigma, lo bautizamos como Big Data. Ahí comenzamos a conocer las ventajas de pasar de un enfoque de Business Intelligence (el “qué”) a otro de Business Analytics (los “porqués”). En lugar simplemente de responder a las preguntas de los “qué”, bajo un tratamiento
meramente descriptivo, gracias al paradigma del Big Data entramos a nuevos modelos que tratan de responder a los “por qué”, con tratamientos más avanzados como los modelos predictivos y prescriptivos.
Este valor de la pregunta está inexorablemente ligado a la idea de poder extraer datos de la ciudadanía. Sin embargo, el planteamiento no es tener que hacer preguntas, sino inferir a partir de la obtención de datos generados de manera espontánea. Este último matiz es importante. El efecto Hawthorne es un fenómeno vinculado a la psicología que hace referencia a la manera en que la observación de un trabajador afecta a su rendimiento. El concepto debe su nombre a la empresa Hawthorne Works, que encargó una serie de estudios para conocer cómo distintas variables podrían afectar a la productividad de sus empleados/as entre 1924 y 1932. De acuerdo con las conclusiones de este estudio, la mayor parte de la plantilla de la citada empresa modificaba sus rutinas, así como la intensidad de su actividad, cuando se la sometía a una observación directa y previamente comunicada.
En definitiva: si queremos saber lo que realmente piensa o quiere una persona, lo mejor es que sea capaz de expresarse de forma libre y voluntaria. Internet es un caldo de cultivo perfecto para esto. Buscamos en Google, escribimos en redes sociales, leemos noticias en medios digitales, etc. Generamos muchos datos digitales que, de tratarse adecuadamente, pueden ofrecer resultados realmente prometedores.
No obstante, es importante considerar que una agrupación de usuarios/as en masa no siempre es válida per se. En terminología empleada por Surowiecki (el autor de la sabiduría de las masas del que antes hablábamos), deben cumplir una serie de características para poder agregar adecuadamente esas opiniones. La primera, “diversidad”: que los participantes tengan opiniones diversas e información privada -aunque sea pequeña- sobre el problema. La segunda, “independencia”: que no se vean fácilmente influenciados por las opiniones de los demás.
La tercera, “descentralización”: que el problema se pueda resolver de un modo descentralizado. Y la cuarta, “evitar el sesgo muestral”: ser capaces de representar a una sociedad en su completitud. Nuevamente, Internet puede ayudar mucho a esto.
Uno/a podría aproximarse al reto de conocer las necesidades de la sociedad con el enfoque tradicional de las encuestas. Sin embargo, sufren el efecto Hawthorne, y realmente no cumplen las características de la agregación de opinión diversa. Ante estas desventajas, ALC se propone hacer uso de un enfoque digital para recopilar comentarios digitales en sitios web y plataformas de redes sociales. Dichos datos son ricos, abundantes, granulares y están directamente conectados con el comportamiento social, lo que los hace especialmente adecuados para el seguimiento en tiempo real de la actividad social. La escucha social digital es la práctica de rastrear Internet para entender de manera muy específica lo que dicen, lo que piensan y lo que sienten los ciudadanos/as. Para hacerlo de la manera más efectiva, necesitamos una estrategia de qué escuchar y qué no, de modo que podamos maximizar nuestro tiempo, analizar el enfoque y poner en marcha decisiones posteriores. Para ello, se emplean palabras clave concretas que se rastrean, que es el átomo de expresión en Internet.
Mostrar la identidad propia y la necesidad de autoexpresión son dos razones muy importantes por las que las personas expresan sus pensamientos en las plataformas sociales y digitales. Si podemos enfocar el análisis en lo que dicen y por qué lo dicen, podremos entender mejor a nuestros grupos de interés y mejorar nuestra relación con ellos a través de este proceso de escucha. Este es el ámbito de las Plataformas de Innovación Social que citábamos anteriormente, y el enfoque de ALC para estas situaciones.
El objetivo principal es construir una plataforma de innovación social para capturar y analizar datos sociales y comunitarios para comprender mejor y anticipar las necesidades y los desafíos de la comunidad para la toma de decisiones inclusivas. El enfoque de plataforma nos permite analizar los objetos de escucha en su conjunto para identificar las conexiones existentes entre ellos, así como incluir cambios y ajustes internos y externos en el proceso de experimentación en tiempo real, a partir de las percepciones y barreras identificadas entre ellos.
Para ilustrar la descripción funcional y técnica, vamos a partir de un ejemplo. Supongamos que una determinada comarca en Euskadi ha vivido un acelerado y sobrevenido cambio de modelo productivo derivado del cierre de una central térmica y de una importante fábrica de automoción, ¿qué oportunidades de regeneración económica existen a partir de la inteligencia colectiva?
Los dos componentes integrales de las plataformas de innovación social son la escucha profunda y la interpretación colectiva o sensemaking.
En este primer componente, se ponen en marcha herramientas de escucha digital como entrevistas en profundidad, discusiones de grupos focales, indagación etnográfica a través de observación, mapas de empatía, redes sociales, monitoreo de noticias, acciones locales, procesos participativos (fotos, videos, música, gastronomía, etc.) y otros tantos para identificar patrones narrativos. Aplicado al ámbito digital, esto es lo que se puede llamar el modelo de datos, es decir, los datos que se deben recopilar para comprender en profundidad las necesidades. Para ello, un primer trabajo, siguiendo el ejemplo presentado anteriormente, es censar las palabras clave a seguir, tales como “fábrica”, “futuro”, “empleo”, “gobierno”, etc. Es decir, una manera de acotar la conversación digital y ser capaces de capturar los datos relevantes.
El segundo componente, denominado sensemaking, se enfoca en generar espacios de deliberación de esas narrativas para interpretar colectivamente percepciones, comportamientos y puntos de vista de la comunidad, y así co-crear una cartera de intervenciones centradas en la persona e impulsar un cambio sistémico a diferentes niveles de acción. Aplicado al ámbito digital, esto implicaría utilizar herramientas de Entendimiento del Lenguaje Natural (NLU) y Procesamiento del Lenguaje Natural (NLP), para detectar no solo los principales desafíos y oportunidades sino también, como se ha mencionado, las conexiones entre ellos.
En los primeros experimentos de escucha profunda en el ámbito digital elaborados en colaboración con Agirre Lehendakaria Center y PNUD, hemos desarrollado un proceso en tres etapas:
El primer paso: la recopilación de datos
El primer paso es recopilar las fuentes de datos digitales que pueden ayudarnos a medir una variedad de resultados sociales y de comportamiento. Clasificamos los datos en dos grandes grupos en función de su naturaleza:
El primero, los documentos de texto formales: documentos públicos, entrevistas personales, declaraciones institucionales, etc. Podemos estructurar todos esos documentos, de forma que nos permitan posteriormente aplicar técnicas de análisis de datos para extraer su significado e ideas clave. Se trataría de ver, desde una mirada de la oferta pública, qué planes de regeneración económica se han promovido desde lo público. Así, posteriormente, se podrá ver si existe una relación con lo que la sociedad demanda, y actuar con políticas en consecuencia.
Y el segundo, los comentarios digitales o menciones espontáneas en plataformas digitales. Entre ellos, podríamos destacar:
- Escucha de redes sociales: en concreto, Twitter, Instagram y Facebook podrían tener información sobre procesos de innovación de nuestro interés. Son redes donde se producen agrupaciones de interés público alrededor de hashtags o etiquetas clave. Se podrían seguir etiquetas como “el futuro de la región” o similares.
- Búsqueda de Google: comprender lo que las personas buscan permite interpretar qué preocupaciones tienen y cómo las manifiestan. Google ofrece estos datos geolocalizados, por lo que podríamos acotar el proceso mencionado anteriormente.
- Monitoreo de medios: hacer un seguimiento de las menciones de marcas y palabras clave en todos los tipos de medios, desde los principales medios de comunicación hasta los sitios especializados. De esta manera, se recogería también la sensibilidad de los medios a la regeneración de la región a nivel económico y social.
- Wikipedia: supervisar las páginas de interés para ver quién y cómo está editando los principales términos relacionados con ese futuro de la región.
- Seguimiento de sitios web específicos: TripAdvisor, periódicos locales, etc., que dan una idea más especializada sobre el futuro que se pudiera articular.
El segundo paso: el análisis de datos
Una buena plataforma se caracteriza por su capacidad de sintetizar las narrativas e identificar qué elementos pueden activar el proceso de innovación, en esto radica el valor añadido del análisis. La minería y el análisis de textos, aplican una variedad de técnicas lingüísticas, estadísticas y de aprendizaje automático a grandes conjuntos de datos para determinar áreas temáticas, palabras clave, categorías y etiquetas que le permitan tomar decisiones basadas en los mismos. Son las técnicas que están por detrás de las IAs generativas que tanto alboroto han causado en este comienzo de 2023. Algunos ejemplos de técnicas de este tipo podrían ser:
- Densidad de palabras clave o Nube de palabras: el número de veces que aparece la palabra clave en el texto. Cuanto más aparece una palabra específica en una fuente de datos textuales (como un discurso, una publicación de blog o una base de datos), más grande y en negrita aparece en la nube de palabras.
- BTM - Biterm Topic Modelling: un bitérmino consta de dos palabras que coexisten en el mismo contexto. Permite el etiquetado de partes del discurso (etiquetado gramatical o desambiguación de categorías de palabras), leer una oración y poder identificar qué palabras actúan como sustantivos, pronombres, verbos, adverbios, etc. Podríamos así filtrar por sustantivos o adjetivos, de la misma forma que podríamos filtrar por los temas específicos que están enfatizando o con los adjetivos calificativos que los acompañan. Es especialmente útil para localizar verbos de acción, que dan una idea de qué políticas se podrían poner en marcha.
- Modelado de temas, agrupamiento y narrativas: un método para la clasificación no supervisada de dichos documentos, similar al agrupamiento de datos numéricos, que encuentra grupos naturales de elementos incluso cuando no estamos seguros de lo que estamos buscando. Nos permitiría detectar nuevas necesidades o planes de futuro planteados, sin necesariamente haber puesto foco de investigación en ello.
- Análisis de sentimiento: identificar reacciones, actitudes, contexto y emociones. Busca comprender la actitud o la reacción emocional de una persona hacia una interacción o conceptos específicos. Se basa en polaridades de palabras, teniendo en cuenta palabras positivas o negativas y descartando las palabras neutras.
- Grafo de bigramas: nos puede interesar visualizar todas las relaciones entre palabras simultáneamente. Podemos organizar las palabras en una red, de tal forma que aparecen contextos semánticos o subredes de palabras que tienden a agruparse. Es lo que popularmente podríamos llamar el “resumen”, al sacar palabras que co-ocurren.
El tercer paso: la visualización de datos para la toma de decisiones
La plataforma digital debe permitir la visualización de información clave con el fin de crear una representación relevante. Para lograrlo, se definirán algunos indicadores clave. Los indicadores a utilizar en la extracción de significado, que se nutren de la información recolectada en tiempo real. En lugar de medir unos objetivos, productos y resultados concretos, dispondremos de unas conclusiones emanadas de las manifestaciones espontáneas de la región local de análisis.
Estos indicadores pueden detectar posibles cambios en un sistema más amplio. Para identificar indicadores e hitos que muestran si el cambio se está realizando o no y qué tipo de cambios se perciben, se siguen estos criterios en tiempo real:
(1) Identificar cuáles de las necesidades y oportunidades, barreras y facilitadores se perciben. Se pueden usar para identificar signos tempranos de oportunidades o desafíos que requieren un análisis más profundo para comprender, y también para identificar tendencias que pueden indicar amenazas u obstáculos potenciales que deben mitigarse.
(2) Entender qué cambios significativos están ocurriendo. Es probable que ocurran muchos cambios al mismo tiempo, pero es importante identificar cuáles son los más significativos y por qué. El análisis compartido nos ayudará a identificar y fomentar interconexiones y áreas de mejora.
(3) Identificar los cambios a nivel del sistema que pueden indicar un cambio futuro. Esto plantea un desafío para comprender cuándo los prototipos y las condiciones estructurales pueden ser autosuficientes y para comprender qué factores en el sistema podrían señalar cambios futuros.
Observatorios que permiten comprender mejor
Teniendo en cuenta que existe una gran cantidad de datos y documentos disponibles para el análisis (medios, redes sociales, uso de plataformas sociales, etc.), uno de los puntos principales de este proyecto es enriquecer esos datos con datos digitales y sociales. La escucha social digital es la práctica de rastrear Internet para ubicar todas las menciones relevantes en las plataformas de redes sociales, así como otros sitios web que contienen comentarios asociados a lo que es de interés. Para hacerlo de manera más efectiva, necesitamos una estrategia que defina qué escuchar y qué no, y así poder maximizar nuestro tiempo, analizar el enfoque y poner en marcha decisiones posteriores.
Las Plataformas de Innovación Social pueden proporcionar información en tiempo real sobre las percepciones sociales que pueden guiar a las autoridades locales y las ciudades, el sector privado y las organizaciones comunitarias en el proceso de codiseño de nuevas soluciones que respondan directamente a los desafíos sociales y económicos emergentes. Estos observatorios nos permitirán comprender mejor temas complejos al escuchar y dar sentido a las dinámicas sociales más profundamente (implicaciones socioeconómicas, cambio climático, cambios en los sistemas alimentarios, movimientos migratorios, etc.). Esta información puede ser capturada digitalmente para alimentar el proceso de co-creación y prototipado bajo un enfoque de innovación abierta.
¿Quieres recibir la Revista K? Completa el formulario que encontrarás en este enlace.