#miscalles

Mis Calles Gijón/Xixón es una aplicación Web que pretende mantener viva la historia de Gijón a través de los personajes, industrias o acontecimientos que han dado nombre a sus calles. Desde Gigia hasta Quini, pasando por Jovellanos y la Revolución Industrial y su carbón.

Este proyecto surge tras una colaboración entre el Diario El Comercio, cuya hemeroteca tras 140 años es la mejor base histórica para el contenido que muestra la aplicación, y CTIC Centro Tecnológico. Hemos implementado la plataforma y hemos sido capaz de realizar una extracción y publicación de datos de forma automatizada, usando tecnologías de inteligencia artificial y basándonos en datos de repositorios públicos.

La aplicación recopila más de un millar de calles, organizándolas por el tipo de entidad que le da nombre: Artistas (pintores, músicos, deportistas, etc.); De Letras (literatos y pensadores); Industriales (personas relacionadas con el desarrollo industrial o urbanístico); Nobles; Polític@s (gobernantes, militares y administradores públicos); Científic@s; Organizaciones; Religión (personas o lugares relacionadas con la religión); Exploradores; Historia (eventos y lugares históricos); Naturaleza (fauna, flora y otros conceptos naturales); Geografía; y otros Conceptos (p.e., sentimientos y oficios).

Ejemplo de concentración de dos tipos de entidades sobre el mapa

La base de datos de vías urbanas procede del Portal de Transparencia y Datos Abiertos del Ayuntamiento de Gijón. La clasificación y descripción de cada uno de los conceptos que dan nombre a las vías se ha realizado tomando dos fuentes de datos principales: (1) la publicación de El Comercio, Las calles de Gijón, Historia de sus nombres, del historiador Luis Miguel Piñera; y (2) del Knowledge Graph (Grafo de Conocimiento), una base de datos de fuentes abiertas que enlaza los conceptos semánticos y permite el procesamiento inteligente de la información. Gracias al Knowledge Graph también se han podido encontrar y extraer imágenes representativas para la mayoría de las entidades.

Mis Calles Gijón/Xixón permite la detección automática de la localización de los usuarios para sugerir las calles cercanas y permitir realizar búsquedas basadas en la situación en cada momento. La navegación por la aplicación es simple, permitiendo a los usuarios ver y filtrar los resultados en función de sus preferencias a través de tres vistas diferentes: sobre un mapa, con agrupaciones de los tipos de entidades por colores; en una lista simple; y en fichas descriptivas individuales.

Vista en forma de fichas

Un buscador, permite visualizar calles específicas en función de su nombre y una pestaña en la parte inferior permite a los usuarios ver qué calles están a su alrededor.

Calles cercanas a la posición actual

Información detallada

Las fichas correspondientes a cada calle contienen una imagen ilustrativa, el título oficial y un nombre alternativo (p.e., [Calle] Arrieta, Emilio Arrieta), la descripción correspondiente a la publicación de El Comercio y un resumen de la entrada de la Wikipedia (si fuese posible). Un desplegable en la ficha permite visualizar más información sobre la entidad que se muestra (nombres anteriores o comentarios de los usuarios), ofreciendo enlace directo a la hemeroteca o a la Wikipedia, así como verla situada sobre un mapa de la ciudad.

Un icono con el logo de Gijón, permite identificar a aquellas entidades relacionadas directamente con la ciudad (personas que han vivido en Gijón o han influido directamente sobre la ciudad).

La aplicación sugiere relaciones entre las personas o cosas que se muestran. Por ejemplo, para el Diario El Comercio, se muestran periodistas o personas que dan nombres a otras calles y están relacionadas con el periódico.

Colaboración ciudadana (Crowdsourcing)

Debido a que la mayoría de los datos han sido captados de forma automática, es posible que las descripciones contengan errores o, incluso, las imágenes no se correspondan con lo que pretenden representar. Por esto, la aplicación habilita un mecanismo de reporte de comentarios, errores o sugerencias con el objetivo de mejorar la aplicación con el conocimiento experto de aquellas personas que conocen detalles que merecen ser contados y recordados, o poseen fotografías que ilustran mejor la historia que se quiere contar.

Read this article in English.

La aplicación Mis Calles Gijón/Xixón surge de un proyecto personal para dar soporte a la curiosidad, que a muchos de nosotros nos despierta, el callejero y los personajes y hechos históricos que dan nombre a las ciudades y preservan su historia a través de estos homenajes ofrecidos por su ciudadanía y gobiernos.

Tecnológicamente, Mis Calles es una Aplicación Web Progresiva, adecuada a cualquier dispositivo móvil y que utiliza sus capacidades de localización para enriquecer la experiencia de los usuarios. La aplicación ha sido desarrollada mediante una serie de complejos scripts escritos en Python, que han permitido automatizar la ingesta y procesamiento de los datos, procedentes de fuentes de datos abiertos. Esto es interesante, ya que podríamosdesplegar un Mis Calles en cualquier ciudad del mundo con unos ajustes mínimos.

El proceso de construcción ha sido el siguiente:

Paso 1: Las calles y su localización

El Ayuntamiento de Gijón, a través de su Portal de Transparencia y Datos Abiertos, publica dos conjuntos de datos que me han servido para: (1) identificar las Calles de Gijón —listado delas calles, tipo de vía (avenida, camino, calle, etc.), nombre únicos (sin tildes) y con identificadores numéricos—, y (2) localizarlas sobre un mapa. La localización de las calles se hace basándose en el conjunto de datos de Calles y números de portales, una tabla con miles de coordenadas correspondientes a cada portal de cada calle de la ciudad.

Paso 2: Generar los polígonos sobre el mapa

Tras anidar las tablas de calles con la de los números, se generó otro script encargado de construir las líneas y polígonos (en formato KML y geo-JSON) que forman las calles y posteriormente permitirán determinar si nos encontramos en una calle u otra, así como visualizarlo en un mapa.

Para ello, cada calle se divide en número de portal pares e impares. Los impares se ordenan de forma ascendente y se genera un polígono uniendo todos los puntos que forman las coordenadas; al llegar al mayor se une con las coordenadas del mayor de los pares y luego uniendo todos los pares de forma descendente hasta llegar al menor. Finalmente, se cierra el polígono con el primero de los puntos.

Esta técnica es precisa en ciertas vías, pero si la calle tiene pocos portales registrados puede dar lugar a polígonos con formas curiosas, como se puede ver en la Calle Mariano Pola, a continuación.

Paso 3: Descripción sobre las calles I: método Piñera

Una vez identificadas las calles unívocamente, incluso su localización aproximada, se dota de descripción a las calles hemos utilizado una publicación editada por El Comercio y distribuida en abierto por el propio Ayuntamiento: Las calles de Gijón, Historia de sus nombres, una gran obra de recopilación histórica de Luis Miguel Piñera.

Desde el portal se ofrece derecho de acceso pero no se especifican condiciones de reutilización, así que tras solicitar repetidamente su uso formalmente al Ayuntamiento y no recibir respuesta (sigo esperando), se hace la solicitud a El Comercio, quienes acceden encantados.

Ya que a principios del 2000 no se esperaría otra cosa que leer el PDF, así que tampoco se hicieron esfuerzos más allá que conservar el archivo PDF. Con un script se automatizó la extracción de los datos principales de la obra: título de la entidad que da nombre a la calle, descripción, fecha de registro y nombres anteriores. La extracción dio lugar a errores, debido a cambios en la estructura esperada, como los saltos de página por ejemplo. Hubo que hacer un repaso manual para evitar textos fuera de lugar, como pies de foto u otros elementos como referencias o números de página intercalados en las descripciones.

Otro script juntó las distintas tablas: listado de calles, geo-localizadas y ahora con una descripción. En el caso de no encontrar la coincidencia exacta entre la denominación de las entidades (p.e., comparación de ‘LOS CALEROS’ y ‘CALEROS, LOS’), se le ofrecía al humano potenciales coincidencias.

Paso 4: Descripción de las calles II: Knowledge Graph

Aunque el valor real de la aplicación viene de la investigación histórica de la publicación de Piñera hay ciertas calles, cuyas entidades no aparecen en la publicación. En este caso suelen ser conceptos o personas contemporáneas, fácilmente reconocibles y cuya información descriptiva puede ser encontrada en la Web. Así que otro método de encontrar información asociada a las entidades ha sido la búsqueda en el grafo de conocimiento Knowledge Graph, que Google ofrece a través de su API.

El Knowledge Graph es una estructura de información enlazada por los conceptos semánticos —lo que usa Google para mostrar resultados adecuados a las necesidades de los usuarios tras una búsqueda. Este grafo contiene principalmente información procedente de fuentes abiertas, como es la Wikipedia, e incluye metadatos asociados a los conceptos que lo caracterizan en detalle.

Esta fuente de datos es realmente interesante para obtener información relativa a lugares, eventos o personas. El script de consulta al API hace distinción entre los tipos de resultados obtenidos. Los resultados también muestran el grado de confianza del éxito en la correspondencia, así que en el caso de encontrar una coincidencia del tipo esperado, registra los datos necesarios para la aplicación: descripción, título alternativo, URL de la entidad (página de la Wikipedia), URL de la imagen relacionada y licencia asociada, tipo de entidad normalizado usando schema.org (p.e., CivicStructure o LandmarksOrHistoricalBuildings). Por ejemplo, el resultado obtenido para la entidad [Plaza de] ‘EUROPA’, es:

Nombre: Europa

Score (confianza): 244.048874

URL: https://es.wikipedia.org/wiki/Europa

Tipo: Continent, Thing, Place, AdministrativeArea

Descripción: Europa es uno de los continentes que conforman el supercontinente euroasiático, situado entre los paralelos 36º y 70º de latitud norte.

Imagen: http://t0.gstatic.com/images?q=tbn:ANd9GcS0uZNMs4cfxsd-XAvy8iNVY-6CjX9gMCUV2BSloYIjgEQewznu

Licencia de la imagen: https://en.wikipedia.org/wiki/Wikipedia:Text_of_Creative_Commons_Attribution-ShareAlike_3.0_Unported_License

URI del Knowledge Graph: kg:/m/02j9z

Lamentablemente, Google ha quitado la resolución y visualización de las entidades del Knowledge Graph (hace unas semanas se podía visualizar un infobox con la información relativa a la entidad), pero no afecta a esta aplicación.

Paso 5: Tipos de Entidades

El Knowledge Graph, y sus consultas fueron la base para el comienzo de la clasificación de las entidades de manera automatizada. En el ejemplo anterior, Europa es de tipo: Thing (cosa, por supuesto); Continent (continente); Place (lugar); y AdministrativeArea (área administrativa).

Aproximadamente, un 40% de las entidades representadas fueron clasificadas de forma automática, siempre bajo la supervisión humana, ya que hay casos confusos en los que la inteligencia artificial no puede hacer nada.

Por ejemplo, la Calle ‘Cabrales’ se refiere al concepto ‘Cabranes’. Dentro del Knowledge Graph, ambos conceptos son identificados y descritos como municipios asturianos, pero realmente la calle es por una persona.

Una vez unidas todas las tablas (listado, geoposición, descripciones con el método Piñera y el Knowledge Graph, y tipos) se procedió a completar los tipos y posterior homogeneización semi-automática. Para ello se utilizó OpenRefine.

Para finalizar, se hizo un ejercicio de card sorting enfocado a agrupar conceptos por temáticas y definir una taxonomía intuitiva, que permita la clasificación de las entidades. Como resultado, las 1035 entidades obtenidas, se agrupan en:

(58) Artistas (músicos/as, pintores/as, actores/actrices, deportistas);

(53) Conceptos (sentimientos, oficios, otros elementos físicos)

(11) Exploradores (navegantes, conquistadores, etc.)

(220) Geografía (concejos asturianos, accidentes geográficos, lugares poblados, etc.)

(113) Historia (eventos históricos, personas, lugares y parajes de relevancia histórica)

(69) Industriales (personas relacionadas con el desarrollo industrial o urbanístico)

(112) De Letras (literatos, pensadores, filósofos, etc.)

(105) Naturaleza (fauna, flora y otros conceptos naturales)

(21) Nobles (monarcas y nobleza en general)

(27) Organizaciones (empresas o entidades organizativas)

(94) Polític@s (gobernantes, militares y administradores públicos)

(79) Religión (personas o lugares relacionadas con la religión)

(73) Científic@s (matemáticos, físicos o relacionadas con la ciencia o tecnología)

Asimismo, aprovechando los tipos más avanzados de los que se disponía, se estableció un segundo nivel en la taxonomía de temas. Por ejemplo, el tema Geografía incluye los subtemas: País (27 entidades), Geografía de Asturias (66), Geografía de España (44), Geografía de Gijón (21), Geografía Internacional (13), Lugares históricos (1), Orografía (48).