Las obras de arte que vuelven a la vida gracias a la IA
Entrevista con Ana Marcos
El colectivo 3dinteractivo es un grupo formado por artistas e ingenieros que busca, a través de la investigación, una comprensión más profunda de la relación entre el arte, la ciencia y la tecnología. El colectivo 3dinteractivo inició su trayectoria en 2010 y actualmente está co-dirigido por Ana Marcos y Alfonso Villanueva. En esta entrevista Ana Marcos nos cuenta en detalle su último trabajo: la recuperación de las obras perdidas del Museo de Palencia.
Pedro Ortega: El poder volver a traer a la vida elementos patrimoniales que han desaparecido es siempre un motivo de alegría. Estamos más acostumbrados a la recreación de edificios clásicos, pero en esta ocasión, si no me equivoco, en su mayoría son pictóricos. Cuéntanos en primer lugar cómo surgió la idea de llevar adelante este proyecto con el Museo de Palencia y cuál es la historia de estas piezas desaparecidas.
Ana Marcos: La idea surgió durante una visita al Museo de Palencia en 2019, acompañados de su Director Javier Fernández. Durante la visita nos llamó la atención que el Museo no tuviera una sección de Bellas Artes como ocurre en el resto de los Museos Provinciales y cuando preguntamos al Director por la razón nos contó una historia muy interesante: el origen del Museo es similar al del resto de Museos Provinciales, y data de la época de la desamortización de Mendizábal en la primera mitad del siglo XIX. La ley decía que las obras de arte procedentes de los monasterios desamortizados debían ser usadas para dotar de colección fundacional de Bellas Artes a los Museos Provinciales que se iban a crear. Se crearon las comisiones provinciales de monumentos, con la misión de catalogar, recolectar y custodiar las obras de Arte hasta que los Museos fueran fundados. En la provincia de Palencia el proceso fue el mismo, pero la creación del Museo se retrasó hasta 1921, y en el periodo transcurrido, las obras de arte almacenadas, en concreto 57 pinturas, desaparecieron y se han perdido. A la salida de la visita nos hicimos la pregunta de si utilizando tecnología de Inteligencia Artificial sería posible recrear o re-imaginar las obras perdidas, y enseguida nos pusimos a investigar para responder a esa pregunta y desafío.
PO: La recreación se ha realizado con una inteligencia artificial. Cuéntanos cuáles eran los datos de partida y cómo ha operado la IA para su recreación. ¿Ha sido un proceso parecido al de la recuperación de Medicina de Klimt a partir de una fotografía en blanco y negro?
AM: Los datos de partida eran escasos. Partimos de un estudio que el anterior Director del Museo, Jorge Juan Fernández, había realizado en los archivos y documentos de la época. En dicho estudio se incluía un listado de las 57 obras desaparecidas con todos los datos disponibles (título, temática, estilo, escuela pictórica, Monasterio de origen y dimensiones). Solo unos pocos de ellos incluían una descripción un poco más detallada. No había fotografías, ni copias, dibujos o bocetos que nos pudieran dar una pista sobre qué aspecto podían haber tenido las pinturas desaparecidas. En ese sentido, el proceso ha sido completamente diferente a otros proyectos de recuperación para los que había fotografías o copias, como fue el caso de Medicina de Klimt. En nuestro caso se ha tratado más bien de re-imaginar cómo podrían haber sido las pinturas desaparecidas, para lo cual hemos entrenado varios algoritmos de IA con miles de imágenes de pinturas de temática similar a las desaparecidas hasta que dichos algoritmos han sido capaces de “crear” imágenes similares. Una vez entrenados los algoritmos, los hemos puesto a “trabajar” creando sus propias imágenes, en ocasiones de forma totalmente autónoma, en ocasiones guiándolos con descripciones de texto o con imágenes de ejemplo.
Las imágenes que hemos utilizado en los entrenamientos proceden de las más importantes pinacotecas del mundo, entre las que se incluyen el Museo del Prado, el Louvre, el Metropolitan de Nueva York, la National Gallery de Washington, el Hermitage, etc… además de las principales bases de datos de Arte, como por ejemplo Europeana.
PO: ¿Cuáles han sido las mayores sorpresas que ha arrojado este proceso? ¿Qué obra podríamos destacar entre las demás? ¿Y cuál ha sido la más difícil de recuperar?
AM: Los resultados producidos por los algoritmos de IA han sido siempre sorprendentes e inspiradores. Nunca sabíamos que resultados nos iba a dar el proceso de recreación de cada pintura. Esta es una característica de los sistemas de IA que “emulan” el funcionamiento del cerebro (en nuestro caso se ha tratado de redes neuronales) que, al contrario de los programas informáticos clásicos que ejecutan unos pasos predeterminados programados, lo que hacen es aprender en base a ejemplos y por lo tanto nunca sabemos exactamente qué resultados van a producir y qué o como habrán aprendido.
Los algoritmos han generado imágenes que podrían haber sido pintadas por Goya o Bacon, a veces un tanto abstractas y en ocasiones “grotescas”, pero de una belleza inspiradora. En ese sentido, resulta difícil destacar unas imágenes frente a otras. Las imágenes que hemos generado con la tecnología más moderna (2023) son mucho más realistas, y pueden llamar más la atención, ya que en ocasiones resulta difícil distinguir si han sido creadas por una IA o por artistas, aunque hay que recordar que son imágenes, no pinturas. En ocasiones algunas de las pinturas desaparecidas se le han resistido bastante a los diferentes algoritmos que hemos utilizado. Por ejemplo la pintura marcada como la número 1 del listado (“La Virgen y el Niño con Santa Ana y dos religiosos”), de la que se disponía de una descripción más detallada, ha sido especialmente complicada para los algoritmos, y se explica quizás porque hay 5 sujetos en la imagen.
PO: Háblanos de la propuesta museográfica digital. ¿Qué criterios habéis seguido? El recorrido es a través de un espacio amplio y diáfano que deja ver que es un espacio virtual. ¿Qué software habéis empleado para la exhibición?
AM: El proyecto se ha plasmado, por una parte, en una exposición que se realizó en el Museo de Palencia, y por otra, en un Museo virtual accesible en internet. Para el Museo virtual queríamos proporcionar la máxima información posible para que los visitantes conocieran la historia de lo que pasó con la colección original, el contexto histórico…, pero a la vez queríamos que la visualización de las imágenes generadas transmitiera la impresión de que se está visitando un museo. Para ello hemos utilizado tecnología WebGL para crear un modelo tridimensional de un espacio, en el que colocamos virtualmente las imágenes recreadas, por el que es posible navegar como si nos desplazáramos en el mundo real. La navegación se gestiona mediante el uso de programas creados en Javascript, que junto con el uso de HTML5 nos han permitido diseñar el Museo virtual. El resultado está disponible a través del enlace
https://aivirtualmuseum.com
.
Para la exposición en el Museo de Palencia hemos hecho un diseño expositivo muy en línea con el tipo de instalaciones artísticas que realizamos, en las que la unión de Arte y Tecnología y la participación del público (interactividad) son los puntos clave. Además de videos de explicación y de un área de documentación, la exposición consta de dos áreas principales: en la primera hemos proyectado, en una pared de 25 metros, las imágenes generadas por la IA y un show de video sobre un conjunto de 57 marcos de pinturas vacíos, que por cierto hemos recuperado de la basura, como símbolo de la pérdida. Esta gran proyección, donde utilizamos tecnología de mapeo para encajar las imágenes en los marcos físicos, es muy dinámica alternando las proyecciones de todas las posibilidades que para cada pintura desaparecida ha creado la IA y composiciones de vídeo, y todo en un contexto de música que, por cierto, también ha sido compuesta por una Inteligencia Artificial. En la segunda zona principal hemos instalado una experiencia de Realidad Virtual en la que los participantes pueden sumergirse en un espacio virtual que recrea los monasterios de los que procedían las pinturas perdidas. Salvo uno de ellos (el Monasterio de San Zoilo de Carrión de los Condes), el resto han desaparecido, al igual que ocurrió con la mayoría de los monasterios desamortizados. Nos pareció interesante mostrar también las pinturas recreadas en unas “recreaciones” de los propios monasterios, de los que apenas queda información, con lo que el escenario virtual está compuesto por ruinas, un laberinto que copia la planta de uno de los monasterios desaparecidos y también por un edifico virtual moderno, con diseño de museo contemporáneo, como forma de reivindicar la necesidad de que Palencia cuente con un Museo de Bellas Artes. La sala de exposición del museo es amplia y diáfana, lo que nos ha dado la libertad de diseñar el recorrido expositivo con libertad, en el que los visitantes son recibidos de golpe por la gran proyección que muestra en su totalidad las imágenes creadas por la IA.
PO: Supongo que este trabajo es la culminación de un proceso longevo. ¿En qué fases ha constado? ¿Cuánto tiempo os ha llevado? ¿Habéis sentado las bases para futuros proyectos? ¿Algo en el horizonte que se pueda contar?
AM: El proceso ha durado 4 años, desde que surgió la idea hasta que se plasmó en la exposición de Palencia y el museo virtual. Los primeros 2 años los dedicamos fundamentalmente a la investigación, tanto histórica como tecnológica. La investigación histórica se centró en los monasterios desamortizados de la provincia, identificando una lista de 38 monasterios. Durante la investigación histórica pudimos constatar que el número de pinturas catalogadas por la comisión de monumentos (57) es y pequeño si lo comparamos con los listados de otras provincias, formados por cientos me incluso miles de obras de arte. Por ejemplo, encontramos referencia a un inventario de obras de arte del Monasterio de San Zoilo en el que se mencionaban 43 pinturas, mientras que en el listado de los 57 solo aparecen 21 pinturas procedentes de ese monasterio, y además ninguna coincide con la lista de 43. Queda pues mucho campo para seguir investigando. Una parte fundamental de la investigación histórica fue crear la base de datos de imágenes de la historia del Arte con la que entrenar a la IA, para lo cual investigamos en las bases de datos de las grandes pinacotecas y museos del mundo para encontrar pinturas que se ajustasen a las descripciones en cuanto a estilos, escuelas, autores, temáticas, etc. que teníamos en la documentación. El resultado fue 30.000 imágenes. Desde el punto de vista tecnológico, tuvimos que hacer un seguimiento profundo de la evolución de los algoritmos de IA que se iban publicando, probarlos, modificarlos y sobre todo, entrenarlos (enseñarles a “comprender” la pintura religiosa del Renacimiento y Barroco). El rápido avance de la tecnología de IA en los últimos años nos ha obligado a un esfuerzo constante de actualización para el que, afortunadamente, hemos contado con el apoyo de algunas de las principales empresas que trabajan en este campo. Este ha sido el caso por ejemplo de OpenAI, la empresa detrás del desarrollo de ChatGPT y DALLE-2. Tan pronto como se anunció el desarrollo de DALLE-2 nos pusimos en contacto con ellos hablándoles de nuestro proyecto e inmediatamente nos dieron acceso de investigador a su tecnología para que la pudiéramos probar en el contexto de nuestro proyecto y a la vez les proporcionáramos información de nuestra experiencia para poder mejorarla antes de su lanzamiento oficial. La fase final del proyecto ha consistido en el diseño y producción del Museo virtual y de la exposición en el Museo de Palencia.
Desde luego hemos creado la base para futuros proyectos, ya que los ejemplos de obras de arte desaparecidas en todo el mundo son muy numerosos. Estamos explorando la posibilidad de aplicar lo que hemos aprendido a otras colecciones desaparecidas pero ahora mismo lo que queremos es difundir el proyecto actual y exponerlo en otros lugares, tanto en España con en otros países. Queremos que la historia de lo que pasó en Palencia sea conocida, algo fundamental, si pretendemos conseguir aprecio y respeto por el arte, ya que solo el conocimiento deriva en reconocimiento por nuestra herencia cultural.
PO: También quería preguntarte por otros proyectos del pasado que os hayan hecho llegar hasta aquí y qué tipo de profesionales componen vuestra empresa.
AM: Todos los proyectos artísticos que hemos realizado en los últimos años han sentado las bases para este trabajo. Desde nuestra primera instalación interactiva, titulada “Collective Emotional Perception” y expuesta en CentroCentro (festival MADATC, Madrid 2013), que supuso nuestra primera incursión en el mundo de la IA aplicada al Arte, hemos seguido una línea de trabajo e investigación que ha resultado en proyectos como “YEN_NO”, presentado en la Korean Foundation de Seúl en 2016, “DATA Ergo Sum”, expuesto en el Espacio Fundación Telefónica en 2018, “CEP Realidades Observables”, expuesto en MediaLab Prado en 2017 y en el Museo Nacional de Bellas Artes de Taiwan en 2019, DRON_IA, una exposición que combinaba drones e inteligencia artificial en Etopía (Zaragoza) en 2020 y “DATA Ergo Sum Reloaded”, expuesta en el Museo de Arte y Diseño Contemporáneo de Costa Rica y en el LA Art Show de Los Angeles en 2021, gracias al apoyo del Museo La NeoMudejar. Para las personas interesadas, os invitamos a visitar nuestra web
https://3dinteractivo.com
.
Nuestro colectivo es multidisciplinar. Todos somos ingenieros y antes de dedicarnos al mundo del Arte hemos desarrollado una carrera profesional en sectores de alto contenido tecnológico como las telecomunicaciones. Pero además, tenemos ingenieros que tienen además licenciaturas en Bellas Artes o en Psicología. Una combinación de experiencia y formación que puede parecer un tanto inusual pero que nos ha permitido afrontar los retos que nosotros mismos nos hemos ido poniendo con el objetivo principal de poner la ciencia y la tecnología al servicio del arte y recorrer también el camino inverso, utilizando lo que el mundo del Arte nos aporta y enseña, en los desarrollos tecnológicos y científicos.
PO: Para terminar, una pregunta recurrente. Yo soy un firme creyente de que la tecnología nos va a permitir poner a disposición de todos y de forma gratuita aquellos bienes patrimoniales como los de aivirtualmuseum. ¿Crees que será factible un metaverso que nos permita recorrer el patrimonio cultural tanto en el espacio como en el tiempo?
AM: El hecho de que parte de nuestro patrimonio no está en los Museos por diferentes razones, debe inspirarnos para proponer al público y a las instituciones el reto de aspirar a una democracia cultural, entendiendo ésta como la implicación de los ciudadanos en la acción cultural donde las personas tienen la condición de público y también tomando actuaciones y decisiones. Las posibilidades que nos ofrece la tecnología, incluyendo también la IA, son enormes. Los nuevos desarrollos están continuamente generando posibilidades que sin duda serán aprovechadas también en el entorno del patrimonio cultural, como ya estamos viendo. En ese contexto, el metaverso y en general las tecnologías inmersivas ofrecen una oportunidad única de reforzar el impacto, la visibilidad y la atracción del patrimonio y de la cultura, de dar a ver lo invisible, de repensar la relación entre mundos físicos y virtuales, e invita al público a participar de manera activa en nuevas experiencias que divulgan las artes, la cultura y el patrimonio.
PO: ¿Quieres añadir alguna cosa más?
AM: Agradecer la oportunidad de presentar nuestro proyecto en tu blog y destacar además la importante labor que estas realizando.
El patrimonio digital es un tema que debe ser tratado, investigado en profundidad y creo que estamos en un momento muy receptivo para estos temas. Son tiempos apasionantes con grandes retos y también problemáticas que hay que estudiar y resolver.
Pero tenemos la oportunidad de re-pensar la Historia y los relatos que no sólo expliquen el pasado sino que avancen en el futuro; proponemos una reflexión colectiva sobre las ideas y procesos patrimoniales con el objetivo de contribuir y construir una sociedad que haga suyo y dé importancia a su patrimonio cultural.
Y hasta aquí la entrevista de la semana. Esta vez hemos visto cómo recuperar toda una serie de obras desaparecidas con ayuda de la IA. Espero que haya sido de tu interés.
Si no sabes cómo has llegado hasta aquí y no quieres perderte este boletín, apúntate aquí. Además podrás descargar gratis mi ebook “Cultura vs. Tecnología”:
Aquí nos vemos la semana que viene con otra entrevista a un profesional del patrimonio cultural y la tecnología.
Hasta entonces se despide tu amigo:
Pedro Ortega