Escanear a súper resolución
Escanear a súper resolución
Entrevista a Diego Hernández de Artmyn
Esta edición del boletín se ofrece en versión bilingüe español/inglés
This edition of the newsletter is available in a bilingual Spanish/English version.
ESPAÑOL
Diego Hernández desempeña un rol clave en Artmyn como Registro, enfocándose en la conservación preventiva y el control del ambiente para la preservación de obras de arte. Su trabajo incluye la manipulación cuidadosa y el traslado seguro de estas obras. En Artmyn, es responsable del Centro de Scanner en Ginebra y París, y es experto en la manipulación de arte para su estudio. Además, contribuye a la producción de catálogos y videos interactivos, y ejecuta misiones específicas de escaneo en instituciones culturales alrededor del mundo. Diego también participa activamente en el diseño, desarrollo e investigación en este campo, y es miembro de la AFROA, la asociación francesa de registros de obras de arte.
Pedro Ortega: En primer lugar, cuéntenos cuándo se fundó Artmyn y la filosofía detrás de su empresa. ¿Qué acciones emprenden en cada una de sus ubicaciones?
Diego Hernández: ARTMYN se creó en 2016 tras 4 años de investigación académica en el Instituto Suizo de Tecnología de Lausana (EPFL). Durante este período universitario se realizaron investigaciones tanto teóricas como aplicadas con el objetivo general de mejorar la forma en que se muestra el arte visual en la pantalla. De hecho, una obra de arte suele estar representada por una única imagen 2D que, en el mejor de los casos, tiene alta resolución. Sin embargo, una sola imagen 2D está reduciendo en gran medida la riqueza, la complejidad y la estética de la obra de arte física. Para representar fielmente una obra de arte en la pantalla, es necesario un “gemelo digital” interactivo 5D. Esto requiere capturar mucha más información sobre la obra de arte que solo su información de color. Es por eso que desarrollamos una solución de digitalización única que puede capturar la MATERIALIDAD de una obra de arte digitalizando también la topografía de la superficie con la precisión de las pinceladas, así como la reflectancia de la superficie de la obra de arte. La reflectancia de la superficie es un fenómeno luminoso complejo y representa la interacción entre la luz, la obra de arte y el espectador.
En nuestro centro de digitalización, la obra de arte se coloca plana en nuestro escáner ultraseguro que luego capturará automáticamente hasta 100.000 imágenes de alta resolución bajo diversas condiciones de iluminación y espectros. Luego, nuestros servidores informáticos procesan este gran conjunto de datos de imágenes para extraer la información relevante y producir el gemelo digital de la obra de arte física.
PO: Creo que la principal característica de Artmyn es la digitalización de bienes culturales a muy alta resolución. ¿Qué equipos utilizáis y cuáles son las resoluciones máximas que ofrecéis para la digitalización de diversos elementos patrimoniales?
DH: Nuestro escáner utiliza una cámara digital de alta velocidad y alta resolución junto con muchas luces de características específicas (visible, UV, NIR). La resolución máxima del gemelo digital que se puede renderizar de forma interactiva en nuestro visor es de 1200 dpi, en fluorescencia visible, ultravioleta e infrarrojo cercano. Nuestro escáner puede digitalizar obras de arte de hasta 2 metros x 2 metros.
PO: También veo que ofrecéis escaneos 2D y vídeos inmersivos. Supongo que su uso está más enfocado a la difusión.
DH: Se pueden crear fácilmente imágenes 2D de alta resolución y vídeos inmersivos una vez que el gemelo digital 5D esté disponible tras la digitalización. Efectivamente, este tipo de contenidos tienen como finalidad la difusión, promoción y mediación cultural, dependiendo del objetivo del cliente.
El cliente puede crear un número casi infinito de imágenes 2D a partir del gemelo digital utilizando nuestra herramienta dedicada en la que el punto de vista, la dirección/espectro de iluminación y el nivel de zoom se pueden configurar según se desee.
También se pueden crear fácilmente vídeos inmersivos utilizando nuestra exclusiva herramienta en línea. Al crear una secuencia de movimiento de “cámara” y condiciones de iluminación sobre el gemelo digital y agregar voz en off y música, es posible crear contenido de video de muy alta calidad para los intereses de museos, galerías o expertos.
PO: ¿Qué son las imágenes 5D?
Una imagen 5D es otra menera de decir que estamos hablando del gemelo digital 5D que estamos creando. Cuando interactúas con un gemelo digital, la imagen que se te presenta en cada instante en la pantalla es un “corte” o proyección de un gemelo digital 5D. Una forma de entenderlo: el espectador puede ver las pinceladas de un cuadro en 3D, pero también puede volver a iluminar el cuadro como desee, la luz se encuentra en una esfera 2D alrededor de la obra de arte. De ahí los 5 grados de libertad otorgados al espectador (3D+2D).
PO: Te conocí gracias a tu colaboración con la Biblioteca Bodmeriana de Ginebra. ¿Podrías contarnos sobre vuestro trabajo para esta fundación?
DH: Hemos tenido mucha suerte de conocer a la Fondation Bodmer y al Bodmer Lab (Universidad de Ginebra) en 2015 durante la investigación académica que condujo a la creación de ARTMYN. Captar la materialidad y representarla en una pantalla fue de gran interés para la Fundación Bodmer, ya que su colección abarca una amplia gama de materiales (códices, papiros, madera, pigmentos de pintura, oro, cuero, etc.) que a menudo se pasan por alto en la mediación cultural debido a la dificultad para mostrar fielmente en una pantalla. Terminamos pasando un verano en la Fundación Bodmer digitalizando algunos de sus documentos más preciados como el Papiro 66 (PB2) o la Biblia de Gutenberg y muchos otros. El resultado se puede ver en la Sala de Visualización de nuestra web. Sin embargo, en ese momento todavía no estábamos digitalizando en infrarrojo cercano o ultravioleta, por lo que estas modalidades no están disponibles.
PO: ¿Qué otros proyectos singulares de digitalización habéis realizado? ¿Con qué entidades culturales has trabajado?
DH: ¡Cada obra de arte es única! Hemos tenido la oportunidad de digitalizar muchos objetos preciosos en todo el mundo.
Recientemente fuimos al Chateau de Chantilly que tiene, después del Louvre, la colección de pinturas renacentistas más prestigiosa de Francia. Digitalizamos muchas obras de arte y algunas de ellas, de Jean-Dominique Ingres, se exhibieron en mesas interactivas en su exposición retrospectiva de verano. Algunos de ellos también están disponibles en línea en nuestro catálogo electrónico:
A petición de su propietario, digitalizamos un magnífico cuadro de Leonardo Da Vinci llamado “Madonna y el Niño con un hilo (Lansdowne Madonna)”. La digitalización fue utilizada por el propietario como una forma de asegurar la calidad de la obra de arte, como una huella digital inolvidable. También fue utilizado por el museo del Louvre durante la exposición Leonardo Da Vinci en 2019 y para un documental realizado sobre esta obra de arte por los canales de televisión Arte/NHK. Aquí tenéis un tráiler:
Otro artefacto único, menos conocido, que digitalizamos es el “Hueso con muescas” del Museo de Valence en Francia. Se le conoce como el primer calendario de la Humanidad. Poder admirar esta pequeña pieza desde muy cerca, sobre todo en vista topográfica, es fantástico:
Visita virtual:
Algunos otros proyectos únicos que se pueden ver en nuestras salas de visualización son muy variados: una placa base de computadora Apple 1, un primer LP de los Beatles, un huecograbado de Steichen y pinturas de artistas famosos como William Turner, Giambattista Tiepolo, Pierre Soulages, Chaïm Soutine, Wassily Kandinsky ¡y muchos más!
En Artmyn, estamos trabajando duro para satisfacer las necesidades de los diferentes actores del mercado del arte, desde coleccionistas privados hasta museos y casas de subastas, ¡pequeñas o grandes!
PO: En estos momentos, el tema de la Inteligencia Artificial está de gran actualidad. ¿Utilizas IA en alguno de tus proyectos? ¿Qué implica su uso?
DH: La IA se ha infiltrado en todos los ámbitos de la ciencia y la tecnología. En nuestro caso, nuestros algoritmos de procesamiento de datos utilizan ampliamente el campo del aprendizaje automático para lograr un enorme progreso en velocidad, potencia y precisión. Como ocurre con muchas empresas, la prestación de servicios también se facilita enormemente gracias a los numerosos negocios relacionados con la IA disponibles para locución, traducción, redacción de guiones, etc.
PO: Una idea que me gustaría ver realizada es la creación de un Metaverso que recopile diversos elementos patrimoniales de diferentes lugares del mundo y permita descubrir estos espacios de forma virtual. ¿Qué te parece una idea como esta? ¿Crees que es factible? ¿Qué podría aportar Artmyn a este proyecto?
DH: ¡Esa es una gran idea! democratizaría el acceso a la cultura y al arte. Sin embargo, ha habido varios intentos y el Metaverso está pasando por altibajos (¡dependiendo de la inversión de Meta en él!). Para tener éxito, la implementación de la solución en términos de UI/UX y estándares de calidad de digitalización debe ser de primer nivel para atraer la atención y, sin embargo, no debe requerir hardware costoso para evitar cualquier barrera tecnológica por parte del visitante. Además de mostrar nuestra tecnología, la Sala de visualización de nuestro sitio web también es un intento de democratizar el acceso a las obras de arte de una manera novedosa e interactiva. Nuestra vista interactiva, que está completamente basada en la web, se puede portar e integrar fácilmente en una solución de Metaverso que ofrece un nivel increíble de realismo con una reflectancia precisa del entorno.
PO: ¿Hay algo más que te gustaría agregar?
DH: Gracias por tu interés en nuestra tecnología y servicios. Quizás también os interese saber más sobre cómo la visualización interactiva puede ayudar a aprender y apreciar el arte. Recientemente publicamos un artículo de investigación con laboratorios de psicología cognitiva de la Universidad de Lausana y la Universidad de Viena. Si estáis interesados, está accesible aquí:
PO: Muchas gracias por tus respuestas.
ENGLISH
Diego Hernández plays a pivotal role at Artmyn as a Registrar, focusing on the preventive conservation and environmental control for the preservation of artworks. His responsibilities include the careful handling and secure transportation of these pieces. At Artmyn, he oversees the Scanner Centres in Geneva and Paris, and is an expert in the handling of art for study purposes. Additionally, he contributes to the production of catalogues and interactive videos, and carries out specific scanning missions at cultural institutions worldwide. Diego is also actively involved in the design, development, and research in this field, and is a member of AFROA, the French association of art registrars.
Pedro Ortega: Firstly, tell us about when Artmyn was founded and the philosophy behind your company. What actions do you undertake at each of your locations?
Diego Hernández: ARTMYN was created in 2016 following 4 years of academic research at the Swiss Institue of Technology of Lausanne (EPFL). During these academic years, both theoretical and applied research were made with the overarching goal of improving the way visual art is displayed on screen. Indeed, an artwork is often represented by a single 2D image that is at best high resolution. However, a single 2D image is greatly reducing the richness, the complexity and the aesthetics’ of physical artwork. To faithfully render an artwork on screen, an interactive 5D “digital twin” is necessary. This requires capturing much more information about the artwork than just its colour information. This is why we developed a unique digitization solution that can capture the MATERIALITY of an artwork by digitizing also the surface topography at brushstrokes precision as well as the surface reflectance of the artwork. The surface reflectance is a complex light phenomenon and represents the interplay between the light, the artwork and the beholder.
At our digitization centre, the artwork is positioned flat on our ultra-safe scanner that will then capture automatically up to 100’000 high resolution images under various illumination conditions and spectras. This large image dataset is then processed by our computing servers to extract the relevant information to produce the digital twin of the physical artwork.
PO: I believe the main characteristic of Artmyn is the digitisation of cultural items at very high resolution. What equipment do you use and what are the maximum resolutions you offer for the digitisation of various heritage elements?
DH: Our scanner is using a high speed, high resolution digital camera coupled with many lights of specific characteristics (visible, UV, NIR). The maximum resolution of the digital twin that can be rendered interactively in our viewer is 1200 ppi, in visible, ultraviolet fluorescence and near-infrared. Our scanner can digitize artworks of up to 2 meters x 2 meters.
PO: I also see that you offer 2D scans and immersive videos. I assume their use is more focused on dissemination.
DH: High resolutions 2D images and immersive videos can easily be created once the 5D digital twin is available upon digitization. These types of contents are indeed for dissemination, promotion and cultural mediation, depending on the client’s objective.
A near infinite number of 2D images can be created from the digital twin by the client using our dedicated tool in which the viewpoint, the lighting direction/spectrum and zoom level can be set as desired.
Immersive videos can also be easily created using our unique online tool. By creating a sequence of “camera” movement and lighting condition over the digital twin and adding voice-over and music, it is possible to create very high-quality video content for museums’, galleries’ or experts’ interests.
PO: What are 5D images?
DH: A 5D image is another term for the 5D digital twin we are creating. When you interact with a digital twin, the image you are presented at every instant on the screen is “slice” or projection of a 5D digital twin. One way to understand this: the viewer can see the brushstrokes of a painting in 3D but also to re-illuminate the painting as desired, the light being on a 2D sphere around the artwork. Hence the 5 degrees of freedom given to the viewer (3D+2D).
PO: I came across you through your collaboration with the Bodmeriana Library in Geneva. Could you tell us about your work for this foundation?
DH: We have been very lucky to meet the Fondation Bodmer and the Bodmer Lab (University of Geneva) in 2015 during the academic research leading to the creation of ARTMYN. Capturing materiality and rendering it on a screen was of great interest to the Fondation Bodmer as its collection spans a wide range of materials (codex, papyri, wood, paint pigment, gold, leather etc) that is often overlooked in cultural mediation due to the difficulty of showing faithfully on a screen. We ended up spending a summer at the Fondation Bodmer digitizing some of their most precious documents such the Papyrus 66 (PB2) or the Bible of Gutenberg and many others. The result can be seen on our Viewing Room of our website. At the time though, we were not yet digitizing in near infrared or ultraviolet so these modalities are not available,
PO: What other unique digitisation projects have you carried out? Which cultural entities have you worked with?
DH: Every artwork is unique! We have had the chance to digitize many precious artefacts around the world.
Recently, we went to the Chateau de Chantilly which has, after the Louvre, the most prestigious collection of paintings in France. We digitized many artworks and some of them, from Jean-Dominique Ingres, were displayed on interactive tables at their summer retrospective exhibition. Some of it is also accessible online on our e-catalogue:
Ingres Catalogue
Following a request by its owner, we digitized a superb painting by Leonardo Da Vinci called “Madonna and Child with a Yarnwinder (Lansdowne Madonna)”. The digitization was made used by the owner as a way to secure the quality of the artwork, as an unforgeable fingerprint. It was also used by the Louvre museum during the Leonardo Da Vinci in 2019 and for a documentary made on this artwork by Arte/NHK TV channels. Here is a trailer:
Another unique, less well known, artefact we digitized is the “notched bone” from the Musée de Valence in France. It is known as the first calendar of Humanity. Being able to admire this small piece from very close, especially in topographic view is fantastic:
https://www.artmyn.com/ecatalogue/23c9b620-7212-474c-b66d-5bcacccb0869#0
English guide tour:
Some other unique projects that can be seen on our Viewing rooms are wide ranging: an Apple 1 computer motherboard, a Beatles first LP, a rotogravure by Steichen, and paintings by famous artists such William Turner painting, Giambattista Tiepolo, Pierre Soulages, Chaïm Soutine, Wassily Kandinsky and many more!
At Artmyn, we are working hard to cater for the needs of the different actors in the art market, from private collectors to museums and auction houses, small or big!
PO: At the moment, the topic of Artificial Intelligence is very topical. Do you use AI in any of your projects? What does its use involve?
DH: AI has infiltrated every science and technology domains. In our case, the field of machine learning is widely used by our data crunching algorithms to bring tremendous progress in speed, power and accuracy. As with many companies, provision of services are also greatly facilitated thanks to the many AI-related business available for voice-over, translation, script writing etc...
PO: An idea I would like to see realised is the creation of a Metaverse that collects various heritage elements from different places around the world and allows these spaces to be discovered virtually. What do you think of an idea like this? Do you think it's feasible? What could Artmyn contribute to this project?
DH: That is a great idea! It would democratize access to culture and art. There has been several attempts though and Metaverse is going through highs and lows (depending on Meta investment in it!). To be successful, the implementation of the solution in terms of UI/UX and digitization quality standards must be top notch to attract attention and yet, it should not require expensive hardware to avoid any technology barrier on the visitor side. In addition to showcasing our technology, the Viewing Room on our website is also an attempt to democratize access to artworks in a novel and interactive ways. Our interactive view, being entirely web-based can be easily ported and integrated in a Metaverse solution offering a incredible level of realism with accurate reflectance from the environment.
PO: Is there anything else you would like to add?
DH: Thank you for your interest in our technology and services. You may also be interested in knowing more about the way interactive visualization can help in learning and appreciating art. We recently published a research paper with laboratories in cognitive psychology from the University of Lausanne and the University of Vienna. If interested, it is accessible here:
Article
PO: Thank you very much for your answers.
Aquí te espero dentro de quince días.
I'll wait for you here in fifteen days.
Pedro Ortega