Creando mundos digitales
Creando mundos digitales
Entrevista a Óscar Olarte de MR Factory
Óscar Olarte licanciado en Ciencias Económicas y Empresariales en Madrid, es el Cofundador de MR Factory, donde también ha sido CEO durante más de 30 años. Está especializado en innovación, diseño, producción y despliegue de contenidos y soluciones multimedia a gran escala para resolver necesidades de formación, comunicación, marketing, publicidad y entretenimiento.
En sus inicios, su principal objetivo fue el desarrollo y despliegue de simulaciones CPT/CBT para la industria aeronáutica civil y militar, y continuó en este campo durante más de 20 años. Durante este tiempo, la empresa se ha convertido en pionera en la producción virtual para la industria televisiva y cinematográfica desde principios de los 90, habiendo diseñado, desarrollado e implantado grandes proyectos multimedia para empresas Blue Chip.
Su experiencia en diseño de producción, producción cinematográfica, efectos visuales 3D y VFX, desarrollo de juegos, implantación de sistemas multimedia informáticos y composición musical, entre otros campos relacionados con la Economía Maker, el desarrollo de aplicaciones, la producción cinematográfica y el desarrollo e implantación de juegos, ha permitido a MR Factory diseñar y desarrollar grandes proyectos relacionados con los gemelos digitales y el Metaverso.
Pedro Ortega: En primer lugar, Óscar, quería hacer referencia al core de MR Factory, una empresa dedicada principalmente a la producción audiovisual con tecnologías de realidad virtual. Por favor, explícanos de una manera somera cómo, a partir de una idea, construís un universo en 3D para desarrollar sobre él escenas de una película o serie de televisión y danos algún ejemplo de vuestros trabajos.
Óscar Olarte: Encantado Pedro, en el cine y en las series de ficción se han construido decorados siempre, nosotros hemos contribuido a desarrollar un conjunto de técnicas y tecnologías que permiten que parte de esos decorados sean virtuales. Esto es algo que lleva existiendo muchos años en la industria de los efectos visuales o VFX, lo que es nuevo hoy es la capacidad de re-utilización de esos mismos decorados para realizar videojuegos o Metaverso, que es un tipo de videojuego o experiencia multiusuario masivo (MMOG) basado en tres 4 principios:
Inmersivo: Mundos 3D con la posibilidad de usar gafas de realidad virtual.
Interoperable: Compatible con dispositivos presentes y futuros a través de Internet
Persistente: El mundo evoluciona aunque no estemos conectados.
Descentralizado: Generación de valor basado en blockchain.
Actualmente, la industria audiovisual utiliza un conocido motor de videojuegos Unreal Engine para realizar los escenarios en tiempo real. Es lo que se ha dado en llamar Producción Virtual, que tiene como principal característica que todo lo que se filma tiene se previsualiza con calidad final In Camera VFX (ICVFX). Entre los elementos virtuales del escenario, también utilizamos figuración virtual, extras, o personajes virtuales de fondo. Esta claro que si tenemos todos los escenarios de una película o series de ficción realizados con esta tecnología, dado que estamos utilizando un montor de videojuegos es relativamente fácil crear un “parque temático” para los fans de esa serie, de la misma forma que ocurre en realidad con los decorados de cine, por ejemplo los pueblos de lo Oeste en Almería para los Western Spaquetti, en donde estos decorados se han reutilizado para más de 300 películas y además son un parque temático sobre el tema del Oeste. Lo mismo en virtual.
https://www.oasysparquetematico.com/poblado-oeste/
En cuanto a las experiencias mixtas de películas y Metaverso a la vez, es algo que hemos demostrado en ferias y eventos en directo, desde MR Factory.
https://www.mundosdigitales.org/2023/es/actividades/presentaciones/olarte.html
Hay películas y video juegos que tienen casos muy buenos de proto-metaversos (no cumple las 4 características del metaverso arriba indicadas), como por ejemplo la última película de Matrix, Matrix Resurrections y el vídeo juego de la misma película Matrix Resurrections.
Sin embargo, la industria del cine y series de ficción en Europa está siendo más lenta en adoptar estos nuevos modelos, dado que la industria de cine y video-juegos son industrias diferentes, estamos teniendo dificultad en que nos compren estos nuevos modelos de negocio. Mostramos en este enlace las calidades que podemos tener en la creación de estos Metaversos:
Real vs Virtual:
Making of Real vs Virtual:
PO: Para llevarlo a cabo, sé que contáis con las últimas tecnologías tanto de software como de hardware. Si no me equivoco, es gracias a NVIDIA el hecho de que podáis trabajar no solo a un altísimo nivel sino con una velocidad de renderizado casi a tiempo real. Cuéntanos con qué recursos de hardware NVIDIA contáis y cómo los habéis implementado en vuestro trabajo.
OO: Gracias Pedro. Actualmente estamos encantados con las posibilidades que nos ofrece NVIDIA para el desarrollo de nuestro objetivo fundamental, que es la creación de mundos y metaversos como generadores de contenidos para cine, series de ficción y video-juegos.
NVIDIA ha desarrollado Omniverse, una plataforma de trabajo colaborativo que permite crear gemelos digitales o digital twins, que se integra con la mayoría de plataformas, software 3D (DCC 3D Digital Content Creation) y motores de videojuego, incluyendo también Unreal Engine. Nosotros ya estamos realizando todo nuestro trabajo con Omniverse, porque nos permite la integración de todo el software que usamos en un entorno colaborativo, basado en inteligencia artificial y con simulación y render en tiempo real.
Actualmente contamos con cerca de 200 tarjetas NVIDIA RTX 4090, 3090 y A6000, que nos permiten procesar en servidor las experiencias en el Metaverso. Son servidores con 10x GPUs cada uno, los cuales se pueden particionar en número de usuarios, es decir, toda la computación gráfica del Metaverso, según nuestro enfoque, se realiza en servidor, y cada uno de estos servidores puede gestionar entre 10x usuarios (una tarjeta por cada usuario) y 100x usuarios, (una tarjeta para 10x usuarios), dependiendo de la calidad que se pretenda. Esta claro que si le damos la potencia de una RTX A6000 (ADA) a cada usuario, tendrá una experiencia absolutamente foto-realista, conforme vayamos dividiendo esa potencia entre más usuarios, la calidad de los entornos 3D y el número de fotogramas por segundo irá decayendo.
PO: Para la virtualización de los entornos creo que usáis mochilas con escáneres 3D, pero quizá también utilicéis otros soportes como podrían ser los drones. Cuéntanos un poco el proceso para la creación de los mundos virtuales para vuestras producciones. ¿Utilizáis también recursos ya existentes, como por ejemplo los modelos 3D que se guardan en repositorios como Sketchfab?
OO: Gracias Pedro por la pregunta. Si, utilizamos por supuesto todas las bibliotecas que están a nuestro alcance, es una de las ventajas que tiene Omniverse, que tiene conectores para las principales bibliotecas y podemos realizar búsquedas por inteligencia artificial o Deep Search en todas ellas, y por supuesto en las principales, SketchFab, Turbosquid, CGTrader, etc. Pero lo normal es que la mayoría de los modelos presentes en estas bibliotecas no tengan la calidad de un gemelo digital que es lo que necesitamos, y por eso nosotros realizamos la creación de gemelos digitales o digital twins para la virtualización de entornos los realizamos en 3 fases.
Digitalización del dataset (conjunto de datos): En esta primera fase hay que muestrear o realizar un survey con precisión, de las medidas, luz, color, materiales, referencias con cámaras de cine y también paisaje acústico.
Para realizar el proceso de digitalización usamos un conjunto de equipos que cada uno tiene una función.
HDRI environment: Fotos y plates de referencia con carta de color y bolas VFX, La primera fase es realizar una serie de fotos y plates de referencia con carta de color (con cámara de cine si hay movimiento, por ejemplo una playa).
Primero se realiza el HDRI environment que servirá de mapa de iluminación para toda la escena. Esto se realiza con una pieza de fotografía 360º o VR y braketing , es decir, realizando 5 exposiciones por cada foto, desde sub-exposición a sobre-exposición. Estas fotos se realizan con una cámara de alta calidad como por ejemplo Sony Alfa-1 o Canon R5 entre otras. Estas fotos son realizadas para un proceso de cosido o stitching posterior con un software estándar para esto, el PTGui
Medición laser: En esta fase se usan escáner LIDAR y también medición laser para crear la nube de puntos con precisión. Está nube de puntos servirá de base para tener una aproximación lo más precisa posible a la geometría del gemelo digital. La medición laser también se realiza con drones especializados.
Medición de luz: Se realiza con fotómetro 360º y espectrómetro para obtener todo el mapa de luz y color de la zona. Esta información es necesaria para después reproducir la misma luz en estudio de Producción Virtual o en la escena 3D.
Fotogrametría: La fotogrametría es un proceso de captura de imágenes de un entorno, con cámara fotográfica, que genera tanto la geometría, como los materiales y texturas. Si bien la geometría es mucho más imprecisa que la medición con escáner, la calidad de las texturas es muy superior.
En este proceso, dado que el principal objetivo es capturar los materiales y texturas sin sombras y con calidad PBR (Physically Based Render) es necesario utilizar un equipamiento de Flash con lentes de polaridad cruzada para capturar correctamente los mapas de albedo, rugosidad, reflexión, mapa de normales, etc.
En el proceso de fotogrametría, al igual que el proceso de escaneado LIDAR también usamos drones especializados para soportar cámaras y escáneres de calidad.
Grabación Sonido 3D: El paisaje sonoro forma parte de la localización virtual. Unreal Engine y el cine tienen sonido 3D basado normalmente en Dolby ATMOS. Nosotros digitalizamos los paisajes sonoros (sound landscapes) con una grabadora y micrófono ambisónico de primer orden como el Senheisser Ambeo VR con el Mix Pre 10 de Sound Devices, que graba con monitorización en Binaural y para esta aplicación es más que suficiente.
2. Construcción de escenas y modelos. Ya con todo el data set disponible hacemos una construcción basada en estándares. Actualmente apostamos por dos estándares de escena, dependiendo para la aplicación y casos de uso a lo que se destine.
a) Low End: glTF 2.0 - KTX : Video-Juegos, Web, Experiencias Inmersivas, Meraverso
https://www.khronos.org/assets/uploads/apis/KTX-2.0-Launch-Overview-Apr21_.pdf
b) High End: USD - Material X: Cine, Series de Ficción.
https://materialx.org/assets/ASWF_OSD2021_MaterialX_slides_final.pdf
Para la construcción de las escenas y modelos usamos una serie de software entre los que cabe destacar:
HDRI Environment: Como comenté en el apartado de HDRI environment el software más estándar y utilizado para este fin para HDRI 360º con braketing es el PTGui aunque para el stitiching de video 360º se usan otros software como por ejemplo el Mistika que es español y una calidad.
HDRI Environments: PTGui para 360º fotos con braketing.
Cinematic Video 360º : Mistika VR que además es una empresa española
https://www.sgo.es/mistika-vr/
Fotogrametría y Alineación LIDAR: Usamos Reality Capture y MetaShape ambos según la necesidad que tengamos, porque cada uno de ellos sobresale en algún determinado aspecto. Es importante destacar que después de realizar la fotogrametría es necesario limpiar y decimar los modelos usando una herramienta de modelado orgánico como zBrush.
Ingeniería y Patrimonio: MetaShape creemos que es mejor.
VFX and VideoGames : Reality Capture por su integración con Unreal y Quixel.
https://www.capturingreality.com/
RE-TOPOLOGIA: Después del proceso de fotogrametría y alineación lidar obtenemos un modelo con una cantidad de información ingente, que las herramientas de fotogrametría gestionan bien, pero es necesario en muchos casos realizar un proceso de limpieza y re-topología para corregir errores de los modelos, tanto así como el decimado y la conversión de la escena en objetos.
a) Limpieza de MESH y Decimado: Blender es una herramienta estándar para este fin, pero también zBrush y otras como MeshLab entre otras.
b) Re-Topología : Blender y C4D y resto de DCC tools tienen unas herramientas muy buenas para la re-topología.
NERF 3D y Gaussian Splating: Son nuevas tecnologías y técnicas que están avanzando rápidamente y permiten crear una visualización 3D por IA a partir del conjunto de datos previamente obtenido en la fase de digitalización. Ambas técnicas son similares, pero quizás está ganando ahora más seguidores el Gaussian Splating.
a) NERF 3D: Los Neuro Radiance Fields de Luma AI quizás son los que más desarrollo están teniendo.
b) Gaussian Splating: El Gausian Splating de Polycam es el que está teniendo más trackción en el corto plazo.
https://poly.cam/tools/gaussian-splatting
Plataformas 3D: Omnivese, como he comentado anteriormente, nos permite la integración simultánea en todas las plataformas estándar para todos los casos de uso. Desde Omniverse podemos publicar en SketchFab, TurboSquid, CG-Trader entre otros, pero no solamente para realizar búsquedas, si no también para publicar. Cualquier plataforma público-privada puede crear un conector para Omniverse, de tal forma que todo el trabajo colaborativo se va publicando en tiempo real y simultáneamente en todas las plataformas según un circuito de validación editorial definido con las empresas que colaboramos.
PO: Creo que vuestro equipo está deslocalizado y trabajáis con muchos profesionales que viven fuera de Madrid o incluso en el extranjero. Esto es posible gracias a NVIDIA Omniverse. ¿Qué nos puedes contar de este software y qué ventajas os proporciona aparte de la deslocalización? ¿Qué otros programas de 3D utilizáis para crear vuestras producciones?
OO: Omniverse nos permite el trabajo colaborativo en tiempo real. No obstante, la potencia de la red de fibra instalada en España, nos permite contar con profesionales y artistas 3D en toda la geografía, de esta forma no estamos limitados a los artistas de una zona concreta, que por necesidades de la producción local, por ejemplo en Madrid, pueden estar trabajando para otros proyectos y otras producciones. Por este motivo, desde hace ya muchos años, nos decidimos por el trabajo en remoto. Inicialmente sin plataforma colaborativa como Omniverse, y cuando salió Omniverse la migración fue muy fácil, puesto que se integra con la mayoría de las herramientas DCC 3D, Maya, 3D Studio, Unreal Engine, Blender, Substance Painter, Marvelous Designer, y un largo etc.
Omniverse es de verdad un cambio de paradigma en la forma en la que integramos los artistas 3D en el creator economy, y nos está permitiendo ser muy competitivos, incluso frente a otros países que son líderes en el BPO, Business Project Outsourcing de VFX, entre ellos India.
PO: Estamos viviendo la revolución de la inteligencia artificial con ChatGPT y la creación de imágenes y vídeo con estas tecnologías. ¿Hasta qué punto la IA os puede ayudar en vuestro trabajo? ¿Cómo la habéis implementado ya en vuestro proceso de trabajo?
OO: Estamos usando todas las herramientas de IA que están disponible, entre ellas destacaría para la fase creativa y de concept art Stable Diffusion XL, Canvas de NVIDIA y Runway Gen2, aunque Midjouney y Dall-e también las usamos. Esta fase creativa nos permite realizar rápidamente un concept para que después los equipos creativos puedan realizar los entornos con World Creator, OctaneRender que tiene también una extensión para Omniverse.
Finalmente el propio Omniverse se integra con Chat GPT y puede hacer búsquedas en el MAM (media asset management) entre millones de objetos y escenas agregadas a todas las plataformas por Deep Search y construir una escena basada en todos esos objetos.
PO: Quería preguntarte también por los “productos derivados” de MR Factory. Está claro que una vez que creas un mundo virtual, este es un activo no solo para reutilizarlo en otro audiovisual sino también para incluirlo en videojuegos o en el tan mencionado “metaverso”. ¿Qué aplicaciones derivadas habéis puesto en marcha con vuestros mundos virtuales? ¿Qué opinas del metaverso de Zuckerberg? ¿Será una realidad o esta vendrá por otro lado?
OO: Actualmente creo en el Metaverso como una aplicación para resolver necesidades, menos como una red social. Los anteriores intentos de crear una red social alrededor de mundos 3D, sin estar relacionados con un juego concreto, no han salido bien. Entre ellos cabe destacar SecondLife o Playstation Home. Si bien creo que la tecnología está preparada para esto, de momento hay que resolver muchos problemas de usabilidad. No es fácil moverse por un entorno 3D para la mayoría de las personas. También el reto u objetivo de la red social, tiene que tener recompensas, como en los juegos, y de esta forma vemos como Roblox o Decentraland tienen claramente establecido ese reto, si bien, no cumplen las 4 características del Metaverso, y en especial la más importante la de la interoperabilidad, es decir, que como pasa en Internet, pueda construirme mi avatar, y saltar de universo en universo, y mi personaje se adaptará a cada uno de ellos con las particularidades de los mismos. En este sentido, estamos impulsando desde la Metaverse Standard Forum, iniciativas para estandardizar temas tan importantes como la reputación en el Metaverso o la adaptación de los avatares a distintos entornos.
Me invitó la Metaverse Standar Forum en la Meta World Congress para hablar de estándares, y mi tema fue precisamente el estándar USD, Universal Scene Description, que ha sido abrazado por toda la industria (Microsoft, Apple NVIDIA, Epic Games, Autodesk…) y que es por decirlo de forma que se entienda, el HTML del Metaverso. Omniverse, como no podría ser de otra forma, está basado en USD, haciendo que toda la inversión y trabajo realizada sobre esta plataforma sea a prueba de futuro o future proof.
PO: Una de mis visiones de futuro y sin duda la que me ha llevado a crear este boletín es la idea de la creación de un metaverso en el que podamos visitar los diferentes lugares del patrimonio cultural mundial en distintos momentos en el tiempo. Para llevar a cabo este sueño creo que hacen falta empresas como MR Factory. ¿Ves factible esta idea? ¿Se implicaría MR Factory en un proyecto así? ¿Qué tecnología sería necesaria desde tu punto de vista, sobre todo para poder incluir en ese mundo virtual todo el patrimonio cultural que ya está digitalizado?
OO: Es una visión muy ilusionante. Creo que ya hay ejemplos como CESIUM o Google Earth que nos van a permitir integrar en GIS y GeoSpacial todas las obras y monumentos realizados con fotogrametría-Lidar como hemos comentado anteriormente, de tal forma que podemos ir alcanzando la construcción de ciudades poco a poco e integrarlas en los portales y videojuegos, dado que por ejemplo CESIUM se integra con Unreal Engine. De esta forma, hoy es perfectamente posible realizar un proyecto en Internet utilizando la tecnología PixelStream de Unreal Engine o de Omniverse en donde se puede visitar en experiencias inmersivas con calidad cinematográfica compatible con todo tipo de dispositivos actuales.
Como beneficio extraordinario de tener las localizaciones digitalizadas, estaríamos preservando el patrimonio cultural para las futuras generaciones, como pasó con Notre Damme que gracias al juego de Assassins Creed tenían un gemelo digital de ese monumento y permitió la construcción. De igual forma, la digitalización de los monumentos y patrimonio contribuirá a la promoción en películas, series de ficción y video juegos de Madrid como destino turístico.
PO: Muchas gracias por tu participación.
Y AQUÍ NOS DESPEDIMOS…
Espero que la entrevista de hoy haya sido de tu interés. Si quieres hacerme cualquier comentario o te gustaría proponerme un tema sobre el que tratar, estoy abierto a tus sugerencias. Solo tienes que responder a este correo.
Y si has llegado hasta aquí y no sabes cómo y te quieres suscribir a este boletín, a continuación puedes dejarnos tu correo.
Aquí nos leemos en dos semanas.
Hasta entonces, un abrazo de tu amigo
Pedro Ortega