Es posible "ver" el código fuente de Matrix en nuestra realidad gracias a Apple Vision Pro. Nos dice mucho de su tecnología y futuro.
El sensor LiDAR que incorpora Apple Vision Pro escanea la realidad cientos de miles de veces por segundo para construir una malla de puntos espaciales.
Es probablemente un momento muy similar al que vivimos con la llegada del primer iPhone. Me refiero al lanzamiento de Apple Vision Pro (de momento, sólo en Estados Unidos), que está fomentando la aparición de nuevas aplicaciones que aprovechan las capacidades hardware del nuevo dispositivo de Apple.
Una de las más curiosas, y que más está dando que hablar, es Magic Room: se trata de una app nativa para visionOS que hace visible lo que se denomina el “Mesh Dynamics” del sensor LiDAR de Apple Vision Pro. Básicamente, es el “mapeo” de la realidad con una malla poligonal compuesta de miles de puntos muestreados por este tipo de sensor.
Esta malla poligonal es capaz de detectar la profundidad, posición y tamaño de cada elemento en tiempo real (ya que se producen cientos de miles es muestreos por segundo), permitiendo a visionOS saber dónde está cada elemento respecto al usuario.
La tecnología en Apple Vision Pro con LiDAR
La tecnología LiDAR lleva en los iPhone desde los iPhone 12 Pro, y permite al dispositivo “conocer” cómo es la realidad para tomar decisiones respecto a la profundidad de campo, fotografías, aplicaciones de realidad mixta y otras decisiones que necesiten de un cálculo de distancias de este tipo. En los iPhone se usa sobre todo para mejorar las fotografías en condiciones con escasa iluminación, ya que este tipo de sensor no la necesita para funcionar.
El LiDAR es un sistema de teledetección activo. Es decir, emite unos pulsos de laser infrarrojos y mide el tiempo de retorno al sensor, por cada punto que mapea. Esto lo hace en tiempo real calculando unos 120.000 muestreos por segundo, por lo que podemos utilizar Apple Vision Pro desplazándonos por un entorno real y el sistema será capaz de detectar nuestro entorno y su volumentría.
Lo que hace Magic Room es precisamente “revelar esta magia”, tal como lo definen ellos. Al arrancar la aplicación, de repente esta malla de puntos conectados en forma de polígonos - tal y como la está reconociendo visionOS a través del LiDAR - se nos mostrará delante de nosotros.
(Imagen capturada en Apple Vision Pro) Arriba, derecha, foto de la terraza a la luz del día. En la captura, la interpretación a oscuras usando el LiDAR de Apple Vision Pro.El ejemplo que veis en la imagen superior lo probé en la terraza de casa. La foto de referencia está tomada de día, pero la prueba con la app la hice de noche para que se apreciara que incluso sin luz, el LiDAR funciona perfecto - y es capaz de “trazar” la realidad con un detalle y rapidez asombroso.
No sólo es curioso - y espectacular, cuando lo pruebas con el visor de Apple - es también interesante comprobar la potencia del dispositivo para interpretar la realidad. En la aplicación, incluso se puede ajustar la velocidad de revelado y algún que otro truco especial.
(Imagen capturada en Apple Vision Pro) La habitación con la lavadora se ve perfectamente a través de la pared, gracias al muestreo previoAlgo que sorprende la primera vez que se prueba, es que nos da la impresión que podemos “ver a través de las cosas”. Realmente no es así: Magic Room está mapeando constantemente la realidad, aunque no activemos la visualización de la malla. Si nos hemos movido por el entorno previamente, los datos de los puntos espaciales estarán almacenados.
En casa, por ejemplo, me ocurre con la habitación donde está la lavadora: es capaz de entender que está detrás de una pared con la información que ya tiene del muestreo previo y la muestra sobre el modelo de nuestro punto de vista. Esta interpretación de la malla poligonal causa casi engañarnos como si pudiéramos “ver a través de la pared”.
Matrix en tu salón
Uno de los usos más curiosos y espectaculares es activar la visualización “Digital Rain”, donde veremos como nuestra casa se convierte por arte de magia en una interpretación del código de Matrix, moviéndose y fluyendo alrededor nuestro. Mientras nos movemos por la estancia, se van revelando nuevas partes, en perfecto tiempo real y sin ningún tipo de latencia o de retardo.
También se puede cambiar el tamaño de la letra del código que va fluyendo, cuyos cambios veremos aplicados al instante en la experiencia. Y tenemos la posibilidad de difuminar el entorno real o mezclarlo con la experiencia interactiva para dar una sensación aún más cinematográfica.
En las imágenes o en los vídeos que podáis ver, no se aprecia la sensación de tenerlo no sólo delante de ti, sino envolviéndote. Es una sensación inmersiva muy curiosa, que también transmite la capacidad de la tecnología en Apple Vision Pro, y que juegos como el genial Super Fruit Ninja ya utilizan para “mapear” la estancia y saber done tenemos los muebles de nuestro salón para que la fruta golpee, manche o resbale (por ejemplo) por el respaldo de nuestro sofá. El futuro de estas apps, más perfeccionadas, inmersivas y consistentes con la realidad que envuelve al usuario está a la vuelta de la esquina.
Entradas
