El sitio web Lets Go Digital quienes ya filtraron la información del SDK de PlayStation 5 hace unos días, recordemos…

Ahora por lo visto han filtrado información sobre el PlayStation VR 2, el cual nos viene a confirmar que el sistema no se va a basar en un tracking outside-in como es el caso del actual PlayStation VR sino en un Inside-Out como se ha visto en los dispositivos HMD aparecidos ultimamente en PC, una evolución que viendo como el Inside-Out se ha estandarizado.

Bueno, en realidad por las diversas patentes de Sony sabíamos que existía la posibilidad de un PlayStation VR fuese un dispostivo Inside-Out y posiblemente sin cables, Pues bien, con la información filtrada podemos completar de mejor manera el puzzle, aunque no tenemos nada más que un dibujo, nos es sufic

Me he estado revisando patentes antiguas y en una de ellas me he encontrado el siguiente diagrama organizativo de un HMD de mayor capacidad que el del actual PS VR.

El hecho de que el dispositivo lleve batería nos indica que es completamente inalámbrico, las cámaras nos indican que es un dispositivo Inside-Out, pero lo mejor es ir a la patente y leer sobre la FIG. 13.

Con referencia a la FIG. 13, se muestra un diagrama que ilustra los componentes de un HMD 102 , de acuerdo con una realización de esta divulgación.

¿Que es el HMD 102? Pues el HMD avanzado…

El HMD 102 incluye un procesador 1300 para ejecutar las instrucciones del programa. Se proporciona una memoria 1302 para fines de almacenamiento, y puede incluir tanto memoria volátil como no volátil.

Es decir, la unidad HMD podría tener un SoC completo, por lo que daría la capacidad no solo de ser un accesorio de PlayStation 5 sino también un sistema en si mismo, completamente independiente al estilo Oculus Quest

Este concepto queda claro con lo siguiente que se dice más abajo en la misma patente:

Se proporciona un lector de tarjetas 1328 para permitir que el HMD 102 lea y escriba información hacia y desde una tarjeta de memoria.

Es decir, que Sony podría vender juegos aparte para su PlayStation VR 2 y que fuesen ejecutados por la propia unidad HMD convirtiendo a esta en una consola en si misma y como he dicho en el mismo concepto que el Oculus Quest pero con distribución de juegos en formato físico, lo que permitiría reducir costes de cara al almacenamiento interno.

Pero obviamente tambíen funcionaría como unidad HMD de PS5.

Una entrada de video 1344 está configurada para recibir una señal de video desde una computadora de procesamiento primaria (por ejemplo, la consola de juegos principal) para renderizar en el HMD. En algunas implementaciones, la entrada de video es una entrada HDMI.

No creo que Sony utilice una entrada HDMI sino que utilizará un USB-C con Display Port integrado.

Lo cual esta mencionado en la lista de dispositivos del SoC Ariel que es el de PS5… Como ya he comentado muchas veces.

El USB-C utiliza 4 nodos de conexión, dos de envió y dos recepción de datos..

Se puede utilizar de 3 maneras distintas, como un puerto USB 3.1 en exclusiva, como un puerto mixto o como un puerto Display Port puro y duro y por tanto como una salida de video.

Si utilizas solo 2 nodos entonces para el Display Port entonces tienes para 4K30hz o 1080p120hz… Lo cual no es mejor resolución que el PlayStation VR, si utilizas los 4 nodos entonces… puedes alcanzar los 4K60hz, esto significa que en modo conectado el PS VR2 como mucho podrá duplicar la resolución del PS VR original, es decir, una resolución de 2715×1527 pixeles, la cual es bastante extraña ya que no es divisible por 8 que es la norma general, por lo que la resolución más cercana serían los 2688×1512 o si se quiere apurar a una resolución más típica entonces los 2560×1440 pueden ser también una buena resolución que curiosamente es la misma que la del Oculus Rift S, el cual también utilizada un método de Inside-Out para el tracking con un montón de cámaras para dicha función.

Si volvemos al HMD de Sony nos llama la atención la enorme cantidad de cámaras que tiene, tanto delanteras como traseras para dar una visión de 360º del entorno a la hora de hacer el tracking. Aunque no nos han dicho que tipo de cámaras utilizarán, lo más seguro es que utilicen cámaras del tipo ToF (Tiempo de Vuelo) que ya en 2019 Sony esta ofreciendo a varios fabricantes de smartphones y son ideales para hacer el tracking y el mapeo de la sala.

El concepto de estás cámaras es el mismo que el Kinect V2 de Xbox One pero con un consumo y tamaño minúsculos., proyectan luz infrarroja sobre la escena y toman constancia del impacto de la luz sobre los objetos para tener un mapa 3D y por tanto de profundidad del lugar donde estamos.

La idea con el tracking Inside-Out es que el usuario es el punto (0.0.0) en el eje de coordenadas tridimensional por lo que es el punto de referencia. Esto nos permite realizar un mapa preciso a 360º del entorno y que la unidad VR tenga constancia de los objetos en el entorno para impedir que durante el movimiento por la sala el jugador se choque contra los objetos y dado que jugaremos en una sala que tendrá pocos cambios cada vez (supuestamente) entonces la unidad VR aprenderá la disposición de la sala de cara a evitar percances cuando nos movamos libremente.

¿Pero como se genera ese espacio tridimensional? Para ello tenemos que entrar a un tipo de renderizado llamado Volume Rendering…

En visualización científica y gráficos por computador, la «renderización de volúmenes» o Volume rendering en inglés es un conjunto de técnicas usadas para mostrar una proyección 2D (en la pantalla de visualización) de un conjunto de datos discretamente muestreados en 3D.

Típicamente un conjunto de datos 3D puede verse como un grupo de rebanadas 2D tomadas por una tomografía axial computarizada, una resonancia magnética nuclear o un escáner MicroCT. Normalmente son obtenidas de forma regular (como por ejemplo una rebanada por milímetro) además de tener un número regular de píxeles en un patrón regular. Este es un ejemplo de un volumen regular, donde cada elemento del volumen, o voxel, está representado por un único valor que es obtenido mediante muestreo del área intermedia que rodea el voxel.

Como a través de la cámara del HMD tenemos una visión tridimensional en 360º podemos crear un mapa de voxeles de la escena de manera inmediata que podemos almacenar en algún tipo de estructura de datos espacial, ya sea un Octree, un KD-Tree e incluso un BVH.

¿Pero de donde y como obtiene la cámara los datos?

Utilizando un Codec multicámara y con capacidad de almacenar el búfer de profundidad aparte del de color, este codec existe es el 3D-HEVC, el cual es un estándar que va perfecto para estos casos.

No es más que una versión del HEVC con multicámara y con un búfer de profundidad por cada imagen, pensad que el HEVC es una evolución respecto al H.264 y obtiene la misma calidad de imagen que el H.264 con la mitad de bitrate pero en este caso nos interesa por la enorme compresión de datos que tiene y que permite el rápido envió de los datos al sistema que tiene que interpretar la imagen en menos tiempo.

Para captar las diferentes imagenes lo más seguro es que Sony utilice su sensor DepthSense imx556plr cuyas especificaciones son las siguientes:

El sistema es una versión en miniatura pero sin menor capacidad de lo que era el Kinect V2, sino mayor ya que comparativamente la resolución de la cámara de profundidad… Es decir, 640×480 a 60fps contra 512×384 a 30fps.

Volviendo a la patente del principio, uno se puede preguntar si el tracking para VR con una cámara de 60hz es el adecuado.

El problema de realizar tracking con cámaras nos viene a la cabeza si tenemos en cuenta que el tiempo de captura es de 16.6 ms en el caso de las cámaras a 60hz, la PS Camera del PS VR puede funcionar creo que hasta 240hz a una resolución pauperrima pero dicha frecuencia no entra en conflicto con el concepto de motion-to-photon.

El cual ha de ser de <20ms, Sony concretamente en el PSVR se planteo unos 18ms… ¿Pero si la cámara necesita 16ms para captar solo la imagen entonces es inviable… ¿Existe otra solución? La propia patente nos explica como las cámaras y los sensores de inercia se combinan.

En algunas implementaciones, los sensores de inercia del HMD 102 pueden tener mejores capacidades para detectar movimiento que la cámara 108. Por ejemplo, los sensores de inercia pueden ser sensibles a movimientos más pequeños que la cámara 108, ya que la cámara puede estar limitada por su resolución ( Por ejemplo, resoluciones de 720p o 1080p en algunas implementaciones). Además, las frecuencias de muestreo de los sensores de inercia pueden ser significativamente más altas que la frecuencia de cuadros de la cámara. Por ejemplo, la cámara puede tener una frecuencia de cuadro de aproximadamente 60, 120 o 240 Hz, mientras que los sensores inerciales pueden tener frecuencias de muestreo de más de 1000 Hz. Además, la cámara puede requerir un mayor tiempo de procesamiento (por ejemplo, para analizar imágenes capturadas) para determinar la ubicación y / o movimiento. Por lo tanto, los sensores de inercia pueden ser más sensibles al movimiento con una respuesta transitoria más rápida que la cámara 108.

Sin embargo, los sensores de inercia que detectan el movimiento relativo pueden ser propensos a efectos de deriva con el tiempo y, por lo tanto, no se confía exclusivamente en ellos para proporcionar determinaciones de la ubicación de HMD. Mientras que la cámara 108 es más adecuada para proporcionar determinaciones precisas de la ubicación del HMD, ya que los objetos fijos en el entorno local pueden servir como anclajes para determinar la ubicación del HMD dentro del entorno local.

Es decir, no necesitamos que la cámara haga interpretación de donde nos encontramos en cada fotograma sino que sirve para calibrar con el tiempo los sensores de inercia. ¿Y que son esos sensores? Pues nada en especial realmente…

El HMD incluye varios sensores de inercia 1038, por ejemplo, uno o más acelerómetros 1040, giroscopios 1042 y magnetómetros.

Es decir, no necesitamos mapear en cada fotograma la sala, en el caso de que tengamos el HMD conectado con cable es obvio que no nos moveremo muy lejos de toda esta la consola, es que casi no no moveremos por lo que con un mapeo de la sala cada x tiempo es suficiente incluso si jugamos con la unidad HMD como sistema independiente en si mismo, pero nos falta un modo a comentar en esta rapida entrada.

Para terminar ¿Os acordáis del Paper Yukon de Microsoft y las dichosas Fortaleza? Si, esas gafas de Realidad Aumentada inalámbricas.

Con el fiasco del Kinect V2, Fortaleza se convirtió en las Hololens pero el concepto de la Realidad Aumentada sin cables y para juegos podríamos verla en alguno titulo del PlayStation VR 2.

Diagrama de una de las patentes del fallido Fortaleza

Se que a muchos el concepto dadas ciertas experiencias previas os puede parecer sinceramente digno de rechazo. Pero en la entrada solo os estoy explicando las posibilidades de lo que podemos ver y los usos que puede tener, nos queda un cuarto caso y comentar lo del mando, pero lo dejo para otra entrada… Que si no se os hará eterno.

Esto es todo, como siempre tenéis el Discord y los comentarios de la misma entrada para comentar el contenido de la misma.