En varias de las entradas de este blog os he comentado por activa y por pasiva como la siguiente iteración del PlayStation VR iba a tener integrado de serie lo que llamamos Eye Tracking. El concepto no es otro que hacer seguimiento de los ojos del usuario para saber cual es su desplazamiento y ajustar el movimiento de la cámara del juego al movimiento de los ojos del usuario con tal de reducir enormemente el efecto de mareo.

Pues bien, la semana pasada aparecio una patente donde por fin se puede ver como Sony «revelo» una nueva unidad HMD. Su dibujo principal es el siguiente y me gustaría que de entrada os fijaseis en un detalle:

agtT1z1tJXd-U2NGZqT_tgYUupcZPwQIfLnYPm10SQySBXp1OUf5ek2Y1LotcVu-haUnDmIsOQesOuxygTXcdd8IRLbYRuaJywWC3J2p5OzOoMZDr2rSKnE7MAdwFpSJ6LKnBo-kefxW-LjdoVlSTCbcLFDtA8BE01Wr99LQQFun0OpyQl741qNgrrw8hJkE.png

Tenemos una antena marcada como 125 y la descripción a lenguaje plano dice lo siguiente:

 The HMD 100 is also illustrated having an antenna 125. This is one example of a wireless communication interface used by the HMD 100.

Se ilustra como el HMD 100 tiene una antena 125. Esto es un ejemplo de la interfaz d comunicaciones inalámbricas utilizadas por el HMD 100. Dicha interfaz del HMD 100 puede ser utilizada para comunicarse con los sensores de salud (biométricos) 110 y/o uno o más microfonos 150. La interfaz de comunicación inalámbrica del HMD 100 puedeser utilizada para comunicarse con otros dispositivos que el usuario del HMD 100 este controlando o simplemente recibir datos visuales y auditivos de… cualquier tipo de sistema de computación 600.

Es decir, Sony estaría buscando un HMD portátil con comunicación WiFi y Bluetooth, la comunicación Bluetooth ya la tiene el actual PS VR por lo que no sería una novedad sería la comunicación con los sensores biométricos. El hecho de que sea inalámbrico supone que tiene que haber un tiempo de codificación en la consola y un tiempo de descodificación en el dispositivo HMD. Las GPUs que saldrán este año y el que viene podrán codificar/descodificar video a 8K60, esto son 4K120, 1080P480 y por tanto en algo más de 4ms hacer la codificación y descodificación, pero también significa la inclusión de un SoC en el HMD y el hecho que se va a necesitar una máquina más potente que la actual PS4 para poder renderizar mucho más rapido.

En fin, sigamos.

Sony-_Patent-_New-1-1000x551-nwaplplr60xab5ncvtdjrjauc9k843oawxutiOs comente no hace mucho que el Eye Tracking se haría con pequeñas cámaras al estilo de la camara de la New 3DS. En la patente están marcadas con el número 230,

Las cámaras de seguimiento de los ojos 230 pueen ser cámaras de luz visible, de visión noctura o de infrarrojos.

Por otro lado, la patente descarta por completo el uso de Realidad Aumentada, no obstante el tracking ha sido mejorado a través del elemento 155 que son los llamados sensores de orientación. Es decir, nos encontrariamos con la implementación de un sistema de tracking inside-out tipico de las unidades HMD inalámbricas de bajo coste pero no sabemos si el sistema va a estar combinado con un mecanismo outside-in para mayor precisión del seguimiento de la posición del usuario.

Inside_out_vs._outside_in_tracking

Es decir, no sabemos si vamos a ver de nuevo una cámara conectada a nuestra consola para hacer tracking como ocurre en el modelo actual del PS VR pero teniendo en cuenta que vamos a ver compatibilidad hacía atrás lo doy por válido, es más, otro de los elementos que podemos ver en PS5 es algo que a muchos os pondra en modo…

tenor (1).gif

Teniendo en cuenta que la unidad HMD será inalámbrica y que el equipo que trabaja en los PSVR es el mismo que el de los Eye Toy en su día preparos para ver el retorno del concepto «Kinect» pero esta vez con una unidad HMD en el jugador.

KinectGaming

¿Pero es esto viable en la VR? Precisamente hay un tipo de unidad de procesamiento que acelera enormemente este tipo de aplicaciones. AMD aún no lo ha incluido en sus GPUs pero en el caso de Nvidia hace ya un par de años que los ha integrado en sus GPUs, estoy hablando de los Tensor Cores, los cuales pueden acelerar enormemente aplicaciones de este tipo hasta el punto de hacerlo casi una orden de magnitud mucho más rápido. Esto se traduciría en que muy posiblemente por fin el tracking del cuerpo via cámara se hará de la manera correcta o al menos se ganara una precisión enorme en comparación con lo visto con anterioridad, es decir, con el Input Lag cuasi eliminado (no del todo porque es imposible eliminarlo del todo).

Precisamente la estandarización de este tipo de unidades se ira haciendo durante los años venideros en PC y los juegos las van a utilizar. Dudo mucho que AMD haya decidido dejar de lado en futuras iteraciones de sus GPUs este tipo de unidades que no son más que ALUs capaces de sumar(restar) y mulplicar matrices en un solo ciclo en vez de hacerlo en varios.

tensor-core

Pero AMD lo hará de una manera un tanto distinta a Nvidia ;), aunque la funcionalidad y el objetivo serán el mismo. En PC es una tecnología tan nueva y recien lanzada (a nivel doméstico con la serie 2000 de Nvidia) que a muchos les parece algo complejo y alienígena, pero su implementación tiene mucho sentido, no solo para el tracking corporal sino porque son sumamente eficientes en otras tareas en concreto. Aunque donde son sumamente utiles es en efectos de post-procesado que son los que se aplican en el fotograma final. En realidad un conjunto de efectos de post-procesado que ahora se hacén via Compute Shaders van a ser trasladados a los «Tensor Cores» que recordemos que no son otra cosa que ALUs matriciales en vez de escalares o vectoriales.

Por el momento es pronto para confirmar nada al 100% pero la patente del HMD inalámbrico con Eye Tracking nos permite hacernos a una idea más concreta de lo que nos podemos encontrar. Por cierto y para terminar, el dispositivo por lo visto llevará un microfono lo que implica que esta unidad llevara altavoces integrados.

Y con esto termino, ya sabéis que tenéis los comentarios y el Discord del blog para comentar.