Recientemente ha aparecido una patente de AMD relacionada con la Realidad Virtual Inalámbrica.

El dibujo de la patente es lo suficientemente claro como para tener que dar una explicación compleja y el funcionamiento viene a ser muy simple, el sistema emisor que puede ser un PC o una consola codifica el búfer y lo envía a través de un emisor a la unidad HMD/Gafas VR que descodificacán y muestran la imagen.

La patente nos habla del protocolo 802.11ad como mecanismo de transmisión de la información entre el sistema base y la unidad HMD. Dicho protocolo tiene el nombre de WiGig y se basa en comunicaciones inalámbricas muy cercanas con una frecuencia muy alta (60Ghz) pero con la incapacidad de llegar mucho más allá de unos cuantos metros en lo que a comunicación se refiere. En realidad esto no es nada nuevo desde el momento en que el adaptador inalámbrico del HTC Vive utiliza la misma tecnología de comunicación.

La particularidad del dispositivo de AMD es que además serviría para tracking outside-in, es decir, para saber en que posición se encuentra la unidad HMD respecto al emisor.

Esto es lo que es interesante de la patente, en ella podemos leer lo siguiente:

En una aplicación, el emisor esta configurado para operar en primer modo para mapear el entorno (por ejemplo una habitación), el cual contiene el transmisor y el receptor. Cuando opera en el primer modo, el transmisor genera radiación a frecuencias de 30 a 300Ghz que corresponden a anchuras de onda milimetrales (de 1 cm a 1 mm). Esto permite crear rayos estrechos que van a permitir localizar los objetos en el entorno, permitiendo que mapas de alta resolución y/o imagenes del entorno sean generados.

Pensad en ello como una especie de Kinect o PlayStation Camera pero mucho más avanzado. El funcionamiento es casi el mismo solo que en vez de mapear un entorno virtual lo que hace es mapear un entorno real, esto sirve además para que en aplicación de realidad aumentada el receptor vea los objetos virtuales a una distancia y angulo adecuados.

Por otro lado tenemos una patente de Sony Interactive donde se habla, bueno, de lo mismo.

En la patente de Sony no se nos describe el mapeado de la estancia al contrario de la de AMD pero si que se nos habla de la transmisión inalámbrica al HMD.

Un transmisor 110 es configurado para transmitir audio y video desde el video juego al HMD para ser renderizado en este último. El transmisor 110 incluye un transmisor para la transmisión inalámbrica de datos al HMD 102 y viceversa.

El hecho que la unidad HMD también se comunique con la unidad Tx/Rx no significa que envia también información en forma de imagen siempre como las capturadas por sus cámaras frontales, también envia otro tipo de información.

En algunas implementaciones, la transmisión de los datos de feedback ocurren en una frecuencia separada que las utilizadas para la transmisión inalábrica de datos de video. Por ejemplo, los datos de video se pueden transmitir al HMD en una frecuencia de 50 Ghz mientras que los datos de Feecback se pueden tranmitr en otra frecuencia distinta, por ejemplo de 2.4 o Ghz.

Datos de Feedback son los datos captados por los sensores de movimiento, las pulsaciones de botón en un mando concreto, la información captada por los sensores biométricos… La unidad Tx/Rx por otro lado se encontraría fuera de la consola principal al igual que la cámara, que en el caso que nos ocupa sería la unidad encargada de mapear el entorno.

No se encuentra todo lo que tendriamos en la PS5 por un lado y en PS VR2 por otro, pero en la parte de la consola hay una serie de elementos cuanto menos inéditos que merece la pena analizar y dichos elementos diría que son elementos de hardware incluidos en el SoC principal de la consola.

La camara 108 esta configurada para capturar imagenes del entorno real interactivo en el que el usuario opera el HMD. Las imagenes capturada por la camara 108 son procesadas por el image analyzer 1002.

En la patente de AMD esto no esta nombrado pero si en la de Sony, no tiene nada que ver con el emisor/transmisor y no creo que la cámara sea la misma que la actual PS Camera, Sony ha hecho uno cuantos avances importantes en cuanto a cámaras del tipo ToF (Time of Flight) y de esto ya os hable en su día en una entrada, os hago referencia para no desviarme.

Aunque es posible que Sony no actualice la cámara y se continue utilizando la PlayStation Camera para ello pero apoyada por hardware adicional a nivel del SoC/MCM.

El Tracking Logic 1004 esta configurado para analizar, identificar y/o cuantificar la localización, orientacion y/o movimiento del HMD. Para este fin el location analyzer 1006 esta configurado para determinar la localización del HMD basado en el sensor inercial y los datos de imagen capturados. Un orientation analyzer 1006 esta configurado para determinar la orientación del HMD basandose en los datos del sensor de inercia y los datos de imagen capturados. Un motion analyzer esta configurado para determinar el movimiento del HMD basandose en los datos del sensor de inercia y los datos de imagen capturados.

¿Os acordáis cuando os comente que Sony iba a colocar el NVDLA en el SoC o MCM de PS5 hace unos meses? El Nvidia Deep Learning Accelerator es una unidad que se encuentra en el Tegra Xavier… Si me permitís voy a citar parte de la entrada de hace unos meses.

De los 350mm^2 que mide el Tegra Xavier (bajo un proceso derivado de los 16FF de TSMC) la unidad DLA ocupa un porcentaje pequeño.

En realidad solo unos 22mm^2 en total por lo que es menos del 10% y en un proceso más avanzado ocuparía mucho menos. ¿Pero cual es su capacidad de calculo? Pues no es precisamente baja y nos solventaría el problema del tracking a través de la cámara frontal.

El NVDLA fue adoptado hace unos meses por ARM… Aquí teneis un extracto de la noticia para que veais que no es imposible que AMD licencie para sus clientes el DLA de Nvidia y lo ponga hipoteticamente en PS5 (Y Xbox Scarlett).

Hace unas semanas, cubrimos el anuncio de ARM de que se entregaría un conjunto de IP de hardware AI para Deep Learning, llamado Proyecto Trillium. ARM anunció en ese momento que la IP de terceros podría integrarse con la plataforma Trillium, y ahora ARM y NVIDIA se han unido para hacer precisamente eso.

Específicamente, las dos compañías integrarán la IP de NVIDIA para la aceleración de las redes neuronales convolucionales (CNN), el pan y la mantequilla para el procesamiento de imágenes y los sistemas guiados visualmente, como vehículos y drones. Sin mucha fanfarria, el Deep Learning Accelerator (NVDLA) de NVIDIA fue de código abierto el otoño pasado, otorgando licencias gratuitas de Propiedad Intelectual (IP) a cualquiera que desee construir un chip que use CNN para aplicaciones de inferencia (inferencia, para aquellos que no están familiarizados, es el procesamiento de una red neuronal entrenada). El sonido de llanto que está escuchando en todo el mundo es probablemente un grupo de nuevas empresas bien financiadas y sus inversionistas que pensaron que una docena de personas en un garaje podrían superar a NVIDIA en lo que respecta a los chips aceleradores de las CNN.

Esto le ahorra a AMD tener que hacer su propia unidad y adelantar el desarrollo a cambio de que Nvidia se lleve una pequeña regalia por chip. ¿Tecnología de Nvidia en un chip de AMD? Parece paradojico pero en esto tiempos la tecnología de unos esta en otros y viceversa. ¿Y por que no utilizar la GPU para ello? Pues porque es menos eficiente y aunque tuviesemos una configuración tipo Tensor Core eso sería a base de sacrificar potencia de la GPU en el renderizado de la escena y el uso del NVDLA es más eficiente al ser una unidad que funcionaría en paralelo como un acelerador más y hemos de tener en cuenta que Nvidia lo licencia para poderse aplicar en cualquier SoC o MCM, aunque no tiene porque acabar siendo la unidad de Nvidia diría que es la que tiene más números de estar en PS5 para esta tarea por el hecho que su implementación es abierta y desconocemos la de AMD.

¿Es posible que el transmisor 110 de la patente de Sony y el de la patente de AMD se traten del mismo dispositivo? Es posible, pero se ha de tener en cuenta que la función de mapear la estancia no aparece mencionada en la patente de Sony. No obstante tanto el mapeo de la estancia a través de «rayos estrechos» como de una cámara van a necesitar de unidades de aceleración para interpretar la imagen de la misma naturaleza. Antes he comentado que Sony podría licenciar la unidad DLA de Nvidia pero es posible también que veamos una unidad de AMD para esta tarea integrada como acelerador en las GPUs a partir de Navi en PC y en las consolas next gen, aunque de momento dicha información no ha trascendido.

Volviendo a la patente de Sony…

La Prediction Logic 1018 utiliza un modelo para predecir la futura localización o el movimiento del HMD 102 basandose en varios datos de entrada (inputs) como las mencionadas localización, orientación y movimiento del HMD 102. En algunas implementaciones utiliza inputs adicionales como la configuración del uuario o la información de la aplicación interactiva. por ejemplo, la aplicación interactiva 1016 puede proveer información acerca de la posición o movimientos esperados del HMD basandose en el estado actual de la aplicación interactiva.

El Prediction Logic puede formar también parte de la unidad DLA dentro del SoC o MCM.

Un beamforming processor 1020 esta configurado para determinar los patrones del beamforming y los ajustes, basandose en las localizaciones y/o movimientos del HMD previstos. Un direction procesing moduelo 1022 esta configurado ara determinar la dirección del beamforming y los ajutes para ello del transmisor 110. Un pread processing module esta configurado para determinar la propagación angular y los ajustes del transmisor 110. Los parametros para el beamforming actualizados son comunicados por el controlador 1028 al transmisor 110, el cual afecta los ajustes de los parametros del transmisor como la actualización de la dirección del beamforming a una dirección actualizada y/o la actualización de la propagación angular.

En este caso nos encontramos ante otro tipo de acelerador cuya tarea se basa en controlar el transmisor para que pueda enviar de manera directa la información, si el beamforming os suena a chino os dire que forma parte del estandar 802.11ad/WiGig y con una simple diapositiva lo entenderéis.

Ambas unidades se encontrarían como aceleradores conectados al Northbridge de la consola junto al adaptador de pantalla, el codificador y descodificador de video, los DSP para el audio… Es posible además, que dado que el interés que ha demostrado Microsoft en la VR en Xbox, cercano a cero, que este tipo de aceleradores los veamos solo en el hardware de PS5 y sean uno de los elementos diferenciales entre esta y Scarlet.

En cuanto a la caja de transmisor, pienso que va a ser algo aparte y que va a ir conectada al puerto USB-C que hemos visto mencionado en la lista de dispositivos Ariel (PS5) como dispositivo 13ed.

El HMD cuando se quiera utilizar en modo no-inalámbrico se conecta directamente a través de un cable USB-C+DP a la consola utilizando dicha conexión, en modo inalámbrico se conectará el transmisor 110 descrito en la patente de Sony a dicho puerto USB-C+DP. No sabemos si Sony va a incluir el transmisor inalámbrico de serie con el PS VR2 o se va a vender como un accesorio aparte.

Con esto termino, como siempre tenéis los comentario de la entrada y el Discord para dar vuestra opinión.