Comentario Original:

El seguimiento ocular no es para el foveated dinamico, es para algo mucho mas importante

El enfoque fijo cansa la vista porque los ojos intentan enfocar en eje de profundidad. El foveated solo sirve para ahorrar resolución pero bajas los gráficos y consigues el mismo ahorro

Sinceramente no es algo que yo vaya a discutir pero me ha parecido interesante destacarlo

Realmente desconocia ese detalle… Ahora llamame tonto o desinformado pero lo claro es que el Eye Tracking y el Foveated Rendering lo vamos a ver en las PS VR 2 si es que el producto final corresponde con lo visto en las patentes de Sony que son bastante coherentes en general y repiten una y otra vez la existencia de una nueva unidad de las PS VR con una serie de especificaciones concreta que he ido comentando aquí y cuyo diseño final no sería muy diferente a esto:

Los que seguís el blog normalmente sabréis que he comentado varias veces los más que posibles cambio de la siguiente generación de las PlayStation VR, entre los cuales vamos a encontrar lo siguiente:

  • Dispondra de cámaras tanto IR como RGB en el mismo dispositivo para el tracking inside-out como para las aplicaciones de realidad aumentada.
  • Dispondra de mecanismos de seguimiento ocular.
  • Auriculares integrados.
  • Capacidad para funcionar de manera inalámbrica, es decir, sin tener la propia unidad HMD conectada a la consola o una caja intermedia a través de un cable otorgando una completa libertad de movimientos.

Por otro lado de manera complementaria a los sistemas de tracking del propio HMD vamos a ver mecanismos de tracking como el que comente en la entrada anterior sobre el tema como es la pulsera para el tracking de las manos y la integración de lo que podríamos llamar una nueva versión de la PlayStation Camera con especificaciones igual o más avanzadas dentro de la propia consola.

En esta entrada voy a complementar la información que nos falta respecto a la segunda generación de las PlayStation VR que vamos a ver junto a PlayStation 5. Dicha información como siempre la voy a sacar de patentes de la propia Sony para que tengáis una idea más aproximada de lo que vamos a ver. En primer lugar vamos a hablar de una patente asociada tanto a Sony en general como a Sony Interactive Entertainment.

Se refiere basicamente se refiere a algo que ya hemos visto en otros productos, el uso de cámaras IR para hacer una fotografia 3D (con profundidad) para ser interprada por un procesador dedicado al Machine Learning, esto ya lo comente como una posibilidad y la integración de una cámara como la de los iPhone X en adelante, que no deja de ser un Kinect reducido de tamaño en la consola era una posibilidad no tan imposible.

El Procesador para el Machine Learning sería uno de esos Neural Processors que están apariendo ahora en los SoC de lo smartphones. La descripción habla de que con el Machine Learning se necesita menos resolución para interpretar las imagenes y esto es importante de cara a la VR donde el tiempo es limitado dado que tenemos como limitación el tiempo de fotón y para conseguir esa velocidad se necesita trabajar con resoluciones muy bajas. Ahora bien, la patente es general tanto para Sony como para Sony Interactive Entertainment.

Precisamente hace unas horas ha aparecido la siguiente noticia:

Los módulos de cámara 3D de Sony recibieron un aumento en la producción en Asia después de una reciente explosión de interés por parte de las marcas de teléfonos inteligentes. Marcas como Apple y Samsung presentarán el módulo de cámara 3D de Sony de una forma u otra, según afirman fuentes de la industria que desean permanecer en el anonimato. El director de la división de sensores de Sony, Satoshi Yoshihara, sugirió que los chips de Sony alimentarán las cámaras 3D de varias marcas de teléfonos inteligentes en 2019.

Los principales usos de los chips de Sony para la detección 3D incluyen el desbloqueo de teléfonos a través del reconocimiento facial y la toma de fotografías enfocadas a gran velocidad. Con los sensores y las cámaras 3D de Sony, los usuarios pueden medir la profundidad en un instante, incluso en la oscuridad, para permitir que las fotos se tomen con más precisión y en más entornos que nunca. El método de acción de Sony aquí es ToF – Time of Flight, una característica que se destacará en los nombres más importantes de los teléfonos inteligentes a lo largo de 2019.

«Las cámaras revolucionaron los teléfonos y, según lo que he visto, tengo la misma expectativa para el 3D», dijo Yoshihara en un informe esta semana. «El ritmo variará según el campo, pero definitivamente vamos a ver la adopción de 3D. Estoy seguro de eso «.

La mención de la tecnología Time of Flight es interesante porque es mencionada en la patente. La noticia nos da alguno ejemplos de tecnologías de Sony ya disponibles que no tienen porque ser las cámaras que veremos integradas en la PlayStation Camera y la PSVR2.

La tecnología Time of Flight tiene una distancia de trabajo que es escalable con la fuente de luz con la que está trabajando. La precisión de la profundidad no es tan alta como el uso de luz estructurada, pero es mucho más pequeña que las soluciones de luz estructurada y no necesita calibración en el campo. Las soluciones de tiempo de vuelo proporcionan mapas de profundidad de resolución completa, sin importar el tema, y los costos están en algún lugar entre la visión estéreo (lo que la mayoría de los teléfonos usan hoy en día) y las soluciones de luz de estructura.

Un ejemplo de uno de los primeros sensores compatibles con Sony DepthSense es el sensor Sony IMX556PLR CMOS. Esta tecnología es de 8 mm en tamaño (1/2 tipo) en diagonal, y tiene un tamaño de resolución VGA (640 x 480), con píxeles de 10 x 10 um en tamaño. La velocidad máxima de fotogramas para este sensor es de 60 fps a resolución completa.

ARRIBA Y ABAJO: Imágenes y texto compartidos por Sony sobre dispositivos Sony DepthSense para dispositivos móviles, pero que aún no han sido lanzados en los principales productos de consumo.

Esto es en referencia a la cámara, nos queda el otro punto que es el del Machine Learning, la patente es sumamente clara sobre ello.

El mismo principio que es utilizado para eliminar el ruido en el raytracing híbrido, mejorar la resolución de imagenes a baja resolución… Se utiliza aquí para poder capturar a muy baja resolución a interpretar la imagen permitiendo un tiempo de captura realmente bajo sin perdida de calidad en la imagen capturada. Tened en cuenta que desde el momento en que vamos a ver en PlayStation 5 tanto el método de tracking outside-in (con la cámara integrada en la unidad principal de la consola) como el inside-out con las cámaras integradas en el HMD esta tecnología va a estar en ambos dispositivos.

Otra patente relacionada que no deja de ser una evolución de la actual es la siguiente:

La unica diferencia es esta figura que vemos, su funcionalidad esta resumida en la siguiente parte de la segunda patente:

Con esto tenemos definida de manera sencilla la cámara que se van a montar de cara al tracking de movimientos en la VR. El siguiente punto relacionado con las cámaras 3D y especialmente con las cámaras montadas en las unidades HMD es el formato de video 3D-HEVC. El cual no es otra cosa que HEVC con un mapa de profundidad, esto es importante porque permite enviar las imagenes capturadas por las cámaras de manera comprimidas a gran velocidad incluyendo el mapa de profundidad de la imagen.

Dado que muy posiblemente vamos a ver la unidad HMD siendo inalambrica de serie o con algun accesorio el uso de codificación y descodificación 3D-HEVC podría ser una posibilidad ya que necesitamos una reducción importante del bitrate para poder transmitir de manera inalámbrica lo más rápido posible la imagen capturada para ser procesada por el procesador de la consola ya que tenéis que entender que el PS VR 2 será en si mismo un accesorio más de la consola y no creo que Sony se plantee el PSVR2 como un elemento independiente.

El segundo elemento es la pantalla, por lo muy poco que se y esto es algo que no tengo una fuente para demostrarlo, pasaremos de tener una pantalla de 1920×1080 (960×1080 por ojo) a una de 2880×1440 o dos de 1440×1440 cada una (en ambos casos 1440×1440 por ojo). Esto resultaría en un salto 2X en cuanto a la cantidad de pixeles procesados respecto a la PS VR original y esto sin contar cosas como el Foveated Rendering que reducen enormemente la carga gráfica.

l mercado de masas y no estaríamos hablando de una tecnología venida del lejano futuro con pantallas a 4K en la propia unidad HMD.

Dejemos por un momento elementos como el Foveated Rendering y hablemos del potencial aumento de la calidad de imagen en la nueva unidad. Lo que más se le parece en el mercado a la potencial PS VR 2 en cuanto a tamaño de pantalla es el Oculus Go ya que tanto el primer PlayStation VR como el Go tienen una pantalla de 5.5 pulgadas aproximadamente y la idea es que dado el tamaño de la pantalla y la resolución cercana la calidad de imagen en tiene que ser muy pareja dado que la densidad seria muy cercana en las Go respecto a las aún no anunciadas oficialmente PS VR 2.

Hemos de tener en cuenta que una de las premisas minimas que vamos a ver en PlayStation 5 es el hecho de reproducir juegos de PlayStation 4 a 4K nativo sin trucos como el Checkerboard Renderingpor lo que hablamos como mínimo de 4X la potencia en todo a nivel de GPU respecto a la PlayStation 4 original y eso sin contar el salto que veremos en cuanto a CPU.

Esto trasladado a la VR significa sin contar con optimizaciones como el Foveated Rendering que los juegos para PlayStation VR que necesitaban la re-proyección van a poder ir a 120hz nativos con la re-proyección y al doble de resolución en pixeles como hemos visto antes, y dado que todo apunta a que PS5 va a ser retrocompatible y va a llevar la cámara integrada es posible que sea capaz de reproducir sin problemas los juegos y aplicaciones de la actual PlayStation VR a más resolución y tasa de refresco y sin problemas utilizando la nueva unidad HMD.

Por otro lado no creo que Sony retire del mercado el PS VR actual y se va a ofrecer como una unidad HMD de bajo coste al mercado. En todo caso no hay duda que los juegos de la actual PS VR podrían correr sin problemas todo a 120hz, frecuencia que la pantalla de las PS VR actuales en el mercado alcanza sin problemas.

El nuevo PS VR será lanzado para lo que será la PlayStation 5 y obviamente no será compatible con los modelos de PlayStation actuales, pero con el actual pasará a la inversa y se podrá utilizar en la nueva consola, es más, va a ser necesario para que los actuales juegos del actual PlayStation VR funcionen en PS5 en modo de retrocompatibilidad con PS4. No debemos olvidar que con toda la tecnología que traera consigo la PS VR 2 que hemos ido viendo en varias entradas y en este que no estamos ante un accesorio barato y/o accesible de entrada al gran público, por eso la unidad actual como unidad de bajo coste es una solución extremadamente viable.

Por último nos queda la comunicación inalámbrica, Sony va a permitir comunicación inalambrica utilizando el actual PlayStation VR… ¿Como? Pues muy simple, con un dispositivo que podra recibir la información comprimida via inalambricamente desde la consola, el cual será llevado por el usuario, dicho dispositivo estara conectado al PS VR a través de un cable HDMI y le enviará a este las imagenes al PS VR a través de dicho cable, el dispositivo va a ser la evolución de la caja que viene con el actual PlayStation VR pero se va a vender aparte.

En cuanto a la conectividad con cable, la caja no va a ser necesaria en PS5 porque la funcionalidad de la misma ya vendra integrada dentro de la propia consola. En ambos dispositivos lo que es el codificador/descodificador 3D-HEVC no estarían en las gafas, en el caso de la PS VR es una obviedad, pero en el HMD de segunda generación cuando lo compremo seguira funcionando por cable a no ser que compremos este accesorio aparte, la idea es la misma que el Wireless Adapter del HTC Vive.

Y con esto termino, ya sabéis que tenéis el Discord y lo comentarios de esta entrada para comentar lo escrito.