Sony explica el funcionamiento del reconocimiento facial y del procesador de fotos
Una de las aplicaciones que se mostraron fué el avatar ligado al reconocimiento facial.
Sony Computer Entertainment ha mostrado su reconocimiento facial y el procesador de fotos para la PlayStation Eye durante la Yokohama-based 2009 CESA Developers Conference (CEDEC).
El procesador de fotos, en general puede ser usado para retocar y editar una foto como en el Photoshop. Sin embargo, en los videojuegos, se utilizará para encontrar ciertas características en una foto.
En la demostración se mostró un primer plano de una flor roja en un campo abierto. Usando filtros de convolución, mostraron cómo una imagen puede ser suavizada, enfocada o se pueden marcar sus bordes, mientras que con un filtro pirámidal reducieron el «ruido» de la imagen. También mostraron tres imágenes y cuando coinciden las dos que son idénticas, la pantalla se vuelve toda negra dando un valor de 0.
Todo lo comentado anteriormente puede ser utilizado en imágenes en movimiento. Imáginate una secuencia de fotos como fotogramas de cada fracción de un segundo. Si las ponemos en movimiento, las partes diferentes aperecerían en pantalla, mientras que las iguales serían de color negro. A continuación, podríamos usar el filtro piramidal y los de convolución para reducir el «ruido» o marcar los bordes.
Además de todo esto, podemos realizar una búsqueda local de otra imagen, para que se integre en el conjunto. En la demo se mostró como una niña puede abrazar a una mascota que fué añadida en la aplicación.
En cuanto al reconocimiento facial, la tecnología puede ser familiar para muchos, ya que se ha convertido en una característica de la mayoría de cámaras digitales. El proceso de reconocimiento facial se puede dividir en cuatro pasos.
El primero, que también es el que utiliza más tiempo de procesamiento, es la detección de la cara. Un cuadro de detección de al menos 20 x 20 píxeles barre todo el espacio. La detección se basa en la edad, nacionalidad, así como la orientación y la dirección de la cara. No hay limite en cuanto al número de caras que se pueden detectar, sin embargo, esto también significa más tiempo de procesamiento.
El segundo paso sería encontrar ciertas partes de la cara, en la cara de cada individuo, generalmente son cuatro: el ojo izquierdo y derecho, la nariz y la boca.
El tercer paso es la alineación, que consiste en buscar 50 puntos diferentes para los detalles y características de la cara del individuo. Por último, se procesan los atributos (edad específica, es decir, las expresiones faciales, etc) y el reconocimiento facial. Para acelerar el proceso de detección de rostros, se usarán varios métodos como el «tracking», «block matching», o el «background subtraction».
Con libface, uno o más SPU pueden ser utilizados en el procesamiento de rostros. Por ejemplo, establecer el parámetro a 47 pixels tomaría 58 milisegundos con un SPU. Con múltiples SPU, el proceso puede ser acelerado y reducido a 15 milisegundos. Podemos establecer el parámetro a 80 píxeles para capturar fácilmente más caras en el espacio. Cambiar el parámetro nos permite una mejor detección.
Algunas aplicaciones como el avatar ligado al reconocimiento facial y reconocimiento de dibujos se mostraron brevemente. La primera sería encontrar la alineación de la cara de un usuario, de modo que si el usuario sonríe, el avatar de la pantalla también sonríe.