Publicat 22/08/2019 19:01

Google desenvolupa una eina per a Android que analitza les mans per entendre els gestos i la llengua de signes

Captura de la herramienta de detección de manos y de gestos de Google
GOOGLE AI

MADRID, 22 ago. (Portaltic/EP) -

Google ha desenvolupat una eina per a dispositius mbils que percep i interpreta els moviments i els gestos fets amb les mans en vídeo i en temps real que pot fer-se servir per a la interpretació de gestos i fins i tot de la llengua de signes.

L'equip d'investigadors d'intelligncia artificial de Google ha presentat una funció per a mbils Android que a través de la cmera percep els moviments i les formes de les mans a través de l'aprenentatge automtic. El sistema est basat en un rastreig del palmell i els dits de la m per després detectar 21 punts clau 3D d'un sol fotograma.

Google ha emprat la plataforma de codi obert MediaPipe per desenvolupar el projecte de percepció i segons l'empresa el model podria "formar la base per a la comprensió de la llengua de signes", així com altres funcions orientades a la realitat augmentada en les quals les mans se superposen al contingut digital.

El sistema est basat en tres parts diferents: un detector de palmells que retalla la forma de la m del fotograma, un model que detecta punts de referncia en 3D de la imatge retallada i un detector de gestos que classifica els punts claus configurats prviament en un set de gestos.

Per detectar la forma del palmell de la m empren un model de detecció de tret únic anomenat BlazePalm, que treballa en una varietat de grandries de mans i té un abast de gran escala en relació amb el marc de la imatge. A més, és capa de detectar mans tapades o sobreposades i té una precisió del 95,7 per cent, i supera en gairebé deu punts els sistemes anteriors.

La falta de característiques físiques i contrast de color a les mans fa que sigui relativament difícil detectar-les de manera precisa per aix, que el model tingui context addicional, com les característiques del bra, el cos o la persona, ajuda a la localització de les mans. Google ha emprat un detector de palmell perqu en aprenentatge automtic la detecció d'objectes rígids com els palmells i els punys és més simple que detectar mans amb dits articulats.

En segon lloc, després de la detecció del palmell, el model de punts de referncia localitza els 21 punts clau 3D d'artells i dits dins de les diferents regions de la m. Amb aquests punts obté una representació de postura interna de la m i funciona fins i tot amb gestos parcialment visibles i dits autotapats.

Finalment el model aplica un algoritme per desxifrar els gestos que est fent la m. Primer es detecta la posició dels dits: recte o doblegat. Després, comparen el conjunt de dits amb conjunts de gestos predeterminats amb la finalitat d'identificar el gest en qüestió. Ara com ara el model inclou gestos d'una varietat de cultures i diversos signes de mans com les xifres, 'el dit cap amunt', 'OK', 'yeah', 'rock i el gest d''Spiderman'.




www.aldia.cat és el portal d'actualitat i notícies de l'Agència Europa Press en català.
© 2024 Europa Press. És prohibit de distribuir i difondre tots o part dels continguts d'aquesta pàgina web sense consentiment previ i exprés