Publicado 24/1/2020 17:32:43 +01:00CET

Utilitzen tècniques de 'deepfake' per crear 'traduccions cara a cara'

Base de dades de 'deepfake'.
Base de dades de 'deepfake'. - GOOGLE - Archivo

MADRID, 24 Ene. (PORTALTIC/EP) -

Uns investigadors han utilitzat les tècniques de 'deepfake' --que modifiquen l'aspecte d'una persona en un vídeo-- per ajudar a generar 'traduccions cara a cara', que repliquen la veu i es modifiquen el moviment dels llavis perquè encaixi amb un altre idioma.

En l'estudi, elaborat per enginyers de l'Institut Internacional de Tecnologia de la Informació Hyderabad i l'Institut de Tecnologia Kanpur (tots dos de l'Índia), es proposa una "traducció visual" que s'afegeixi als sistemes actuals de traducció.

Segons els investigadors, les traduccions visuals a través de sistemes automàtics són "una necessitat" avui en dia, perquè les comunicacions digitals actuals són cada cop més visuals.

Per tant, proposen un model de traduccions no només basat en text. En primer lloc, utilitzen tècniques de reconeixement automàtic de la parla per convertir-ho a text. Després utilitzen un model de traducció neuronal per passar-lo a un altre idioma en forma de text i generar l'àudio.

No obstant això, com a mesura addicional, s'incorpora també un mòdul visual, LipGAN, de xarxes generatives adversarials, que genera rostres realistes replicats, els llavis dels quals es mouen de manera sincronitzada amb l'àudio generat a partir del text traduït.

Aquest sistema modifica els rostres de les persones que apareixen en els vídeos d'una manera similar a eines recents d'hipertrucatge com l'aplicació mòbil xinesa Zao, que va generalitzar aquestes tècniques i només necessita un 'selfi', o Deep Nude App, que genera imatges de nus a partir de fotos de persones vestides.

Els autors de la tecnologia asseguren que "millora significativament els resultats" de les tècniques actuals. Així mateix, van fer proves que van demostrar que "pot millorar de manera important l'experiència general de l'usuari" en interactuar amb contingut en altres llengües.