MADRID, 24 gen. (PORTALTIC/EP) -
Uns investigadors han utilitzat les tcniques de 'deepfake' --que modifiquen l'aspecte d'una persona en un vídeo-- per ajudar a generar 'traduccions cara a cara', que repliquen la veu i es modifiquen el moviment dels llavis perqu encaixi amb un altre idioma.
En l'estudi, elaborat per enginyers de l'Institut Internacional de Tecnologia de la Informació Hyderabad i l'Institut de Tecnologia Kanpur (tots dos de l'Índia), es proposa una "traducció visual" que s'afegeixi als sistemes actuals de traducció.
Segons els investigadors, les traduccions visuals a través de sistemes automtics són "una necessitat" avui en dia, perqu les comunicacions digitals actuals són cada cop més visuals.
Per tant, proposen un model de traduccions no només basat en text. En primer lloc, utilitzen tcniques de reconeixement automtic de la parla per convertir-ho a text. Després utilitzen un model de traducció neuronal per passar-lo a un altre idioma en forma de text i generar l'udio.
No obstant aix, com a mesura addicional, s'incorpora també un mdul visual, LipGAN, de xarxes generatives adversarials, que genera rostres realistes replicats, els llavis dels quals es mouen de manera sincronitzada amb l'udio generat a partir del text tradut.
Aquest sistema modifica els rostres de les persones que apareixen en els vídeos d'una manera similar a eines recents d'hipertrucatge com l'aplicació mbil xinesa Zao, que va generalitzar aquestes tcniques i només necessita un 'selfi', o Deep Nude App, que genera imatges de nus a partir de fotos de persones vestides.
Els autors de la tecnologia asseguren que "millora significativament els resultats" de les tcniques actuals. Així mateix, van fer proves que van demostrar que "pot millorar de manera important l'experincia general de l'usuari" en interactuar amb contingut en altres llengües.
