Tonfiks. Käsittelee ääntä.

Puheäänelle kasvot

Tiistai 4.6.2019 - Eero Aro


Yandong Wen, Rita Singh ja Bhiksha Raj ovat tehneet mielenkiintoisen tutkimuksen. Voidaanko ihmisen kasvoista muodostaa kuva äänen perusteella?

Siis, jos meillä on äänite jonkun henkilön puheesta, niin onko mahdollista mallintaa teknisin keinoin, miltä henkilö näyttää? Pystyn kuvittelemaan tällaiselle ohjelmalle tai sovellukselle käyttöä esimerkiksi rikostutkimuksessa.

Kun tapaamme ensimmäisen kerran ihmisen, jonka kanssa olemme puhuneet esimerkiksi puhelimessa, niin henkilön ulkonäkö ei kovin usein vastaa puheen perusteella saatua mielikuvaa. Sama pätee myös radioääniin, henkilöihin, joiden ääni on tuttu radiosta, mutta jotka eivät ole kovin paljon julkisuudessa kasvoillaan. Muistan kuinka entinen työtoverini Esko Riihelä kertoi mielellään juttua rouvasta, jota hän kätteli jossain tilaisuudessa hänet tavatessaan. Rouva oli kiljaissut: "Herranjestas, tuoltako te näytätte!"

Wenin, Singhin ja Rajin sovellus analysoi, millaisessa ääntöväylässä erilaiset äänteet ovat mahdollisesti muodostuneet. Sitten se valitsee suuresta määrästä fyysisiä malleja palasia äänen osatekijöille ja rakentaa kokonaisuuden, jonka sitten pitäisi näyttää suurin piirtein siltä, miltä tuollaisella äänellä puhuva ihminen näyttää.

Veikkaan, että 60-luvun elokuvien äänenmuuttamiskonsti, nenäliinan laittaminen puhelinluurin päälle, ei muuta tarpeeksi ihmisen persoonallista ääntä, vaan on vielä analysoitavissa.

Face_generation_from_voice.jpg

Paperi löytyy täältä: https://arxiv.org/pdf/1905.10604.pdf