Un grup de cercetători ai Samsung Labs au dezvoltat o tehnologie îmbunătățită a avatarului capului neural la rezoluție de megapixeli. Folosind o imagine de referință animată, echipa a propus un nou set de arhitecturi neuronale (avatare) și metode de antrenament pentru a realiza noi imagini mișcătoare, care se mișcă după imaginea de referință. Cercetătorii de la Samsung Labs numesc acest lucru MegaPortraits – Mega portrete.
Echipa a dezvoltat avatare neuronale convingătoare ale unor personaje istorice și chiar ale unor celebrități moderne. Arhitectura neuronală preia o imagine de conducere furnizată, care este un videoclip al unei persoane care face diferite expresii faciale și mișcări. Apoi se aplică unei imagini statice, cum ar fi un portret sau o fotografie pictată. Sistemul transformă apoi imaginea statică într-o grafică în mișcare (MegaPortraits), în care capul și fața subiectului corespund mișcărilor imaginii de conducere.
MegaPortraits: avatare animate
Nu știm momentan dacă aceste mega portrete – MegaPortraits au legătură cu oamenii artificiali din proiectul NEON. Poate vor fi încă un pas în drumul nu atât de lung către ziua în care cu adevărat nu vom putea crede nimic din ceea ce vedem. Dar, poate fi și un pas în privința deprecierii umanității de care dăm dovadă.
Sistemul este distinct din cauza rezoluției impresionante și faptul că un avatar animat poate fi creat folosind „one shot”. Portretele megapixeli, numite pe scurt MegaPortraits, se bazează pe antrenament în două etape. Echipa descrie configurația de antrenament ca fiind „relativ standard”. Implică eșantionarea a două cadre aleatorii din setul de date la fiecare pas, extragerea unui cadru sursă și a unui cadru driver. Modelul „impune apoi mișcarea cadrului de conducere (adică poziția capului și expresia facială) pe aspectul cadrului sursă pentru a produce o „imagine de ieșire”. Semnalul de învățare este construit folosind episoade de antrenament în care cadrele sursă și driver apar în același videoclip.
În religia hindusă, avatarul este o manifestare trupească (încarnare) a unei ființe divine în formă de om sau animal. Concepte de încarnare care sunt în unele aspecte similare cu avatarul se găsesc și în budism, creștinism, și în alte religii.
Echipa Samsung Labs crede că abordarea sa este prima care atinge rezoluția impresionantă de megapixeli. Dar, momentan sistemul are două limitări principale. În primul rând, seturile de date VoxCeleb2 și FFHQ utilizate pentru antrenament cuprind în principal vederi frontale sau aproape frontale. În cazul redării posturilor non-frontale ale capului, există o scădere a calității imaginii. A doua limitare este o pâlpâire temporală, așa cum se vede în videoclipul de mai sus. Această pâlpâire se datorează faptului că imaginile de înaltă rezoluție sunt limitate la vizualizarea statică.