Deepfakes a hluboké video portréty - jaké jsou a jaké jsou jejich rozdíly?

Určitě víte, co je Deepfake, ale možná nevíte, co to je nebo co to vlastně znamená. Možná nevíte, že existují různé technologie, které mohou produkovat falešný obraz a zvuk.

Všichni jsme obeznámeni s obrázky "photoshopped" a jak daleko zašli. Představujeme také video efekty (VFX) a speciální efekty, které se používají ve filmech po celá desetiletí. Ale nový věk falešných médií přichází kvůli Deepfakes.

Technologie Deepfake a Deep Video Portrait jsou dvě podobné, ale odlišné techniky používané ve hollywoodských filmech, videích YouTube a ano, pornografii. Ale co je tato technologie ve skutečnosti a jak to funguje?

Pokud jste ještě neviděli video o pomlouvání tváře Nicholas Cage o dalším filmovém herci, pravděpodobně jste viděli spoustu sociálních filtrů nebo filtrů, které z vás dělají kočku, přidejte kuchaře. položte si klobouk na hlavu nebo udělejte z něj jednu barvu.

Pravděpodobně jste viděli videa BuzzFeed, ve kterých komik a impresionista Jordan Pil ve videu ukazuje, jak někdo může manipulovat s jejich obličejem (v tomto případě bývalý prezident Barack Obama), a zdá se, že říká něco, co nikdy neudělal.

Možná jste dokonce slyšeli, že Wonder Woman Star Gal Gadot se objevuje v údajně dospělém videu ve falešném filmu nazvaném „Hloubky“ uživatelem Reddit. Gadotova tvář byla přidána do těla pornohvězdy loni v prosinci. Deepfakes.

Co je to Deepfake?

Možná si myslíte, že základem Deepfakes je „náhrada obličeje“.

Deepfake je video s podporou AI, které je vytvořeno pořizováním více fotografií (obvykle stovek nebo tisíců) zdrojové osoby. Tyto obrázky lze stáhnout z mnoha zdrojů, včetně Instagramu, Facebooku, Snapchatu nebo dokonce vyhledávání obrázků Google.

Deepfake AI namapuje tvář zdrojových obrázků a vytvoří 3D model na základě fotografií, na které se díváte. Model mapuje tváře a rysy režiséra:

Zdroj: https://hackernoon.com/building-a-facial-recognition-pipeline-with-deep-learning-in-tensorflow-66e7645015b8 Od Cole Murray

Program také poskytuje zdrojové video s cílovou tváří, kterou chce uživatel změnit. AI také mapuje tvář osoby ve videu a vytváří další trojrozměrný mapový model.

Simon Lucy, profesor výzkumu na CMU, se používá jako model k předvedení softwaru pro mapování obličejů vyvinutého pro jeho prodejce skla. Kredit: Simon Lucey / CMU

AI začíná porovnávat zdrojový model s cílovým modelem. "Učí" tváře skrze obrázky (data cvičení), která vypadá trochu jako:

Příklad cvičení na nahrazení obličeje - Adi Robertson od Elon Musk a Jeff Bezos, Zdroj: https://www.theverge.com/2018/2/11/16992986/fakeapp-deepfakes-ai-face-swapping

AI poté odstraní generovanou 3D plochu z fotografií na 3D modelu cílového videa a vytvoří video, které odpovídá pohybům obličeje, úst, očí atd. původní tvář.

Zdrojem Deepfake je řada obrázků a výsledkem Deepfake je osobní video, které bylo jako příklad upraveno:

Co odlišuje tento hluboký video portrét?

Rozdíl mezi „Deepfake“ a „Deep Video Portrait“ (zkrácení DVP) přichází ve dvou hlavních rozdílech:

  1. Video z DVP nenahrazuje obličej, ale pouze řídí funkce
  2. Zdroj DVP nepochází z osobních fotografií, ale od živého herce.

DVP není náhradou obličeje. Je to manipulace s tváří. Video loutkářství.

Video propojené na začátku tohoto článku ukázalo, že Obama mluví o falešných videích, nikoli o falešných, ale o příkladech DVP. Existuje herec, jehož tvář je zobrazena na mapě, a pokud jste nezměnili cílovou tvář, ale pouze přesunuli cílovou tvář, výsledkem lze důvěřovat ještě více než fotografická hloubka.

Tvůrci DVP mohou dělat věci jako cílené blikání, otevírání úst, zvedání obočí a otáčení hlavy. Hlubší hlasy zase nemohou odvrátit pozornost od původních video akcí. To je důvod, proč DVP lze důvěřovat více než cokoli hlubokého.

Tento příklad poskytuje podrobnější pohled na to, jak tato technologie „malování na obličej a reintegrace“ funguje:

Maska filtru Snapchat nebo Instagram je DVP, ne Deepfake. Je to proto, že vy (cíl nemění obličeje), ale vaše tvář je zmapována a aplikace jen něco uzavře na vaši tvář:

Falešné a hluboké video portréty

Existuje další typ falešného obsahu, který se nedávno vylepšil a stal se více populárním - vytvářející zvuk.

V roce 2016 představil Adobe Max na kreativní konferenci aplikaci Adobe VoCo: zvukovou sadu, která uživatelům pomáhá sdělit lidem, co chtějí. Přemýšlejte o překladu textu do řeči, ale na základě něčího skutečného hlasu.

Společnost tvrdí, že 20 minutový posluchač umožní VoCo vydat originální zdrojovou vokální stopu. Výstup je generován počítačem se softwarem.

Aplikace Adobe VoCo nebyla od roku 2016 skutečně slyšet, pravděpodobně poté, co byly vzneseny otázky ochrany soukromí a soukromí. Bylo uvedeno na „fóru nápadů“, které nebylo oznámeno jako nový produkt. To vyvolalo zvědavost, vzrušení a debatu, ale nečekalo přesně jeho uvolnění.

Nyní, když jsou k dispozici nápady a technologie, je přirozené, že jiné společnosti vydaly svou vlastní zvukovou technologii. Lyrebird vydal službu, která pro vás vytvoří „vokální avatar“ na základě pouhých 30 vět řeči (na základě přibližných 20 minutových dat pro VoCo).

Zatímco VoCo potřebuje k výrobě svých produktů místní výpočetní prostředky, Lyrebird používá cloudové zdroje ve velkém měřítku a v důsledku toho výrazně zrychluje výrobu. Lyrebird také vyžaduje 30 konkrétních vět proti 20minutovému základnímu stylu řeči, který může snížit frustrace a další slabosti.

Zvukové podvody s DVP mohou zvýšit důvěru. Je to proto, že neposloucháte dojem, že někdo může ztratit dojem, ale spíše užší reprezentaci vlastního hlasu cílové osoby.

Hybridní technologie

FaceSwap je program, který umožňuje kombinovat Deepfake tváří v tvář, ale sotva kdokoli jiný v reálném čase. Kombinuje Deepfake a DVP.

Shrnutí

Tyto technologie se budou i nadále zlepšovat. Ačkoli mnoho použití je zábavných a rozmarných, tato technologie má obrovský dopad.

Deepakes a DVP nepochybně ovlivní naše názory na pravdu, důvěru a soukromí. Diskuse o morálce, problémech a sociálních dopadech (dobrých a špatných) však přesahují rámec tohoto článku.

Zatím jediným řešením je zpochybnit, co jste viděli a slyšeli.

Foto: Mikes Pexels Pictures