Deepfake- ները («խորը ուսուցում» և «կեղծ») սինթետիկ կրիչներ[1] են, որոնցում գոյություն ունեցող պատկերի կամ տեսանյութի անձը փոխարինվում է ուրիշի նմանությամբ։ Թեև «Կեղծման» գործողությունը նոր չէ, Deepfake-ները օգտագործում են բարդ մեթոդներ մեքենայական ուսուցման և արհեստական ինտելեկտի միջոցով՝ շահարկելու կամ ստեղծելու տեսողական և աուդիո բովանդակություն՝ իրական թվալու մեծ պոտենցիալով[2]։ Դիփֆեյքեր ստեղծելու համար օգտագործվող մեքենայական ուսուցման հիմնական մեթոդները հիմնված են խորը ուսուցման վրա և ներառում են գեներատիվ նեյրոնային ցանցերի ճարտարապետության ուսուցում, ինչպիսիք են ավտոկոդավորիչները կամ գեներատիվ հակառակորդ ցանցերը (GANs)[3][4]։
Deepfake-ը մեծ ուշադրություն է գրավել կեղծ լուրեր, կեղծիքների և ֆինանսական խարդախությունների մեջ դրանց օգտագործումից հետո։ Սա արձագանքներ է առաջացրել կառավարության կողմից հայտնաբերելու և սահմանափակելու դրանց օգտագործումը[5]
Դիփֆեյքի երկու օրինակ. թեև նրանք իրական մարդկանց պատկերներ են թվում, սակայն դեմքերը ստեղծվել են համակարգչով և այսպիսի մարդիկ գոյություն չունեն:
Լուսանկարների մանիպուլյացիան մշակվել է 19-րդ դարում և շուտով կիրառվել է շարժապատկերների վրա։ Տեխնոլոգիան անշեղորեն բարելավվել է 20-րդ դարում, և ավելի արագ՝ թվային տեսանյութերի միջոցով։
Deepfake տեխնոլոգիան մշակվել է ակադեմիական հաստատությունների հետազոտողների կողմից՝ սկսած 1990-ականներից, իսկ ավելի ուշ՝ առցանց համայնքների սիրողականների կողմից։
Դիփֆեյքերի հետ կապված ակադեմիական հետազոտությունները հիմնականում գտնվում են համակարգչային տեսողության ոլորտում, որը համակարգչային գիտության ենթաոլորտ է։ Վաղ շրջադարձային նախագիծը եղել է Video Rewrite ծրագիրը, որը հրապարակվել է 1997 թվականին, այն փոփոխել է խոսող անձի առկա տեսագրությունը՝ պատկերելու համար, թե ինչպես է այդ անձը արտաբերում մեկ ուրիշ աուդիո ուղու մեջ պարունակվող բառերը[6]։ Դա առաջին համակարգն էր, որն ամբողջությամբ ավտոմատացրեց դեմքի այս տեսակի վերակենդանացումը, և դա արեց՝ օգտագործելով մեքենայական ուսուցման տեխնիկան, որպեսզի կապեր հաստատի տեսահոլովակի առարկայի հնչյունների և մարդու բերանի շարժումների միջև[6]։
Ժամանակակից ակադեմիական նախագծերը կենտրոնացած են ավելի իրական թվացող տեսահոլովակների ստեղծման և տեխնիկայի բարելավման վրա[7][8]:«Սինթեզավորում Օբամային» ծրագիրը, որը հրապարակվել է 2017 թվականին, փոփոխում է նախկին նախագահ Բարաք Օբամայի տեսագրությունը՝ պատկերելու համար, թե ինչպես է նա արտաբերում առանձին աուդիո ուղու մեջ պարունակվող խոսքերը։ Նախագիծը որպես հիմնական հետազոտական ներդրում մատնանշում է իր ֆոտոռեալիստական տեխնիկան՝ ձայնից բերանի շարժումները սինթեզելու համար։ Face2Face ծրագիրը, որը հրապարակվել է 2016 թվականին, փոփոխում է մարդու դեմքի տեսագրությունը՝ պատկերելով նրանց, իրական ժամանակում, այլ անձի դեմքի արտահայտությունով։ Նախագիծը որպես հիմնական հետազոտական ներդրում մատնանշում է դեմքի արտահայտությունները իրական ժամանակում վերարտադրելու առաջին մեթոդը՝ օգտագործելով տեսախցիկը, որը չի ֆիքսում խորությունը, ինչը հնարավոր է դարձնում տեխնիկայի իրականացումը սովորական սպառողական տեսախցիկների միջոցով[8]։
2018 թվականի օգոստոսին Բերկլիի Կալիֆորնիայի համալսարանի հետազոտողները հրապարակեցին մի ծրագիր, որը ներկայացնում էր իրենից <<կեղծ պարային>> հավելված, որը կարող է ստեղծել վարպետորեն պարելու ունակության տպավորություն՝ օգտագործելով արհեստական բանականություն[9][10]։ Այս նախագիծը ընդլայնեց deepfake-երի կիրառումը մարդու ամբողջ մարմնի վրա. նախորդ աշխատանքները կենտրոնացած էին գլխի կամ դեմքի վրա[9]։
Ընդհանուր առմամբ, ակնկալվում է, որ deepfake-ը ազդեցություն կունենա լրատվամիջոցների և հասարակության, մեդիա արտադրության, լրատվամիջոցների ներկայացուցչությունների, կանոնակարգերի և քաղաքականության վրա։
Deepfake տերմինը առաջացել է մոտ 2017 թվականի վերջին Reddit-ի «deepfakes» անունով օգտատերից։ Նա, ինչպես նաև Reddit համայնքի այլ անդամները, r/deepfakes, կիսվել են իրենց ստեղծած deepfake-երով.
2018 թվականի հունվարին գործարկվեց ֆիրմային desktop հավելված, որը կոչվում էր FakeApp[11]։ Այս հավելվածը թույլ է տալիս օգտատերերին հեշտությամբ ստեղծել և կիսվել տեսանյութերով՝ միմյանց հետ փոխած դեմքերով[12]։ 2019 թվականի դրությամբ FakeApp-ը փոխարինվել է բաց կոդով այլընտրանքներով, ինչպիսիք են Faceswap-ը, DeepFaceLab-ը և վեբ հիմնված հավելվածները, ինչպիսիք են DeepfakesWeb.com-ը[13][14][15]
Խոշոր ընկերությունները նույնպես սկսում են օգտագործել deepfake: Բջջային հավելվածների հսկա Momo-ն ստեղծեց Zao հավելվածը, որը թույլ է տալիս օգտվողներին իրենց դեմքը տեղադրել հեռուստատեսային և ֆիլմերի տեսահոլովակների վրա։
Այս օրինակում Deepfake տեխնոլոգիան օգտագործվում է դեմքի ձևավորում ստեղծելու համար։
Deepfake-ը հիմնված է մի տեսակի նեյրոնային ցանցերի վրա, որոնք կոչվում են autoencoder[16]: Դրանք բաղկացած են կոդավորիչից, որը պատկերը նվազեցնում է ավելի ցածր ծավալի, և ապակոդավորիչից, որը վերակառուցում է պատկերը թաքնված ներկայացումից։ Deepfake-ը օգտագործում է այս ճարտարապետությունը՝ ունենալով ունիվերսալ կոդավորիչ, որը կոդավորում է մարդուն թաքնված տարածության մեջ[17]։ Թաքնված ներկայացումը պարունակում է հիմնական հատկանիշները դեմքի հատկությունների և մարմնի կեցվածքի վերաբերյալ։ Այն կարող է այնուհետև վերծանվել թիրախի համար հատուկ պատրաստված մոդելի միջոցով:[5] Սա նշանակում է, որ թիրախի մանրամասն տեղեկատվությունը կտեղադրվի բնօրինակ տեսանյութի դեմքի և մարմնի հիմքում ընկած հատկանիշների վրա, որոնք ներկայացված են թաքնված տարածության մեջ։
2018 թվականի մարտին բազմամասնագիտական նկարիչ Ջոզեֆ Այերլը հրապարակեց Un'emozione per semper 2.0 (անգլերեն անվանումը՝ The Italian Game(Իտալական խաղ)) տեսաարվեստը։ Նկարիչը օգտագործել է Deepfake տեխնոլոգիան՝ ստեղծելու արհեստական ինտելեկտի դերասանուհի՝ 80-ականների կինոաստղ Օռնելլա Մուտիի սինթետիկ տարբերակը, որը ճանապարհորդում է ժամանակի մեջ 1978-ից մինչև 2018 թվականը։ Մասաչուսեթսի տեխնոլոգիական ինստիտուտն անդրադարձել է այս արվեստի գործին «Creative Wisdom»[18] ուսումնասիրության մեջ։ Տեխնիկական իրականացման համար Այերլին օգտագործել է ֆոտոմոդել Քենդալ Ջեների տեսարանները։ Ծրագիրը Ջեների դեմքը փոխարինեց Օռնելլա Մուտիի արհեստական ինտելեկտով հաշվարկված դեմքով։ Արդյունքում՝ արհեստական ինտելեկտի դերասանուհին ունի իտալացի դերասանուհի Օռնելլա Մուտիի դեմքը և Քենդալ Ջեների մարմինը։
Deepfake-ը օգտագործվել է հայտնի քաղաքական գործիչներին տեսանյութերում խեղաթյուրելու համար։
Առանձին տեսանյութերում Արգենտինայի նախագահ Մաուրիսիո Մակրիի դեմքը փոխարինվել է Ադոլֆ Հիտլերի դեմքով, իսկ Անգելա Մերկելի դեմքը փոխարինվել է Դոնալդ Թրամփի դեմքով[19] :Deepfake տեսանյութ. Վլադիմիր Պուտինը զգուշացնում է ամերիկացիներին ընտրություններին միջամտելու և քաղաքական պառակտման աճի մասին2018 թվականի ապրիլին Ջորդան Փիլը համագործակցելով Buzzfeed-ի հետ՝ Փիլի ձայնով Բարաք Օբամայի մասին deepfake ստեղծելու համար. այն ծառայել է որպես հանրային ծառայության հայտարարություն՝ deepfake-երի մասին տեղեկացվածությունը բարձրացնելու համար[20]։
2020 թվականի ապրիլին Extinction Rebellion-ի բելգիական մասնաճյուղը Facebook-ում հրապարակեց Բելգիայի վարչապետ Սոֆի Վիլմեսի deepfake տեսանյութը։ Տեսանյութում խոսվում էր անտառահատումների և COVID-19-ի միջև հնարավոր կապի մասին։ Այն 24 ժամվա ընթացքում ունեցել է ավելի քան 100000 դիտում և ստացել բազմաթիվ մեկնաբանություններ։
2019 թվականի հունիսին Միացյալ Նահանգների Կոնգրեսի Ներկայացուցիչների պալատի հետախուզության հանձնաժողովը լսումներ է անցկացրել ընտրությունները ազդելու համար deepfake-երի հնարավոր չարամիտ օգտագործման վերաբերյալ[21]։
Deepfake-ը սկսել է օգտագործվել հանրահայտ սոցիալական մեդիա հարթակներում, մասնավորապես Zao-ի միջոցով՝ չինական հավելվածի միջոցով, որը թույլ է տալիս օգտատերերին փոխարինել իրենց դեմքերը ֆիլմերի և հեռուստատեսային շոուների հերոսների դեմքերով, ինչպիսիք են Romeo + Juliet-ը և Game of Thrones-ի հերոսները[22]։ Հավելվածն ի սկզբանե ենթարկվել է հսկողության՝ կապված օգտատերերի տվյալների և գաղտնիության քաղաքականության հետ, որից հետո ընկերությունը հայտարարություն է տարածել՝ պնդելով, որ կվերանայի քաղաքականությունը[23]։ 2020 թվականի հունվարին Facebook-ը հայտարարեց, որ իր հարթակներում նոր միջոցներ է ներդնում օգտատերերի տվյալների ապահովությունը երաշխավորելու համար[24]։
Ենթադրություններ են եղել այն մասին, որ դիփֆեյքերն օգտագործվելու են ապագա ֆիլմերի համար թվային դերասաններ ստեղծելու համար։ Թվային ձևով կառուցված/փոփոխված մարդիկ նախկինում արդեն օգտագործվել են ֆիլմերում, և խորը կեղծիքները կարող են մոտ ապագայում նոր զարգացումների նպաստել[25]։ Deepfake տեխնոլոգիան արդեն օգտագործվել է երկրպագուների կողմից՝ գոյություն ունեցող ֆիլմերում դեմքեր ավելացնելու կամ փոխարինելու համար, ինչպես օրինակ՝ Հարիսոն Ֆորդի երիտասարդ դեմքը Հան Սոլոյի դեմքին տեղադրելը Solo: A Star Wars Story-ում[26]։
Deepfake-ը կարող է օգտագործվել շանտաժի նյութեր ստեղծելու համար, որոնք կեղծ մեղադրանք են ներկայացնում զոհին։ Այնուամենայնիվ, քանի որ կեղծիքները չեն կարող արժանահավատորեն տարբերվել իսկական նյութերից, շանտաժի զոհերն կարող են պնդել, որ տեսանյութերը կամ նկարները կեղծ են՝ հերքելով դրանց արժանահավատությունը։
Աուդիո կեղծիքները օգտագործվել են որպես սոցիալական ճարտարագիտության խարդախությունների մաս՝ մարդկանց խաբկանքով ստիպելով մտածել, որ նրանք հրահանգներ են ստանում վստահելի անհատից[27] : 2019 թվականին բրիտանական էներգետիկ ընկերության գործադիր տնօրենին խաբել են հեռախոսով, նրան հրամայելով 220,000 եվրո փոխանցել հունգարական բանկային հաշվին, մի անհատի կողմից, ով աուդիո deepfake տեխնոլոգիան օգտագործել է ընկերության մայր ընկերության գործադիր տնօրենի ձայնը նմանակելու համար[28]։
Թեև կեղծ լուսանկարները վաղուց շատ են եղել, տեսանյութերը կեղծել ավելի դժվար է եղել, և խորը ֆեյքերի առկայությունը մեծացնում է տեսանյութերը որպես իրական կամ ոչ իրական դասակարգելու դժվարությունը[19]:Արհեստական բանականությունը հետազոտող Ալեքս Չամպանդարդն ասում է, որ մարդիկ պետք է իմանան, թե ինչ արագությամբ կարելի է ինչ որ բանի ռեպուտացիան կործանել deepfake տեխնոլոգիայի միջոցով, և որ խնդիրը տեխնոլոգիայի մեջ չէ, այլ տեղեկատվության և լրագրության հանդեպ մարդկանց ունեցած վստահության մեջ։ Deepfake-ը կարող է օգտագործվել զրպարտելու և ապատեղեկատվություն տարածելու համար[29]։ Առաջնային որոգայթն այն է, որ կարող է գալ ժամանկ, երբ այլևս հնարավոր չի լինի որոշել, թե արդյոք լրատվամիջոցի բովանդակությունը համապատասխանում է ճշմարտությանը։