בסרט Face/Off חוקר FBI מתחזה לפושע בעזרת ניתוח להשתלת פנים לצורך חקירה משטרתית. כיום טכנולוגיית ה-DeepFakes מאפשרת להחליף בין פרצופים ולשלוט על הבעות פנים של אדם אחר - ללא ניתוח. כיצד הטכנולוגיה עובדת?

בסרט Face/Off משנת 1997, פושע נמלט בשם קסטור (ניקולס קייג') נכנס לתרדמת בעקבות עימות מול כוחות הביטחון. ה-FBI מגלה שקסטור החביא פצצה יחד עם אחיו אך לא מצליח לאתרה.
הפתרון שעולה הוא להוציא את המידע מאחיו של קסטור הנמצא בכלא, באמצעות השתלת פניו של קסטור בפניו של אוצ'ר (ג'ון טרבולטה), סוכן FBI שבנו נרצח בידי קסטור. ארצ'ר נשלח לכלא בתור קסטור, כדי לגלות את מיקום הפצצה. קסטור מתעורר מהתרדמת ללא פנים ומאיים על הרופא המנתח כדי שישתיל לו את פניו של אוצ'ר. לאחר הניתוח קסטור רוצח את כל העדים. כך במהלך הסרט קסטור ואוצ'ר חיים אחד את חייו של השני.

בימינו, הטכנולוגיה התקדמה מאוד מאז הסרט, והיום מערכת למידה עמוקה מסוג DeepFakes מאפשרת להחליף בין פרצופים של אנשים בוידאו ללא צורך בניתוח!

https://www.youtube.com/watch?v=K4insp8jMTo

DeepFakes היא טכנולוגיה מבוססת בינה מלאכותית המאפשרת להחליף בין פרצופים באופן שנראה אמיתי.
למשל, נניח שאנחנו רוצים להחליף את הפנים של ג'ון טרבולטה בפניו של ניקולס קייג'. איך טכנולוגית DeepFakes תאפשר לנו לעשות זאת?

ראשית, נאסוף מאות או אלפי תמונות של ג'ון טרבולטה ושל ניקולס קייג' ונגזור מהן את הפרצופים בעזרת מערכת בינה מלאכותית לזיהוי פרצופים.
לאחר מכן נבנה מערכת לומדת שמקבלת את הפנים הגזורות, ותקודד אותן למידע מתומצת המתאר אותם (מקודד). בהמשך, מערכת שחזור פנים תקבל את אותו הקידוד ותשחזר ממנו את תמונת הפנים (מפענח). המקודד מחלץ את התכונות החשובות ביותר כדי ליצור מחדש את הפנים הגזורות. אפשר לחשוב על זה כמו ציור קלסתרון של פשע. התמונה המקודדת היא התיאור של עד (מקודד) וצייר הקלסתרונים (מפענח) משתמש בקידוד כדי לשחזר את התמונה של החשוד.
בונים מערכת מקודדת יחידה משותפת גם לפנים של ג'ון וגם לפנים של ניקולס, ושתי מערכות פיענוח, אחת עבור הפנים של ג'ון והשנייה עבור הפנים של ניקולס.

לאחר שסיימנו לאמן את המערכת המפענחת והמקודדת, אנחנו יכולים להשתמש בהן כדי להחליף פרצופים! מקודדים את הפנים של ניקולס בעזרת המקודד, ומפענחים אותם בעזרת מערכת הפיענוח של ג'ון.

לאחר מכן נחתוך את החלק הרלוונטי מהפנים החדשות שיצרנו ונדביק את הפרצוף של ניקולס במקום של פרצופו של ג’ון. כדי שההדבקה תראה מציאותית, מטשטשים את קו התפר על ידי מיזוג צבעי הרקע והפרצוף באזור החיתוך.

ככל שטכנולוגיית ה- DeepFake מתפתחת, נעשה קשה יותר ויותר להבחין בין זיוף למקור. כדי להבין את רמת האתגר בזיהוי DeepFake נסו לזהות בעצמכם אילו מבין הסירטונים הבאים מזוייף [1]. פיתוחים האחרונים בתחום מאפשרים לבצע החלפת פנים בזמן-אמת ואפשר להשתמש בהם בשיחות וידאו [2].

למרות ששימוש בדיפ פייק יכול לשמש לשעשוע ובידור, ישנה סכנה של שימוש לרעה בטכנולוגיה להפצת חדשות כזב וזיוף ראיות. בשל הסכנות, חוקרים מפתחים כלים לאימות תוכן ואיתור DeepFake בדרכים מגוונות כמו זיהוי חוסר עקביות בתאורה על פני המשתמש,  דפוסים לא טבעיים של מצמוצים ועוד[3]. בזכות טכנולוגיית ה-DeepFake כל אחד יכול להיות ניקולס קייג', אפילו אתם: תוכנות שיצאו לאחרונה מאפשרות גם לכם להפוך לניקולס קייג' או לכל אחד אחר [4,5,6]

מקורות:

1)  אתגר זיהוי סירטונים מזוייפים 
2) כתבה על דיפ פייק בזמן אמת
3) הסבר על טכנולוגיית ה- DeepFake, אתר ויקיפדיה
4) תוכנה אונליינית המאפשרת החלפת פנים של אדם אחד בתמונה בפניו של אדם אחר מתמונה בודדת, תוך כדי שמירה על הבעת הפנים של האדם המקורי.
5) אפליקציית החלפת פנים
6) קוד מונגש שניתן להריץ מהדפדפן והמאפשר להחליף פנים בוידאו בזמן אמת
7) כתבה על טכנולוגיית הדייפ פייק.