באמצעות סיפור היסטורי על פיות, נספר על שיטות לגילוי תמונות מזויפות ולמה הן לא תמיד עובדות.

אנגליה, 1917: אלסי ופרנסיס, שתי דודניות, מספרות להוריהן שהן נפגשות ביער עם פיות. כדי להוכיח זאת, הן נוטלות מצלמה במטרה להנציח פגישה כזו. אביה של אלסי פיתח את התמונה וגילה בה להפתעתו דמויות מפזזות שנראות כמו פיות. הוא לא ייחס לכך חשיבות רבה, אולם האם, שכמו רבים באותה תקופה האמינה בתופעות על-טבעיות, פרסמה את התמונה [1]. 

למרבה הפלא, גם ארתור קונאן דויל, הסופר הדגול שיצר את שרלוק הולמס - איש ההיגיון הצרוף - האמין בעת ההיא בספיריטואליזם והפיץ את הסיפור ואת התמונה תחת הכותרת: הוכחה למפגש עם פיות! הסיפור היכה גלים ועורר פולמוס בין המאמינים בהתגלות לאחרים שטענו שהתמונה, כמו גם ארבע תמונות דומות לה שפרסמו הילדות, הן זיוף. התמונה והפילם נשלחו למומחי צילום בחברת קודאק, והתגובה הפתיעה: "אי אפשר לשלול את האותנטיות!". הוויכוח הסתיים רק בשנת 1983, כאשר אלסי ופרנסיס, אז כבר קשישות, הודו שזייפו את התמונות. אולם בעוד שהעולם ציפה להסבר מתוחכם, האמת הייתה שאלסי בת ה-16 ופרנסיס בת ה-10 פשוט גזרו תמונות של פיות מספר ילדים, הדביקו אותן על קרטון והצטלמו איתן...

מדי יום אנו נחשפים להמוני תמונות שחלקן הגדול עובר מניפולציה כלשהי, מריטוש פוטושופ להסתרת שומה בלחי, ועד זיופים מתוחכמים עדכניים באמצעות טכנולוגיית Deep Fake שמאפשרת הדבקת ראש של ידוען על גוף של שרירן [2]. כדי לאתר זיופים, פותחו תוכנות המשתמשות בשיטות מתמטיות מעניינות [3]. נספר על כמה מהן, ולבסוף נציע הסבר לכך שגם באמצעות טכנולוגיה חדישה קשה לבדוק אם יש זיופים בתמונות של פיות.

יש דרכים שונות לערוך תמונות דיגיטליות. שיטה מאתגרת אחת לזיוף היא חיתוך חלק מתמונה אחת, למשל ראש של סלב, והדבקתו בתמונה אחרת. בתחילת המאה ה-20 לא היו תמונות דיגיטליות והדרך המקובלת לעשות זאת הייתה לצרף שני פילמים מתמונות שונות ולפתח אותם יחדיו. מומחי הצילום מקודאק שבדקו את הפילם בתמונת הפיות, הסיקו שלא נעשה שימוש בשיטה זו.

לעיתים אפשר לגלות העתקה באמצעות גאומטריה. כפי שסיפרנו בפוסט קודם [4], כל תמונה מכילה אינפורמציה תלת ממדית באמצעות פרספקטיבה. אם נתבונן למשל בצילום פסי רכבת שמתרחקים מאיתנו, נראה כאילו האדנים מתקרבים אלו לאלו ונפגשים בנקודה אחת הקרויה "נקודת מגוז". באמצעות איתור נקודות המגוז בתמונה, תוכנה יכולה לבדוק אם נוספו צורות, למשל קירות, כך שנקודות המגוז שלהן אינן משתלבות באחרות [5].

שיטה אחרת לגילוי זיופים היא באמצעות צל. נדמיין שאנו מראים בגאווה לחברים צילום שבו אנו מסתודדים עם אנשים חשובים מאוד לאור פנס רחוב, אולם החברים מבחינים שאין לנו צל. אז אולי אנחנו ערפדים, שכידוע אין להם צל, אבל סביר יותר ששתלנו את עצמנו בתמונה בלי להוסיף צל מתאים. התאמת צל לדמות היא פעולה מאתגרת, שכן היא מצריכה שימוש בגאומטריה תלת ממדית למציאת ההיטל המישורי של תאורת הפנס הנחסמת בגופנו, והקרנתו על מישור התמונה [5]. תוכנות לגילוי זיופים משתמשות בניתוח הצל, באפקטי תאורה ובהשתקפויות לאיתור העתקות.

ויש שיטות מתוחכמות יותר. נניח שכדי להכניס פיסה גזורה לתמונה, היינו צריכים להגדיל אותה לאורך פי שניים, כלומר להוסיף שורה בין כל שתי שורות פיקסלים. התוכנה שמבצעת מתיחה מחשבת בדרך כלל את הערך של כל פיקסל חדש כממוצע של הפיקסל שבשורה מתחתיו והפיקסל שמעליו. התוצאה נראית טוב [6], אולם תוכנה לזיהוי זיופים יכולה לזהות שלישיות רבות של פיקסלים היוצרים סדרה חשבונית, וזה מחשיד.

דרך לזהות העתקות שנעשו בתוך תמונה היא למצוא בלוק של פיקסלים שדומה לבלוק אחר ולכן חשוד בהעתקה. אבל זה דורש הרבה מאוד חישובים, ולכן פותחו שיטות חכמות לחיפוש. לדוגמה, במקום להשוות את כל ערכי הפיקסלים בשני בלוקים, שאחד מהם אולי עבר שינויים כמו סיבוב ומתיחה, אפשר לבדוק את מידת ההשתנות של הפיקסלים בתוך כל בלוק ולדחוס את המידע לפני ביצוע ההשוואה, למשל בעזרת אלגוריתם DCT הפופולרי [7]. 

וכאן אנחנו מגיעים למחוזות יצירתיים באמת. נניח שאנחנו משתמשים בתמונה בפורמט JPEG, גוזרים קטע מתמונה אחרת, למשל סלפי שלנו, ממקמים אותו על התמונה ושומרים את התוצאה בפורמט JPEG. כידוע, כל שמירה בפורמט JPEG דוחסת את התמונה ומאבדת מעט מידע. כיוון שהחלק שבתמונה שלא הכיל את הצילום שלנו עבר דחיסה פעמיים, אפשר לעיתים לגלות שהוא דחוס יותר מהקטע שנוסף וכך לזהות את הזיוף. מתוחכם! 

טכניקה שימושית נוספת לאיתור זיופים היא ניתוח שגיאות ורעשים. נניח שצבענו במצגת ריבוע באדום, מיקמנו אותו על-גבי תמונה שצילמנו, ושמרנו את התמונה החדשה. האם ניתן לזהות את השינוי? הריבוע שיצרנו הוא בעל צבע אחיד ושוליים חדים. לעומת זאת, בתמונה אמיתית קשה למצוא משטחים אחידים ושינויים חדים עקב שינויים בתנאי התאורה, עיוותים בעדשת המצלמה, אי-דיוקים בתהליך ההמרה לפורמט דיגיטלי ורעשים שונים. על-ידי ניתוח השיבושים הללו בקטעים שונים של התמונה, ניתן לזהות אם בוצעה שם הדבקה.

תחום הזיופים מתקדם היום גם לטכניקות למידה עמוקה [8]. בשיטה זו מזינים תחילה מערכת שבנויה בתצורת רשת נוירונים בתמונות אמיתיות ובתמונות מזויפות רבות. המערכת לומדת בהדרגה לזהות זיופים. לאחרונה הייתה פריצת דרך ביצירת זיופים ברמה גבוהה באמצעות שילובה עם תוכנת גילוי בשיטת GAN שכתבנו עליה [9]. 

אז האם תוכנות זיהוי מתקדמות שלומדות מה נמצא בתמונה, יכולות לאתר את הזיוף שנעשה בתמונות הפיות? כדי שהרשת תזהה זיוף צריך להזין אותה בשלב האימון בתמונות אמיתיות ומזויפות של פיות. כאן טמונה המלכודת! הרי התמונה שבידינו היא צילום חד-פעמי. אין לנו ידע על פיות וכיצד הן אמורות להיראות, ולכן לא ניתן לדעת שהן מזויפות. 

בתוכניתן המעולה "האחיות גרים", בפרק שדן בנושא פיות [10], ניסו המגישות לשער כיצד הצליחו הילדות להערים על אנשים רבים כל כך. יש הרבה הסברים אפשריים, למשל: האנשים לא היו רגילים לזיופים, והם לא האמינו שילדות צעירות יכולות להיות כה מתוחכמות. אולם יש עוד אפשרות. אולי אנשים רבים, כולל ארתור קונאן דויל בעצמו, רצו להאמין בפיות המקסימות. 

ואולי הפיות באמת נכחו ביער והן פשוט הסתתרו בתוך הדמויות מקרטון בעת הצילום? גם המומחה מקודאק טען שאי אפשר לשלול זאת בשיטות מדעיות. 

עיצוב תמונה: מירי אורנשטיין באמצעות Dall-E

עריכה: שיר רוזנבלום-מן

מקורות לקריאה נוספת:

[1] הפיות מקוטינגלי

[2] על Deep Fake

[3] סקירת שיטות לזיהוי זיופים

[4] החלון של אהרון

[5] גילוי זיוף באמצעות גאומטריה

[6] שימוש במסנן ממצע

[7] על DCT

[8] למידה עמוקה

[9] שיטת GAN ליצירת זיופי תמונות 

[10] "האחיות גרים" על פיות