מערכות אינטליגנציה מלאכותית מאפשרות לחזות איך ייראו הילדים המשותפים של בני זוג נבחרים. איך זה עובד?

״המעבדה של דקסטר״ היא סדרה על ילד חנון גאון בן שמונה שרוקח ניסיונות והמצאות במעבדה הסודית שבביתו [1]. הוא מגלה את עובדת החיים הכואבת: בתור ילד ג'ינג'י נמוך עם משקפיים, הוא לא מסוג הילדים שלבנות יש קראש עליו. כדי לשנות את המציאות העגומה בונה דקסטר מכונה שהופכת את פניו לממוצע היופי של הבחורים הכי חלומיים בעולם. כיצד אפשר ליצור פרצוף שהוא שילוב גנטי של פרצופים אחרים?

בכתבה שפרסמנו לאחרונה [2] סיפרנו על מערכת למידה עמוקה מסוג GAN - generative adversarial networks, המקבלת מערך מספרים ומייצרת ממנו תמונה בעלת מאפיינים דומים לתמונות אמיתיות. GAN לומדת מתמונות פנים ומייצרת פרצופים חדשים. כיצד ניתן לשלוט על התמונות המתקבלות?

בשנת 2018 פיתחו חוקרים בחברת Nvidia מערכת יוצרת (GAN) בשם styleGAN. בנוסף לשיפור איכות התמונות, חידוש נוסף ב- styleGAN הוא האפשרות להשפיע על מאפייניה של התמונה המתקבלת והיכולת למזג בין מאפיינים של תמונות שונות, כמו גיל, צבעים, מבנה פנים ועוד.

מערכות GAN בנויות בצורה היררכית, משכבות, כאשר כל שכבה מקבלת נתונים מהשכבה הקודמת. במערכות שקדמו ל-styleGAN, הקלט נכנס רק לשכבה הראשונה. החידוש ב-styleGAN הוא שכל שכבה מקבלת את הקלט בכניסה נפרדת, בנוסף על הנתונים מהשכבה הקודמת. החוקרים אימנו את המערכת בצורה ייחודית. במקום שכל השכבות יקבלו את אותו הקלט מגרילים בכל פעם שני קלטים (מערכי מספרים), בוחרים נקודת פיצול אקראית ומחלקים את השכבות לשני חלקים: שכבות עליונות ושכבות תחתונות. כל חלק מקבל מערך מספרים שונה. 

החוקרים אימנו את המערכת בצורה כזו במטרה להפחית את התלות בין השכבות השונות. באופן מפתיע התברר שלאימון בשיטה הזו ישנה תופעת לוואי מעניינת: היא מאפשרת לערבב פרצופים וליצור "שילובים גנטיים" בין פרצופים. 

אז איך יוצרים פרצוף מעורב? או במילים אחרות, איך ייראה הילד המשותף של קווין הארט והארי פוטר? 

כדי ליצור פרצוף מעורב מקווין הארט והארי פוטר נבחר שני מערכי מספרים, אחד המייצר תמונת פרצוף של הארי פוטר ושני של קווין הארט. נחלק את השכבות לשני חלקים, תחתונות ועליונות. נכניס לשכבות התחתונות את הקלט שמייצר את הארי פוטר, ולשכבות העליונות קלט המייצר את קווין הארט, ונקבל תמונה של פנים המשלבים את המאפיינים של שתי הדמויות.

מקור: StyleGAN2

בחיים האמיתיים אין לנו שליטה על מה יירש הילד מכל צד. מתברר שמערכת syleGAN לא רק מאפשרת לערבב בין פרצופים, אלא גם לקבוע אילו "גנים" הילד יירש מכל הורה. כל שכבה משפיעה על מאפיינים שונים בדמות. השכבות ההתחלתיות (2-1) משפיעות על המאפיינים הגסים, כמו תנוחה, אורך שׂער וצורת הפנים. השכבות האמצעיות (4-3) שולטות בתווי פנים, והשכבות האחרונות שולטות בצבעים: הרקע, השער, הפנים, העיניים, ובמבני מקרו. אחרי שהמערכת כבר מאומנת ורוצים להשתמש בה, בוחרים איך לפצל את השכבות לפי המאפיינים שנרצה לקחת מכל צד, בניגוד לשלב האימון, שבו הפיצול נעשה בשכבה אקראית.

מי אמר שלכל ילד צריכים להיות שני הורים?
בעזרת סטייל-גאן ניתן ליצר דמויות שיורשות מאפיינים גנטיים משלושה הורים ואפילו יותר. נוכל לקחת שלושה מערכי מספרים משלושה אנשים שונים. נכניס מערך אחד לשכבות הנמוכות, מערך שני לשכבות האמצעיות ומערך שלישי לשכבות העליונות:

אפשר גם לשלב פרצופים של בני אדם וחיות אחרות! חוקר הבינה המלאכותית Xander Steenbrugge בנה מערכת אינטליגנציה מלאכותית מבוססת סטייל-גאן המאפשרת לשלב בין פרצופי אדם לחיות אחרות [3]:

מערכות סטייל-גאן מאפשרות לנו לייצר אנשים שאינם אמיתיים, לערבב ביניהם גנטית, לייצר להם ילדים משותפים ולשלוט במה הילד יירש מכל צד. איזה עולם נפלא זה, שבו לא צריך לחשוש שהילד יקבל את האף הרומאי של אחד ההורים!

• לקריאה נוספת:
  דֶמו של Nvidia מאפשר לכם לקחת תמונה של חיית המחמד שלכם ולראות איך ההבעה שלו הייתה נראית על חיות מחמד אחרות [4].

• פרויקט קוד פתוח בשם familyGan שיצר צוות ישראלי במסגרת דאטה-האק 2019 מאפשר ליצור שילובים גנטיים של פרצופים [5].

הערות: 

1. המעבדה של דקסטר
2. כתבה של מדע גדול בקטנה על מערכת ה-GAN
3. מערכת אינטליגנציה מלאכותית מבוססת סטייל-גאן המאפשרת לשלב בין פרצופי אדם לחיות אחרות
4. דמו של Nvidia
5. פרויקט הקוד הפתוח familyGan