אלגוריתמים לאימון מערכות לומדות דורשים מידע רב. על מנת ללמד מערכת לומדת לבצע פעולה מסובכת, כמו זיהוי וסיווג של עצמים בתמונות, נדרשות לעתים עשרות אלפי תמונות של עצמים דומים, במנחים, מיקומים ומצבים שונים. בנוסף, יש לסמן בכל תמונה היכן נמצא העצם ומאיזה סוג הוא. איסוף מידע רב צורך משאבים רבים, כמו זמן פיתוח ועלות כלכלית. נדבר כאן על שיטה נפוצה לעיבוד תמונה ולהגדלת מספר התמונות הזמינות לשימוש מערכות לומדות, בעזרת שינויים מלאכותיים בתמונות.

צוואר הבקבוק העיקרי באימון מערכת לומדת הוא המידע הזמין לנו לצורך האימון [1]. למשימה פשוטה כמו הבחנה בין סוס מסוים לזברה מסוימת, ייתכן שנוכל להסתפק בכמה תמונות בודדות לאימון המערכת, שתדע להבחין בין שני הפרטים כמעט בכל מצב. 

אך מה נעשה כאשר נרצה להבחין בין כל הזברות לבין כל הסוסים, ונרצה לעשות זאת במצבים שונים. למשל, נרצה לזהות בוודאות גבוהה סוס בשלג או זברה לאחר שהתפלשה בבוץ. במקרה כזה, לא נרצה שכל סוס יזוהה כזברה, רק כי היו לנו במקור תמונות של זברות רק בשלג ושל סוסים רק בקיץ, פשוט כי האלגוריתם למד להסיק מן הרקע לגבי אופי התמונה. ומה אם נרצה לזהות מספר רב של חיות, למשל להבחין בין 100 סוגים שונים של חיות במנחים, ברקעים ובמיקומים שונים? במצב כזה נצטרך להשתמש במאות או באלפי תמונות של כל חיה. התמונות יצטרכו לייצג את כל מרחב האפשרויות הקיים של היתכנות הפרטים בתמונות - על כל פרט להופיע בכל המצבים שהוא עלול להימצא כאשר נחפש אותו בשלב הפעלת האלגוריתם. לא תמיד נוכל לצלם את כל מיני הסוסים בכל תנאי מזג האוויר או בכל תוואי השטח האפשריים. 

הפתרון: במקום לצלם עשרות אלפי תמונות נוכל לייצר בצורה מלאכותית את המידע החסר לנו [2]. כלומר, נוכל לקחת תמונה של סוס בקיץ ולהוסיף לתמונה בצורה מלאכותית גשם, שלג או תנאי תאורה שונים, כמו שעת דמדומים, חושך וכדומה. שינויים אלו בתמונות מכונים באנגלית image data augmentations ("הגדלת נתונים", או "אוגמנטציות"). הם מאפשרים לייצר הסקה נרחבת יותר מתמונה קיימת ואפשרות להגדיל את כמות המידע הנתון לנו ללא השקעה כספית או חישובית רבה במיוחד. 

כיום יש שיטות רבות להגדלת נתונים מסוגים שונים, שנועדו לבצע למידה יעילה מסט תמונות לצורך אימון מערכות לומדות. אלה שיטות המבוססות על חישובים רבים ליצירת מידע מלאכותי שכזה, על ידי העתקת סגנון התמונה מציורים או מתמונות אחרות לתוך תמונה קיימת, או שימוש בשיטות מבוססות GAN, המאפשרות יצירת תמונות מלאכותיות לחלוטין ממערך תמונות נתון [3] (ראו לדוגמה אתר המאפשר יצירת תמונות של אנשים שאינם קיימים [4]). 

ישנן גם שיטות פשוטות יותר להגדלת מערך התמונות שבידינו. ראשית, אם ניקח כל תמונה ונסובב אותה ב-90 מעלות, נמשיך לזהות את האובייקט גם כאשר הוא נוטה על צידו, ונרצה שגם המחשב יצליח בכך. שימוש חשוב לזה, לדוגמה, הוא בזמן נסיעה ברכב: נרצה שמערכת המובילאיי שלנו תזהה רכב שנמצא לפנינו גם אם הוא הפוך על צידו. שיטות נוספות כוללות גם הוספת רעש לתמונה על ידי טשטושה [5], או פשוט על ידי השחרת אחוז מסוים של פיקסלים אקראיים בתמונה. ניתן גם לשנות את צבעי התמונה על ידי שינוי מרחב הצבע [6] או הגדלת/הקטנת בהירות התמונה. במקרים אלו, התמונה המתקבלת דומה אמנם לתמונה המקורית, אך כאשר אנו מביטים בה מנקודת מבט של מחשב, הרואה את התמונה כמערך של ערכים מספריים, זוהי תמונה אחרת המכילה מידע נוסף להסקה והכללה ממנו.

שיטה נוספת כוללת זיהוי של העצם בתמונה, למשל זברה, והדבקתו על רקע שונה. במקרה זה, הזברה יכולה להופיע במיקומים שונים על גבי התמונה (מרכז התמונה, צידה השמאלי התחתון וכולי), וגם להופיע בשלל סצנות מעניינות, כמו בספארי, בפארק הירקון או על הבמה לצד הביטלס בהופעה בלונדון.

שיטות להגדלת מערך נתונים בצורה מלאכותית הן רבות ומגוונות, ונמצאות בשימוש בתחומים רבים העוסקים בלמידה חישובית. למשל, כדי להגדיל מאגר טקסט ניתן לתרגם משפטים לשפה אחרת ולתרגמם בחזרה לשפת המקור. במקרה זה, התוצר הסופי יהיה מעט שונה מהטקסט המקורי אך יכיל בקירוב את אותה משמעות סמנטית. 

השימוש ביצירת מידע מלאכותי מאפשר חיסכון בזמן איסוף המידע, יצירת סצנות מסובכות לבימוי ופיתוח פתרונות לבעיות מסובכות בזמן קצר יחסית. בנוסף, שיטה זו יכולה לעזור במניעת "התאמת יתר" [7], בעיה שבה עקב שימוש במערך נתונים קטן יחסית או בנתונים הדומים זה לזה יתר על המידה מתעורר קושי לבצע הכללה לפתרון בעיות אמיתיות, כמו זיהוי עצמים וסיווגם כדי להימנע ממכשולים.

הערות: 

[1] מידע זמין כצוואר הבקבוק של פיתוח אינטיליגנציה מלאכותית

[2] ספרית פייתון המאפשרת הגדלת נתונים בצורה מלאכותית על גבי תמונות

[3] כתבה בנושא GAN במדע גדול בקטנה

[4] אתר המציג תמונות של אנשים שאינם קיימים

[5] כתבה בנושא מסנן גאוסי במדע גדול בקטנה

[6] כתבה העוסקת בעיבוד תמונות דיגיטלי במדע גדול בקטנה

[7] כתבה בנושא התאמת יתר במדע גדול בקטנה