למידה מחיזוקים (Reinforcement learning, או בקיצור RL) הוא תת־תחום של למידת מכונה, המתמקד בבניית אלגוריתמים המאפשרים למחשב ללמוד כיצד לקבל החלטות בסביבות דינמיות ומורכבות. באמצעות ניסוי וטעייה, מחשבים אלה לומדים מההתנסויות והאינטראקציות שלהם עם הסביבה ומקבלים משוב בדמות תגמולים או עונשים. למידה מחיזוקים היא פופולרית מאוד בשל הפוטנציאל שלה ביישומים רבים במגוון תעשיות.

ללמידה מחיזוקים יש תפקיד מכריע במגוון תחומים, ואימון כלי רכב אוטונומיים הוא אחד הבולטים והחמים ביניהם. כאשר חושפים את המחשב (המכונה בשפה המקצועית "סוכן") לתרחישי נהיגה מדומים שונים, האלגוריתמים של הלמידה מחיזוקים (RL) יכולים לאפשר למחשב כלי הרכב ללמוד התנהגויות נהיגה אופטימליות ותהליכי קבלת החלטות. אלגוריתמי RL מתבססים על מערכת תגמולים ועונשים שהסוכן מקבל בדמות ניקוד חיובי או שלילי, ומטרת הסוכן היא למקסם את הרווחים שלו ולקבל ניקוד מקסימלי, וכך לצלוח את המשימות שקיבל. חברות כמו Waymo וטסלה השתמשו בטכניקות RL כדי לשפר את מערכות המכוניות לנהיגה עצמית שלהן [1]. למידה מחיזוקים שינתה גם את תחום הרובוטיקה בכך שאפשרה לרובוטים ללמוד משימות מורכבות. הודות לאלגוריתמי RL, רובוטים יכולים ללמוד לתמרן אובייקטים, לנווט בסביבות עמוסות ולבצע תנועות מיומנות. לדוגמה, הרובוט Dactyl של OpenAI השתמש ב־RL כדי ללמוד כיצד לתפעל קובייה הונגרית באמצעות יד רובוטית [2].

למידה מחיזוקים יצרה גם פריצות דרך יוצאות דופן במשחקי חשיבה. AlphaGo של חברת DeepMind ניצחה את אלופי העולם במשחק גו (Go) באמצעות שילוב של רשתות עצביות עמוקות ואלגוריתמי RL [3]. בדומה, שימוש בלמידה מחיזוקים נעשה כדי לרכוש מיומנות גבוהה במשחקים אחרים, וביניהם שחמט, משחקי אטארי [4] ופוקר, וכן משחקי וידאו כמו Dota 2 ו־StarCraft II [5]. למידה מחיזוקים ממונפת גם במערכות המלצות כדי לייעל את חוויות המשתמש: באמצעות למידה מהפעולות והמשוב של המשתמשים, מערכות אלו מסוגלות לספק המלצות מותאמות אישית. חברות כמו נטפליקס ואמזון, למשל, משתמשות ב־RL כדי לשפר את אלגוריתמי ההמלצות שלהן [6].

בפני תחום הלמידה מחיזוקים ניצבים אתגרים רבים. אחד האתגרים העיקריים בלמידה מחיזוקים הוא איזון בין חקר וניצול (exploration and exploitation). סוכנים חייבים לחקור את הסביבה כדי לגלות פעולות פוטנציאליות טובות יותר, אך גם לנצל פעולות שכבר למדו כדי למקסם את התגמולים. לדוגמה: הגעתי למסעדה שבה יש הרבה מנות שאפשר  להזמין. אני אוהב את הפאד־תאי שמוגש במסעדה הזו, ולכן אני עשוי להזמין את אותה מנה בכל ביקור. מצד שני, אולי יש מנות טובות יותר? אם אבחר תמיד באותה מנה, כיצד אלמד למקסם את ההנאה שלי מהאוכל המוגש במסעדה? פישור בין שתי הברירות עשוי להיות מאתגר במיוחד בסביבות גדולות ומורכבות. למידה מחיזוקים דורשת לעיתים קרובות מספר רב של אינטראקציות עם הסביבה כדי ללמוד מהי הגישה האופטימלית. כלומר - יש צורך להגיע פעמים רבות אל המסעדה ולהזמין מגוון מנות גדול ככל האפשר, וזאת  כדי לבחון את הטעם של כולן וכך למצוא את המנה (האינטראקציה) הטובה ביותר. כל אינטראקציה במקרה זה היא מקרה שנבחן וניתן לו מענה, ומקרה שלא ייבחן באימון לא יינתן לו מענה בזמן אמת. כך, אף שה"סוכן" מצא מנה טובה שעבורה קיבל "ניקוד" גבוה, נחייב אותו להזמין מנות אחרות באחוז מסוים מהביקורים שלו במסעדה, כדי שימשיך ויחקור את התפריט. חקירה ארוכה ומדויקת היא חיונית לטובת מציאת פתרון אופטימלי, אך הכרחי גם ליעל את תהליכי הפיתוח של מערכות מסוג זה. לכן, צמצום מספר האינטראקציות הנדרשות להשגת תוצאות אופטימליות הוא תחום מחקר מתמשך וקריטי לפיתוח מערכות מורכבות.

שיטה שביכולתה לסייע לאימון מערכות RL היא למידה מהדגמות (imitation learning) [7]. למידה מהדגמות יכולה לסייע ללמידה מחיזוקים על ידי מתן הדגמות ראשוניות של מומחים כדי לאתחל את תהליך הלמידה. במקום להתחיל מאפס, הסוכן יכול ללמוד תחילה מדיניות טובה, על ידי חיקוי התנהגות המומחה, ולאחר מכן הוא יכול לשפר וללטש אותה באמצעות למידת חיזוק. לדוגמה – אפשר להתחיל לאמן סוכן לנהוג ברכב באמצעות מתן דוגמאות לנהיגה בטוחה שעומדת בחוקי התעבורה, כמו נהיגה בטווח המהירות מותרת, נהיגה על הכביש בלבד ולא על מדרכות וכדומה. לאחר שניתנו לו דוגמאות בסיסיות, הסוכן ילמד לנהוג, אבל לא יתחיל משלב של ללמוד להבדיל בין דוושת הגז לברקס, אלא משלב מתקדם הרבה יותר – הוא יֵדע היכן מותר לו לנהוג, איך נראה כביש סואן ואיך מתנהגים כאשר כדור נזרק בפתאומיות לכביש (ואחריו ילד).

לסיכום, למידה מחיזוקים התגלתה כטכניקה רבת־עוצמה לאימון סוכנים חכמים במגוון רחב של יישומים. מרכבים אוטונומיים ועד למשחקים ולמערכות המלצה, למידה מחיזוקים הוכיחה את יכולותיה בתרחישי קבלת החלטות מורכבים. עם המשך מחקר ופיתוח, למידה מחיזוקים טומנת בחובה פוטנציאל עצום לחולל מהפכה בתעשיות ולהביא לשינויים משמעותיים באופן שבו מערכות חכמות מתקשרות עם העולם ומנווטות בו.

עריכה: יהונתן הופמן.

מקורות והרחבות

[1] מאמר Imitation Is Not Enough: Robustifying Imitation with Reinforcement Learning for Challenging Driving Scenarios, נכתב בידי חוקרים מגוגל ומחברת Waymo

[2] סרטון של הרובוט Dactyl של חברת OpenAI, שלמד לפתור קובייה הונגרית בעזרת למידה מחיזוקים

[3] עמוד המחקר של AlphaGO מתוך האתר של חברת Deepmind

[4] מאמר Playing Atari with Deep Reinforcement Learning, נכתב ע"י חוקרים מחברת Deepmind

[5] סדרת סרטונים בנושא שימוש בלמידה בחיזוקים כדי ללמוד לשחק במשחק Starcraft 2

[6] מאמר בנושא שימוש בלמידה מחיזוקים כדי לבנות מערכת המלצה, מתוך האתר Towards Data Science

[7] סרטון בנושא Imitation learning מבית CodeMonkey, המכיל דוגמה למימוש בעזרת Unity