מערכות בינה מלאכותית, בפרט כאלה המבוססות על למידת מכונה, מקבלות לעיתים החלטות שקשה לנו כמשתמשים להבין. תחום הבינה המלאכותית הניתנת להסבר (Explainable AI או בקיצור XAI), מנסה לספק הסברים להתנהגויות של מערכות בינה מלאכותית.

הבה נדלג על מסע השכנועים ונסכים שבינה מלאכותית היא חלק אדיר מחיינו (ראו למשל [1, 2, 3, 4]). בפוסט הזה נתמקד במשפחה רחבה של אלגוריתמים (תהליכים חישוביים), שהפלט שלהם, כלומר מה שהם מייצרים, הוא אלגוריתם בעצמו. כלומר, התוצר בסוף התהליך החישובי אינו תשובה כמו בתרגיל חשבון, אלא אוסף של הוראות. דוגמה פשוטה לכך היא אלגוריתמי ניווט: מכניסים מוצא ויעד, והאלגוריתם מייצר הוראות נסיעה.

למידת מכונה (Machine Learning) היא משפחה כזו של אלגוריתמים שמשתמשים במידע קיים כדי לייצר אלגוריתם שמסוגל לתייג מידע חדש. למשל מערכות לזיהוי חיות לומדות מהמון דוגמאות קיימות, ואז מסוגלות לזהות באופן אוטומטי חיות בתמונות חדשות. דוגמה מפורסמת מעולם למידת המכונה, ובפרט מתחום הלמידה העמוקה, היא האלגוריתם AlphaGo, הראשון שהצליח לנצח את אלוף העולם במשחק גו [5]. 

כאשר AlphaGo ניצח את אלוף העולם, הבחינו השחקנים שהמהלכים שהאלגוריתם ביצע היו מאוד לא סטנדרטיים. היה מי שכינה אותם יצירתיים, אבל בשורה התחתונה גם מומחים אנושיים לא ממש הצליחו להבין למה האלגוריתם בחר לשחק כפי ששיחק. תופעה דומה נצפית באלגוריתמי למידה המשחקים שחמט ומשחקים אחרים, ואפילו באלגוריתמי ניווט - לעיתים קרובות אנו מוצאים עצמנו בסמטה נידחת, תוהים למה ווייז החליט לקחת אותנו לשם. ובכן, גם החוקרים שואלים למה האסטרטגיות המיוצרות על ידי אלגוריתמי בינה מלאכותית מתנהגות כפי שהן מתנהגות, וכך התפתח בעשור האחרון תחום שנקרא בינה מלאכותית ניתנת להסבר (Explainable AI) [6]. 

למה זה חשוב בעצם? ובכן, אחת הסוגיות המרכזיות בשילוב מערכות בינה מלאכותית בחיינו היא הסוגיה המשפטית-אתית. לדוגמה, האם אפשר לשלב לצד בקרי טיסה אנושיים בשדות תעופה גם מערכות לתכנון אוטומטי של מסלולים? אין ספק שמערכת כזו תפעל מהר יותר, וכנראה תעשה עבודה טובה למדי. אבל מי ייקח אחריות אם יקרה משהו חריג? הבקר? המתכנת של המערכת? אף אחד? לא ברור. לכן, כדי לשלב מערכת כזו, הבקר צריך להבין את הלוגיקה של המערכת, ואז לאשר או לדחות אותה. אולם אף בקר לא ייקח על עצמו את המשימה אם התוכנית אינה מוסברת. גם במפעלים מבוססי בינה מלאכותית, לעיתים יש מחיר כלכלי להחלטות שהמערכת מקבלת, ואין לצפות מהמנהלים לסמוך על החלטות שאינם מבינים כשזה עולה להם כסף. מכאן החשיבות הרבה של מתן אמון במערכת. 

כעת ננסה להבין למה כל כך מסובך ליצור מערכת מוסברת. הדבר נובע משני קשיים עיקריים. 

הקושי הראשון הוא המורכבות של מערכות בינה מלאכותית. בהרבה מקרים, כמו למשל ברשתות נוירונים, המערכות האלו נבנות מאוסף ענקי של התנהגויות "מקומיות" פשוטות, כלומר רכיבים קטנים שהתקשורת ביניהם פשוטה, אבל כשרבים מהם נמצאים יחד מתקבלת מערכת מורכבת. אנחנו אומנם מבינים היטב את ההתנהגות של כל רכיב בפני עצמו, אבל אין בכך כדי להסיק משהו על ההתנהגות הכוללת של המערכת.

הקושי השני נובע מהשאלה: למה אנחנו מתכוונים ב"למה?" וליתר דיוק, איזו מין תשובה אנחנו מצפים לקבל. נניח שהייתם יכולים לשאול את ווייז: "למה לקחת אותי לסמטה החשוכה הזו?" האם התשובה "כי זה המסלול הכי מהיר" תספק אתכם? או שהייתם רוצים גם עדות כלשהי לכך שזה המסלול הכי מהיר? ואם הייתם רוצים עדות כזו - אז איך היא הייתה צריכה להיראות? ואולי הייתם מסתפקים בשאלה "למה לקחת אותי לסמטה חשוכה א' במקום לסמטה חשוכה ב'?" ואז באמת קל להראות שהמסלול דרך סמטה א' קצר יותר מהמסלול דרך סמטה ב'. 

שימו לב שהשאלות האלה עולות בהקשר של ניווט - פעילות יחסית מובנת לנו, כמשתמשים אנושיים. אולם כשמדברים על מערכות "עמומות" יותר, כמו זיהוי חיות או משחק גו, ממש לא ברור למה הכוונה כשאנחנו שואלים למה. אם כן, חלק מהאתגר בבינה מלאכותית ניתנת להסבר הוא ניסוח נכון ומועיל של השאלות ושל ההסברים הדרושים, ולאחר מכן פיתוח אלגוריתמים שיספקו אותם. יש מחקר ענף בנושאים האלו, אך עוד לא נרשמו פריצות דרך בתחום ולמרבה הצער אין עדיין פתרונות כלליים מוצלחים.

נסיים בתוכן פרסומי: במחקר מ-2020 [7, 8], הצענו סכמת הסברים לבעיית תכנון המסלולים לסוכנים מרובים [3]. שאלת ה"למה" במקרה הזה היא "למה הסוכנים לא מתנגשים זה בזה", והמחקר מציע דרך לענות על השאלה הזו.

עריכה: שיר רוזנבלום-מן

מקורות:

[1] פוסט על תכנון רובוטי 

[2] פוסט על נהיגה אוטונומית

[3] פוסט על תכנון מסלולים לסוכנים מרובים

[4] פוסט על אלגוריתמי למידה

[5] אלפא-גו 

[6] מאמר על בינה מלאכותית ניתנת להסבר 

[7] מאמר על תכנון מסלולים לסוכנים מרובים, עם הסברים

[8] הרצאה על תכנון מסלולים לסוכנים מרובים עם הסברים