המצלמה המתוחכמת של חברה ישראלית בשם Pixellot אחראית על הפקה, צילום ותיעוד משחקי ספורט ללא מגע אדם, ובעזרת מערכת בינה מלאכותית מאפשרת לאלגוריתם לקבוע מה לצלם ולהציג לצופים במשחק ספורט ללא התערבות של איש. נראה כיצד ניתן לשדר לצופים משחק כדורגל בצורה אוטונומית ונתמקד במקרה משעשע שאירע במשחק שהחברה צילמה בסקוטלנד לאחרונה.

ראייה ממוחשבת היא תחום במדעי המחשב השואף להבין התרחשויות מסוימות בתמונה או בווידאו. השיטה נעזרת ביכולות חישוב חזקות ומתקדמות ומאפשרת זיהוי מצבים מורכבים כמו זיהוי פנים, זיהוי התרחשות מסוימת בכביש למטרת מתן התראה לנהג, התמצאות במרחב לטובת ניווט של רובוט או רחפן ועוד. שיטות זיהוי עצמים בתמונה או בווידאו מאפשרות מעקב אחר התרחשות מסוימת [1]. למשל - ניתן לזהות עצם נע, כמו אדם או מכונית, ולעקוב אחריו בעודו מתקדם במישור התמונה. ישנם אלגוריתמים מתוחכמים יותר שגם שולטים במצלמה, כלומר מניעים את המצלמה כך שתעקוב אחר התנועה מעבר למישור התמונה [2]. 

זיהוי עצמים מבוצע כיום במקרים רבים בעזרת למידה עמוקה [3]. בשיטה זו, אלגוריתם לומד לזהות את העצם מתוך למידת המאפיינים השונים שלו בתמונה [4]. כך למשל, אם נרצה לזהות כלבי לברדור בתמונות נצטרך לאסוף כמה תמונות של כלבי לברדור, לסמן בכל תמונה היכן נמצא הכלב ולאמן אלגוריתם ללמוד להוציא מאפיינים רלוונטיים של לברדור מהתמונות. אם מזג האוויר והתאורה בהן יהיו דומים, כנראה תמונות אופייניות בודדות יספיקו לתהליך האימון. 

אך ייתכן שהדרישות יהיו מורכבות יותר. לצורך זיהוי הכלב במבט מהגב, או כאשר רואים בתמונה רק חלק ממנו, לדוגמה רק את פיו או את זנבו, נצטרך לאמן את האלגוריתם בעזרת תמונות רבות ומגוונות. ומה נעשה כאשר נרצה לזהות את כל סוגי הכלבים? כאן כבר נצטרך עשרות אלפי תמונות כדי להבחין בין כלב צ'יוואווה לבין חתול, שטיח או בגד, ובין סוג כלב אחד לאחר.

האלגוריתם החכם של חברת Pixellot התכוון לבצע פעולה "פשוטה" [5], ממש כמו זיהוי כלבי לברדור. מגרש הכדורגל ירוק וגדול, ושחקני הכדורגל בעלי לבוש אופייני וחזות יחסית קבועה: יש להם רגליים, ידיים, לבוש אופייני ותנועתם יחסית צפויה - הם נעים בנתיב ליניארי על גבי הדשא הירוק (פרט למקרים נדירים כמו משחקים בשלג, מצב הקורה בעיקר במשחקי FIFA). בתוך התווך היחסית קבוע הזה, Pixellot מחפשים תנועה מעט שונה של עצם בעל צורה עגולה ואופיינית - הכדור. הכדור נע בצורה שונה מאדם - הוא קופץ, הוא יכול לנוע בצורה אליפטית, יכול להתרחק מקו הדשא ואף לנוע הרבה יותר מהר משחקני הכדורגל. מאפיינים אלו מאפשרים זיהוי פשוט של הכדור ומעקב אחריו כדי להעביר לצופה את חווית המשחק. המעקב אחר הכדור מתבצע בעזרת צפייה בכמה תמונות עוקבות (פריימים). מהירות הכדור בין פריימים עוקבים קבועה בקירוב, וישנו שוני יחסית מועט ביניהם. בשיטה זו נוכל לזהות את הכדור בתמונה מסוימת ולאחר מכן נחשב את תנועתו, וכך נוכל להתמקד בכדור בעזרת הדמיון הרב בין הפריימים והתנועה הקבועה.

על התקלה שקרתה במהלך משחק בליגה הסקוטית בחודש שעבר כנראה לא חשבו כאשר אימנו את האלגוריתם לעקוב אחר עצמים עגולים הנעים לאורך המגרש [6]. צורתו של הכדור, כאמור, היא מאוד אופיינית וקל לעקוב אחר תנועתו. בנוסף לכדור ישנו עוד סוג של עצמים שקיים בכל משחק - ראשים של אנשים, ובפרט ראשים קרחים. הצופים התלוננו כי במצבים רבים במשחק, במקום להראות את השחקנים ואת הכדור (שכלל לא היה בפריים), המצלמות התמקדו בראשו הקירח של אחד משופטי המשחק, הקוון. קרחת מזכירה במקרים רבים כדור, הקוון רץ הלוך וחזור לאורך המגרש, והזיעה המבריקה יכולה לגרום לאלומת אור נקודתית בוהקת על גבי הקרחת (המכונה גם החזר אור ספקולרי [7]), וכך תבריק הקרחת ממש כמו כדור המואר באלומת אור מאחד מפנסי המגרש. ככל הנראה, בשלב אימון האלגוריתם של Pixellot לא היתה הבחנה ברורה בין כדור לבין קרחת של אדם. כלומר, ככל הנראה לא היו מספיק קרחות בתמונות עם כדורים, וככל הנראה לא בוצעה הערכה מדויקת לדינמיקה של העצם, כמו למשל השוואה עם הפריימים הקודמים או הבאים כדי לזהות את תנועת הכדור/קרחת. קרחות יופיעו וימשיכו להיות עגולות, אך נדרש להבדיל בינן לבין הכדור. מצב זה חזר לאורך המשחק כמה פעמים וגרם לתסכול רב לצופים, שכן האלגוריתם התמקד בתמונה מאוד לא מעניינת ולא רלוונטית למשחק. 

תקלות מסוג זה כמעט בלתי נמנעות, שכן קשה מאוד לחשוב מראש על כל התקלות העלולות לגרום לאלגוריתם לא לעבוד כראוי. נרצה לזהות כל התרחשות חריגה אשר קורית במשחק לטובת הנגשת התרחיש לצופה, אך נתקשה לזהות מקרים סטנדרטיים לכאורה, כמו שחקן שמתמוטט ללא סיבה במהלך משחק [8]. מקרה זה מדגיש עד כמה הטכנולוגיה של למידה עמוקה, ראייה ממוחשבת ומערכות אוטונומיות, שאמנם נמצאת בפעולה ומספקת ביצועים מרשימים, רחוקה מלהיות מושלמת ועצמאית. ייתכן שכל מקרה שכזה עוזר לאלגוריתמים להיות מעט יותר מדויקים, אך מרחיק אותנו מלתת להם עצמאות מוחלטת בביצוע פעולות אשר אנחנו עדיין יכולים לבצע בעצמנו. 

קישורים:

[1] מוצאים את אפי, מתוך מדע גדול בקטנה

[2] סרטון מעקב של רחפן אחרי רוכב אופנוע בעזרת ראיה ממוחשבת

[3] למידה עמוקה, מתוך מדע גדול בקטנה

[4] זיהוי מאפיינים בתמונה, מתוך מדע גדול בקטנה

[5] אתר חברת Pixellot

[6] זיהוי קרחת של אחד השופטים ככדור בעת משחק כדורגל בליגה הסקוטית

[7] מודל התאורה של פונג

[8] מני לוי, שחקן מכבי תל אביב אשר התמוטט במהלך משחק בינואר 2002