מערכות המלצה מתוקשבות והתאמת מידע באתרי אינטרנט

עמי סלנט , ספטמבר 2017

כיצד יודע אתר אינטרנט מסוים שאני גולש בו בקביעות מה אני מחפש ובמה אני מתעניין ?

כך לדוגמא, כל פעם שאני גולש באתר פינטרסט או באתר אמזון , המערכת מציעה לי פריטי מידע ויזואליים מעניינים  ( פינטרסט) שמתאימים לתחום העניין שלי או ספרים שמתאימים בדיוק לתחום העניין שלי ( אמזון) .

ההצלחה של האתרים האלו לחיזוי תחום ההתעניינות שלי נובעת מהפעלה מושכלת ומתוחכמת של מערכות המלצה מתוקשבות הפועלות כל הזמן בתוך האתר ומסתייעות באלגוריתם חכם.

מערכות המלצה הן מערכות מוניטין ו/או מנגנונים שונים המשמשים כדי לסנן כמויות גדולות של מידע באמצעות הפצת תהליך של סינון בקרב קבוצה גדולה של אנשים.

המערכות מספקות המלצות למשתמשים על פריטי תוכן או פריטי סחר שעשויים לעניין אותם.

ההמלצות  המתוקשבות עוזרות למשתמשים לאתר פריטים רלוונטיים או לקרוא כתבת תוכן שמעניינת אותם.

מערכות המלצה מציעות למשתמש מוצרים או דפי אינטרנט שעשויים לעניין אותו, בהתבסס על מידע שהמערכת אספה על המשתמש ועל הפריטים המתאימים  לו.

ההמלצה מבוססת לעתים גם מהליך חקר מתוקשב של ניתוח המידע אשר נאסף על המשתמש, על ידי מערכת המלצה שיתופית, (Collaborative Filtering) , כלומר , השוואה מול קבוצת חברים עם פרופיל דומה .

יתרון בולט במערכות ההמלצה הוא תהליך זיקוק ארוך טווח של מידע המותאם כל הזמן מול צבירת מידע על פרופיל ההתעניינות של המשתמש.

ישנן מספר סוגים של שיטות המלצה:

• מערכות מבוססות תוכן – מתבססות על תוכן דפי האינטרנט או תיאור הפריטים. המערכות בקטגוריה זו מתחלקות לשלושה סוגים, מבוססות על תוכן פרופיל משתמש ותיאור פריטים, מבוססות על נתוני פרופיל המשתמש (גיל, מיקום גאוגרפי ועוד) ומבוססות על היסטוריית הגלישה של המשתמש. מערכות המבוססות על תוכן פרופיל משתמש סוקרות פריטים שתוכנם מותאם לתוכן הקיים בפרופיל המשתמש.
• מערכות המבוססות על נתוני פרופיל המשתמש מתאימות מוצרים שעשויים להיות רלוונטיים למשתמש על פי נתונים כגון גיל או מיקום גאוגרפי. מערכות המבוססות על היסטוריית הגלישה של המשתמש עושות שימוש בשיטות של כריית נתונים מנתוני היסטוריית הגלישה של המשתמש ומזהות את תחומי העניין שלו. ככל שפרופיל המשתמש יכיל נתונים רבים ומדויקים יותר כך ההמלצה תהיה טובה יותר. סוגיה זו נפתרת אם פועלים בשיטה מבוססת היסטוריית גלישה, שבה המערכת אוספת נתונים ללא כל משוב מהמשתמש עצמו.
• מערכות מבוססות משוב – מערכות אלו תלויות בשיתוף פעולה מצד המשתמש. קטגוריה זו מחולקת לשיטות המבוססות על דירוג פריטים ושיטות המבוססות על דירוג קשרים בין פריטים. במערכות המבוססות על דירוג פריטים המשתמש מדרג את דף האינטרנט או הפריט אותו הוא סוקר ובחירתו מצטרפת לדירוג של יתר המשתמשים.
• מערכות משולבות – מערכות אלו משתמשות הן בשיטות מבוססות משוב מהמשתמשים והן בשיטות מבוססות תוכן, כך למשל כאשר מערכת משולבת ממליצה על סרט או ספר , היא תמליץ על סרט שהומלץ על ידי משתמשים אחרים וגם בעל תוכן המתאים למשתמש.

Collaborative Filtering

סינון שיתופי  (Collaborative Filtering) מתאר תהליך של סינון מידע באמצעות שיתוף פעולה בין משתמשי מחשב שונים או בין סוכנים אוטומטים שונים. מטרתו של הסינון השיתופי היא להקל על משתמשים למצוא מוצרים ו/או ידע על ידי מציאת הדמיון ביניהם לבין היסטוריית הגלישה והצריכה של משתמשים אחרים בעלי אפיון דומה. הנחת היסוד של גישת הסינון השיתופי היא שאם לפלוני יש העדפות הדומות לאלה של אלמוני בנושא מסוים או מוצר, אזי קיים סיכוי שהעדפותיהם יהיו דומות גם בנושאים אחרים ובמוצרים אחרים.

תהליך סינון שיתופי מאפשר באמצעות אלגוריתם לתת את המענה המתאים ביותר עבור המשתמש בבואו למצוא מידע רלוונטי עבורו. השימוש באלגוריתם זה נפוץ במיוחד במערכות המלצה באתרים באינטרנט.

את טכניקת הסינון השיתופי ניתן למצוא בשימוש באתרים כמו גוגל, אמזון, eBay, Slashdot ו-LinekdIN . אתרים אלו מכילים כמויות גדולות מאוד של נתונים ומשתמשים והמשותף להם הוא הרצון לתת את ההמלצה הטובה ביותר עבור המשתמש.

האתגר העומד בפני מודל הסינון שיתופי הוא ביכולת לתת את המשקל הנכון להעדפות של כל אחד מן המשתמשים.

מטרת הסינון השיתופי היא לדעת מה להמליץ לפלוני על מוצר ו/או ידע. האלגוריתם להמלצה משתנה בהתאם לסוג האלגוריתם שבו המערכת משתמשת, אך המטרה נשארת זהה.

ניתן להציג את צורת ההמלצה של המערכת בדוגמה הבאה:

קיימת מערכת המלצה של סרטים באינטרנט על פי סוגות. מערכת זו ממליצה למשתמש מסוים על סרטים חדשים על ידי ניתוח העדפותיו בסרטים כפי שבאו לידי ביטוי בפעילותיו הקודמות באתר. מערכת ההמלצה מאתרת משתמשים דומים (משתמשים בעלי העדפות דומות), בודקת אלו סרטים נוספים העדיפו המשתמשים הדומים ועל בסיסה ממליצה על רשימה של סרטים.

סוגים של סינון שיתופי

קיימים שני סוגים של סינון שיתופי.

א.סינון שיתופי מבוסס זיכרון

שיטה זו מוכרת גם בשם אלגוריתם השכן הקרוב. בסיס השיטה בא לחזות אילו מוצרים עתידיים משתמש מסוים ירצה לקנות על פי אפיון של משתמשים הדומים לו.

האלגוריתם עובד על סמך שני מודלים סטטיסטיים

• מתאם: האלגוריתם בודק את העדפותיהם של כל שני משתמשים בעלי מתאם גבוה.
• דמיון וקטורי: האלגוריתם מתייחס לכל משתמש כווקטור. כל משתמש מקבל ייצוג כווקטור. הווקטור לוקח את המילים שהוקלדו, והבחירות שנעשו ומשקלל אותם לתוך אותו וקטור. על בסיס דמיון בין שני וקטורים (שני משתמשים) המערכת חוזה מה יהיו העדפות המשתמשים בעלי אפיון דומה.

שיטה זו פופולרית ומיושמת רבות באתרי אינטרנט.

ב. סינון שיתופי מבוסס מודל

בשיטה זו אוספים בתחילה את הדרוג של כל משתמש. הדרוג כולל את היסטורית הרכישות שלו ואתרים בהם ביקר. את המידע הנ"ל המערכת מגדירה כ"הצבעה" ועל ידי למידת מכונה  מחשבת את ההמלצה שכדאי להציע לאותו משתמש.

האלגוריתם עובד על סמך שלושה מודלים סטטיסטיים:

• הרשת הבייסיאנית (Bayesian Network Model): מודל סטטיסטי המייצג סט של משתנים אקראיים ואת העצמאות המותנה ביניהם. הרשת לוקחת כל אחד מן המוצרים / תכנים ובונה עבורו "עץ החלטות" .
• מודל האשכול (Cluster Models): הרעיון בבסיס מודל זה הוא לאסוף משתמשים שיש להם אפיון דומה או מכנה משותף סביב נושא מסוים ולהכניס אותם לאותה קטגוריה או מעמד. המודל לוקח בחשבון גם משתנים סמויים או משתנים חבויים וזה החידוש שלו. ברגע שמשתמש נכנס לקטגוריה מסוימת או למעמד מסוים המודל יודע להציע לאותו משתמש את ההמלצות בהתאם למשתנים של אותו מעמד. מודל זה ידוע כמודל תערובת המולטינום.
• מערכת מבוססת כללים (Rule Based system): מודל זה לוקח משתנים עם קשר אסוציאטיבי ומחשב זאת עד המלצת קניה. קשר בין שני מוצרים או יותר מחושב הן על סמך אסוציאציה בין המוצרים והן על סמך הקשר השימוש.

מערכות המלצה מתוקשבת : מערכת טאבולה (Taboola),  שפותחה בישראל

רכיב התוכנה של טאבולה , חברת תוכנה ישראלית שמושתל באלפי אתרים יודע לאפיין משתמשים ופוגש את הקורא האמריקאי הממוצע כ־60 פעם בחודש, מה שמאפשר לחברה לערוך פילוח ברמה גבוהה. כך יודעת טאבולה מהו מיקומו של המשתמש, מאילו מכשירים הוא גולש, באילו שעות וימים, מהו מינו ומהו גילו פחות או יותר.

במקביל מחזיקה החברה במערכת לניהול המלצות שהיא משלבת באתרים השונים. מערכת זו מציגה בפני הקורא כתבה מסוימת המלצה על כתבות נוספות בתוך אותו אתר ועל כתבות של שותפי מדיה מאתרים אחרים או המלצות בתשלום על תכנים מכלל הרשת הממומנים בידי מפרסמים – ערוץ ההכנסות המרכזי של טאבולה. בחברה הישראלית פועלים כדי לשלוט לחלוטין בקישורים האלה ולהתאים את המידע המוצג באתר לכל משתמש ברמת פילוח כמה שיותר גבוהה.

בין האתרים שטאבולה פועלת איתם ישנם גופי ענק כמו NBC, ביזנס אינסיידר, יורוספורט, אטלנטיק ויאהו יפן (שהיא גם אחת המשקיעות בחברה).

 אתרי תוכן ישראליים כגון וואלה  או  YNET מציגים בתחתית הכתבה מספר המלצות תוכן – חלקן פנימיות ואחת לפחות חיצונית. ההמלצה החיצונית יכולה להיות לאתר תוכן אחר או לרוב לכתבת תוכן של מותג או מפרסם. אלה משלמים לחברת ההמלצות עבור הטראפיק שהגיע לאתר שלהם וההכנסות מתחלקות בין חברת ההמלצות לבין אתר התוכן שהפנה לאתר החיצוני.

 חברה נוספת ישראלית המתמחה במערכות המלצה היא אאוטבריין

מה עושים האלגוריתמים של אאוטבריין?

הרבה דברים, החל ממעקב אחר דפוסי גלישה ספציפיים וכלה ב"חכמת המונים". איך אוספים נתוני חכמת המונים? מפיצים את כותרת הכתבה שלכם המון פעמים בכל הדפים של כל האתרים שעובדים מול אאוטבריין, ומתחילים לצבור מידע: מי האנשים שבחרו ללחוץ על הכתבה שלכם, מה עוד עניין אותם חוץ מהכתבה הזו, מה מאפיין את דפוסי צריכת התוכן שלהם וכדומה.

Outbrain–אז איך המנגנון עובד?

האלגוריתם של Outbrain סורק את אתרי הרשת, ומזהה תבניות גלישה שונות של הגולש תוך יצירת סטטיסטיקות מדויקות להפליא המצליחות להפיק המלצות לתוכן שיעניין את הגולש הספציפי בכל זמן נתון. המלצות אלו ניתנות לגולש בסוף עמוד התוכן שהוא נמצא בו, ומוצגות בצורה שיוצרת מעבר טבעי להמשך קריאה.

התוצאה היא דפדוף ברשת האינטרנט בדומה לדפדוף במגזין, כאשר העמודים שתפגשו הם תמיד עמודים שיעניינו אתכם, עמודים שהתוכן שלהם מתאים בדיוק למה שאתם מחפשים. לכן,  ענקיות השוק העולמי, בחרו להשתמש בשירותים של Outbrain באתרים שלהם. מדובר בחברות גדולות כגון CNN, Fox News, The Guardian ועוד רבות וטובות.

החברה אפשרה לראשונה גם לכלי תקשורת קטנים, לבלוגים ולמפרסמים קטנים להטמיע את המנגנון שלה, במהלך שצפוי להגדיל משמעותית את מאגר הלקוחות הפוטנציאליים שלה. חידושים אחרים משפרים את איכות ההמלצה באמצעות אלגוריתמים העוקבים אחר הוויראליות של כתבות בפייסבוק ובטוויטר, ובוחנים את שיקולי העורכים: הכותרות שנתנו ומיקום הכתבות באתר.

למתעניינים בתחום :

Beginners Guide to learn about Content Based Recommender Engines

Recommender system – Wikipedia

Collaborative filtering – Wikipedia

Understanding basics of Recommendation Engines (with case study)

• Taboola.com – The Largest Discovery Platform‎

סינון שיתופי – ויקיפדיה