מדע בזיוני

כבר מזמן לא כתבתי כאן על אמזון, אז הנה זה בא.
מערכות המלצה אוטומטיות (recommender systems) הן עניין לדון בו. יש בזה הרבה עניין מדעי ולא פחות מכך עניין מסחרי. אבל לא במערכות המלצה יעסוק הפוסט הזה אלא בבן דוד קרוב שלהם - רשימות לקריאה נוספת. לפני כמה חודשים אמזון הוסיפו פיצ'ר חדש לחנות הספרים שלהם והוא 'ספרים קשורים' (books on related topics). בינתיים הפיצ'ר הזה לא זמין לכל הספרים (למעשה הוא זמין רק למיעוטם) והוא בהחלט סובל מכמה מחלות בהן אנסה לדון כאן.

חשוב להבדיל בין הפיצ'ר הזה לפיצ'ר ההמלצות המותאמות אישית (על פי הוויש-ליסטס) ושונה גם מההמלצה הפחות פרסונלית של אמזון 'לקוחות שקנו את הספר הזה קנו גם'. מערכות ההמלצה מבוססות בעיקר על סינון שיתופי (collaborative filtering) כלומר, על התאמה סטטיסטית של רשימת ההעדפות שלי ורשימת ההעדפות של אחרים והמלצה על ספרים שנמצאים ברשימות האחרות תחת ההנחה הסבירה שחפיפה גבוהה מעידה על טעם זהה ולפיכך בטח אוהב גם את הספרים האחרים. 'ספרים בנושאים קשורים' (סב"ק), בניגוד למערכות המלצה [הערה אישית: צריך למצוא תרגום יותר מוצלח. המלצות?], מבוססים על תוכן הספר או כמו שמסבירים באמזון:

This feature helps you find books on similar topics to the book that you are currently viewing. We determine whether two books discuss similar topics by looking at the Statistically Improbable Phrases, or "SIPs," that occur in both books. The more SIPs the two books share, the more closely related they are.

באופן עקרוני זה מאוד דומה לאופן הפעולה של מנוע חיפוש (מתנדב פוסט אורח?!), כלומר של שלב האינדוקס של מנוע החיפוש. אבל לאמזון, משום מה, זה לא ממש פועל. דוגמאות? בבקשה*:
1. בסב"ק של העולם שטוח (the World is Flat) של פרידמן נמצא ספר יחיד - 'Trump University Entrepreneurship 101: How to Turn Your Idea into a Money Machine'.. לא קראתי את הספר של טרמפ (יוניברסיטי) אבל אני די משוכנע שהוא לא באמת קשור.
2. בסב"ק של אי המטמון (Treasure Island) מופיעים חמישה ספרים… חמש מהדורות נוספות של אי המטמון (פשוט מבתי הוצאה אחרים), ספר אחד בשם פיראטים (למה דווקא זה?!) וספר נוסף בשם the Definition of Literature and Other Essays. מוזר משהו.
3. יוליסס? מהדורה נוספת של יוליסס.
4. המזל מאיר פנים לצופן דה-וינצ'י (The da Vinci Code). בסב"ק שלו מופיעה מהדורה מיוחדת ומאויירת של צופן דה-וינצ'י ועוד חמישה ספרים, כולם עוסקים באופן ישיר בצופן דה וינצ'י (הספר), למשל Secrets of the Code או De-coding the Code.

אז מי/למה צריך את זה?

השאלה הראשונה והמתבקשת (אם נתעלם לרגע מהביצועים העלובים) היא בשביל מה בכלל צריך את בלון הניסוי הזה – 'ספרים בנושאים קשורים'. התשובה שצצה לי בראש היא שזו מעין רשימת קריאה לעיון נוסף, כלומר לא לפי טעם אישי אלא לפי נושאי עניין. אתה בקטע של צופן דה וינצ'י? אולי תתעניין גם בספרים קשורים, למשל בגירסה המאויירת או בפולמוס על הספר. בשביל ליצור את רשימת הקריאה הזו צריך להתייחס לתוכן הספר ולא רק לרשימת הספרים שאהבתי. (אתם כמובן מוזמנים להעלות הסברים ושימושים נוספים. כן, בתגובות

ולמה ככה ולא קלאסטרינג (clustering) רגיל?

השאלה השניה נוגעת לשיטה. בניסוח אחר של הבעיה, אנחנו רוצים למצוא ספרים עם טקסט דומה (דומה במובן זה או אחר). ישנם מספר אלגוריתמים וותיקים ומוצלחים לסיווג טקסט (text classification/categorization) ולקלאסטרינג של טקסטים (שזה בעצם מה שהפיצ'ר הזה עושה), מדוע צריכים היו האלגוריתמיקאים של אמזון להשתמש במה שהם כינו SIPs – ביטויים לא סבירים סטטיסטית ולא באחת משיטות הקלאסטרינג המקובלות? גם כאן אני לא משוכנע בתשובה, אבל אני מנחש שהפעלה של אלגוריתמים לסיווג טקסט על טקסט המקור של מיליוני ספרים מצריכה כח חישוב גדול מדי כך שהמימוש לא ממש מעשי, או שאולי המימוש דווקא סביר אבל הטקסט המלא כל כך רועש עד שחבל על המאמץ. כנראה שהשימוש ב-SIP הוא דרך להורדת המימד (dimensionality reduction) בדרך לייצוג הספר בצורה קומפקטית יותר ולפיכך ניתנת לחישוב יעיל. (תפריעו בכל רגע שתרצו – התגובות מחכות).

מה הקשר?

השאלה השלישית ואולי המעניינת מכולן היא מהם הקריטריונים לקשר בין ספרים. אני אמשיך עם צופן דה וינצ'י, משום שהוא ספר פולחן (זבל אמיתי בסולם אורן), מקור לא אכזב לקוריוזים, מוזרויות ומקרי מבחן.

לקורא אשר לא ידע את דה וינצ'י אספר שמדובר במותחן בו מסופר על רוברט לנגדון, פרופסור לתורת הסמלים וסופי נווה, מפענחת צפנים צרפתית שביחד מנסים לפענח סדרת חידות וצפנים שהשאיר להם הסבא של סופי בטרם נרצח במוזיאון הלובר. הם צדים וניצודים במהלך מרדך חוצה גבולות – איטליה, צרפת אנגליה. החידות כולן קשורות להסטוריה המפוקפקת של הנצרות (דן בראון טוען שחשף אמיתות היסטוריות ומבקריו, נוצרים ואתאיסטים כאחד, טוענים שהוא פנטזיונר), למעמד האישה בנצרות (נו, קצת פילפל בשביל הפמיניסטיות-לייט), ולאוסף מיתוסים וקונספירציות בקשר למסדרי אבירים (הטמפלרים, מסדר ציון) ולזרמים שונים בכנסיה (אופוס דאי, הנצרות המקורית שלפני קונסטנטין וכו'). אה-כן, הגביע הקדוש גם הוא לא נפקד מהסיפור. כולם רוצים את הגביע הקדוש.

עכשיו תרשו לי להציג לכם מועמד נוסף לספר באותו נושא. קבלו את המטוטלת של פוקו (Foucault’s Pendulum) של אומברטו אקו. [וידוי – הפסקתי בערך בעמוד 150]. ועכשיו תיאור קצר של המטוטלת של פוקו - מותחן בו מסופר על סופר שמתחקה אחרי רמזים שמצא במחשב של חברו שמת (השתגע לפני?). העלילה נודדת בין איטליה לצרפת שם מתחבא הגיבור במעמקי מוזיאונים כדי לגלות את סודותיהם של אגודות נוצריות חשאיות ולתת סדר בין תיאוריות הקוספירציה השונות הקשורות בהן.

שני הספרים (המטוטלת של פוקו וצופן דה וינצ'י) היו רבי מכר מטורפים. שני הספרים עוסקים בנושאים דומים – פיענוח חידות וצפנים וקונספירציות הקשורות לנצרות. לעומת זאת, קשה להעלות על הדעת שני ספרים שפונים לקהל יעד כה שונה. דה וינצ'י הוא קריאה קלה ולא ממש מאתגרת (למרות היומרה) ופוקו הוא אחד הספרים הקשים לקריאה, הן מבחינה סיגנונית, הן מבחינת אוצר המילים והן מבחינת הרעיונות אליהם מכוון הספר (הסטוריה של הדת, בלשנות ובינה מלאכותית). כלומר די ברור שמערכת המלצה לא אמורה להמליץ לחחובבי דן בראון לקרוא את אומברטו אקו. מאידך – אולי מערכת סב"ק דווקא אמורה לקשר בין הספרים מעין – קריאה נוספת על המיתוסים והקונספירציות הקשורים ביסודות הנצרות. ובקשר לעניין הזה, קוראים יקרים, אני עומד אובד עצות.
אבל למרות העצות האבודות שלי, אני עדיין מתפלא על האלגוריתם של אמזון שמצד אחד מספק סב"ק טריוויאליים כמו אותו ספר בהוצאה נוספת, ומצד שני מתבדר ומציע ספרים רנדומליים בעלי הקשר מפוקפק.
ושוב, נניח לאמזון ומוזרויותיה ונחזור לשאלה המקורית וגם בה, קוראים נכבדים – אשמח לשמוע את דעתכם מחזירת העצות בדבר הקריטריונים לקשר בין ספרים.

*הדוגמאות נכונות ליום כתיבת הפוסט. ייתכן שאמזון ישנו את האלגוריתם וגם הסבק"ים ישתנו.

———
פוסטים קשורים:
- מוזיקה גחלילית
- פכים קטנים מו האמזונס