מדע בזיוני

פלוריבו (pluribo) הוא תוסף פיירפוקס חדש מהתנור של פלוריבו, סטרט-אפ ניו-יורקי, שמסכם לכם את מאות ביקורות המוצרים באמזון ונותן לכם תקציר בן שני משפטים. לא צריך להתלהב, הוא עוד לא פועל בצורה אופטימלית והוא גם די מוגבל למוצרי אלקטרוניקה (גאדג'טים) אבל היומרות (והאלגוריתמים) שמאחוריו הם מרשימים ומעניינים.

התוסף הזה יקר לליבי גם כי הוא קרוב מאוד למחקר האקדמי שלי שעוסק גם הוא, בין היתר, בביקורות מוצרים וספרים באמזון. חוששני שזו ההתייחסות הבלוגרית המפורטת ביותר לפלוריבו. חבל שזה בלוג עברי… השורה התחתונה: תוסף מעניין ומסקרן אבל די מוגבל (לפחות בינתיים).

הבעיה: עודף, רעש ובלגן

אמזון, כידוע, הייתה מחלוצות תוכן הגולשים ואיפשרה לנו לכתוב ביקורות על המוצרים הנמכרים. זה טוב ויפה ונפלא ומשקף את כל הטוב שברשת. וגם את הרע. לחלק מהמוצרים באמזון מאות ואלפי ביקורות. חלקן מצויינות (כלומר מועילות) וחלקן עילגות או מניפולטיביות.
אני, אתם והמשתמש התמים שרוצה לקרוא כמה ביקורות שיעזרו לו לקבל החלטה האם לקנות את המוצר עומדים נדהמים בפני מלל אינסופי. אנחנו יכולים לנסות לברור את המוץ מן התבן ולמצוא ביקורת עניינית וכתובה היטב אבל אנחנו גם רוצים להנות מחכמת ההמונים הטמונה בריבוי הביקורות. אמזון מספקים פיתרונות חלקיים בדמות מיון הביקורות לפי קריטריונים שונים (מיון בעייתי ושנוי במחלוקת) או בדמות ממוצע הכוכבים לאותו מוצר (מצב בעייתי גם כן, הנה פוסט מהפלוריבלוג: the tyranny of five stars ).
פלוריבו מנסה לפתור את הבעיה הזו על ידי יצירת סיכום בן משפט או שניים שמסכם את הדעות החיוביות והשליליות על המוצר. הנה, למשל, הסיכום שלהם על כמה מוצרים:

איפוד-ננו:

This is a top-selling product. Reviewers praise the design, display, and software. It's worth a closer look.

הנה הסיכום הבעייתי משהו על מצלמת Nikon Coolpix S550:

There are relatively few opinions, but so far it looks that this is a so-so item. The user reviews are so-so for the category.

והנה סיכום על Canon Powershot SD1100, המתחרה של הקולפיקס:

Minor concerns aside, go for it; in spite of small scruples with the focus, reviewers cherish the zoom, ease of use, and size.

תראו איזה יופי – יש כאן סיכום שכולל המלצה חמה בליווי הסתייגות מינורית + התייחסות לפיצ'רים העיקריים טובים כרעים (פוקוס, זום, גודל וקלות שימוש).

הפיתרון – עודף (כן, כן) והבעיות הנוספות שמביא איתו העודף

פלוריבו, פועלים בשני מימדים בלתי תלויים: מימד ראשון הוא שייך לכריית המידע וכריית הטקסט על ידי אלגוריתם לניתוח הביקורות והמימד השני הוא יצירת סיכום קוהרנטי (גנרציה).

אבל הדברים רחוקים מלהיות מושלמים בממלכת פלוריבו (הם הראשונים להודות בכך באתר האינטרנט שלהם ובבלוג).
קודם כל, יש לי בעיה עקרונית עם פלוריבו ועם עצם הניסיון לסכם מוצר במשפט אחד. האם המשתמש ירוץ לשלם כמה מאות דולר על גאדג'ט אחרי שקרא עליו סיכום בן משפט אחד? אני לא משוכנע, אבל זו רק דעתי העניה והקמצנית. נניח את דעתי בצד ונתמקד בהבטים הטכניים יותר.

פלוריבו ניזונה משפע (redundancy). האלגוריתם לניתוח הביקורות הוא בעיקרו סטטיסטי וצריך הרבה התייחסויות לכל פיצ'ר רלוונטי. השאלה הגדולה היא כמה זה 'הרבה'. פלוריבו מצהירים שהם צריכים לפחות 30 ביקורות כדי ליצור את הסיכום המבוקש. לניקון קולפיקס 49 ביקורות ועדיין הסיכום בעייתי משהו.

פלוריבו מאפשרים למשתמש הסקרן לקבל גם אינפורמציה נוספת, וויזואלית, שתעזור לו לקבל תמונה מלאה יותר ואולי גם להשקיט את החששות מביקורת בת שורה.
פשוט שמים את העכבר על scores ומקבלים השוואה גרפית של הציון הממוצע של הפיצ'רים של המוצר לעומת הציון הממוצע של אותם פיצ'רים במוצרים אחרים מאותה קטגוריה.

[הקליקו להגדלה]

גם כאן יש שאלה עקרונית ללא מענה – מהם המוצרים האחרים באותה קטגוריה. ניקח למשל את האייפוד ננו – האם גם אייפוד מבודד דיסק עם נפח של 160 ג'יגה ונגן מפ3 בחמישים שקל שהתקבל עם פתיחת חשבון בנק בבנק 'עושר ועושק' הם באותה קטגוריה של הננו (נגני מפ3)? ההשוואה והציון היחסי רגישים מאוד להגדרת הקטגוריה ומציאת הקטגוריה הנכונה הנכונה לשיוך מוצר היא בעיה נפרדת וסבוכה (צפו לפוסט בעניין. ראו הוזהרתם). שיוך לא מדוייק וכל ההשוואה של פלוריבו הופכת ללא רלוונטית.

תכונה נחמדה נוספת של פלוריבו היא הצגת מבחר ציטוטים, שוב, על מנת להשקיט את ליבו של המשתמש החושש. העכבר על הפיצ'ר הנדון ונפתחת רשימה של מובאות.

[הקליקו להגדלה]

הרשימה הזו חושפת עוד כמה בעיות מהותיות בפלוריבו* – זיהוי נכון של פיצ'רים וציונים, או בלעז feature extraction, polarity, sentiment (הנה טעימה מגוגל סקולר) – כלומר איך בדיוק נזהה ששני משפטים מדברים על אותו פיצ'ר ואיך נזהה מהי בדיוק הדעה המובעת על אותו פיצ'ר והאם היא חיובית או שלילית. לפעמים זה קל. "זום מצויין", "חיי סוללה ארוכים" הם דוגמאות למשפטים נוחים. אבל איך נשווה את "חיי סוללה ארוכים" שמופיע בביקורת אחת ל"ניצול מרשים של מקור המתח – לא צריך להטעין לעיתים תכופות"?

נראה שפלוריבו פותרים את הבעיה בצורה חלקית בלבד. שימו לב לרשימת המובאות בתמונה למעלה. בכולם (מלבד באחד) מופיעה המילה ease שמשמשת כעוגן, לא תמיד בהקשר הנכון. השיוך של very intuitive לרשימה הזו הוא מרשים ויפה.

התוצאות מעניינות יותר ברשימת המובאות המתייחסות לגודל המצלמה. פלוריבו מזהה יותר מילים שמתייחסות לגודל אבל ריבוי המילים גורם גם להוצאות מההקשר.
excellent compact ו- traffic pocket הן כנראה מובאות מפתיח או סיום של ביקורת (teriffic pocket camera) והן מהוות ציון כללי ושיוך לקטגורית גודל ולא התייחסות מפורשת לגודל המצלמה הספציפית.

[הקליקו להגדלה]

תתקינו את התוסף ותבדקו את המובאות של פלוריבו על הפוקוס. גם זה מעניין.

אבל הבעיה הגדולה של פלוריבו היא שהתוסף לא פועל על מרבית המוצרים, כם אלו מרובי הביקורות. על ספרים בכלל אין מה לדבר, אבל גם הכיסוי של הגאדג'טים די מוגבל. השאלה היא כמובן למה. כלומר מה גורם לאלגוריתם שלהם לתת תוצאות טובות (או לפחות כאלו שנראות טובות) עבור מוצרים מסויימים ולא לתת תוצאות כלל (או לא להיות מיושמים) על מוצרים אחרים. ההתאמה הזו של אלגוריתם למוצרים (דומיינים) שונים הוא לא טריוויאלי ולא מעט מחקר מתמקד בזיהוי דומיינים בעייתיים או קרובים ובהתאמה אוטומטית של האלגוריתם לדומיין החדש (באקדמית domain adaptation).
אז מה הם יודעים שם בפלוריבו ולא מספרים לנו? מה הם ניסו וכשלו? אילו תוצאות הם מתביישים לספק ולכן חוסמים את המוצר/דומיין ולא מציגים תוצאות? זה מה שמעניין באמת.

*זה המקום להוסיף כאן הסתייגות מסויימת – הבעיות האלו אותן אני סוקר ומונה בהנאה מרובה לא נובעות בגלל חפיפנקיות של אנשי פלוריבו. להיפך, מתקבל אצלי הרושם שהם בהחלט יודעים מה הם עושים. הבעיות כאן אינהרנטיות לתחום והבעיות האלו בדיוק נחקרות גם באקדמיה עם הצלחה חלקית בלבד. תוסיפו לזה את אילוצי הריל-טיים של התוסף ותבינו את הבעייתיות והתוצאות המוזרות לעיתים.

——————————

עוד על ביקורות מוצרים באמזון ותוכן גולשים:
- רביזור – מי בקר את המבקר?
- אז מה משפיע על דירוג המועילות באמזון?
- פכים קטנים מהאמזונס