מדע בזיוני

מעניין. אולי זה אפילו נכון.

הבלוג של אורן צור-

אורן הוא:
-עוד קורבן של הסטטיסטיקה
-נכשל במבחן טיורינג

מסתבר שאחוז נכבד מהגולשים קורא ביקורות, עורך השוואות של פיצ'רים ומחירים ובאופן כללי – סומך על אתרים עצמאיים ועל ביקורות גולשים ואלו מהווים משקל נכבד בהחלטת הקניה. אלא שעולם "ביקורות הקוראים" הוא ג'ונגל פרוע ומלוכלך וכך נולד הצורך (הרקורסיבי?) לבקר ולדרג את הביקורות. האם זה בכלל אפשר, האם אפשרי לעשות את זה בצורה אוטומטית ואולי זו בכלל הונאה? (ותוכלו גם לסייע ולתרום למדע).

זה כבר כמה שנים שביקורות מוצרים באינטרנט זה חם. ספרים, נגני מוזיקה או מכונות כביסה – העיקר שתכתבו את דעתכם. גם זה סוג של תוכן גולשים. אני חושב שאמזון היו הראשונים להבין את הפונטציאל הגלום בביקורות גולשים ואיפשרו לקוראים לכתוב ביקורות קצרות על הספרים. ביקרתי משמע אני קיים – בכמה משפטים תרמתנו את חלקנו והראנו לעולם את כושר ההתבטאות המופלא שלנו (אנחנו הישראלים זיקקנו את זה לתמצית קומפקטית ולמדנו לטקבק "12. כותב המאמר הוא אידיוט!" ואחר כך "43. ל-12 אתה אידיוט!"). ככותב בלוג בעצמי זה יהיה קצת מוזר ללגלג על הגרפומניה של כותבי הביקורות ובכל מקרה – הרתימה של הגולשים ליצירת תוכן בחינם ובכך גם להגדיל את התעבורה באתר וחשוב מזה – להעלות את נפח המכירות היא לא פחות ממבריקה. אמזון עשו מזה מודל כלכלי שלם. הנה, אגב, רשימה חביבה שפורסמה ב-salon.com בשנים הנאיוויות של המאה הקודמת: Terrors of the Amazon.
אלא שגולם הביקורות קם על יוצרו ומרוב ביקורות כבר לא רואים מוצר. חמור מכך – מרוב ביקורות כבר לא רואים את הביקורת – כשיש מעל אלף ביקורות על מוצר או ספר כלשהו אז קשה לברור את התבן מן המוץ ולהחליט איזו ביקורת לקרוא ולאיזו ביקורת להאמין. אמינות הביקורות לא נפגעת רק בגלל ההצפה בביקורות שאינן אינטליגנטיות אלא גם בגלל ניסיונות הטייה מכוונים, ספאם ועוד (הבלוג פרסום גרילה באינטרנט מוקדש כולו להטיות האלו שהפכו לאסטרטגיה מקצועית לגיטימית יותר או פחות [רמז – פחות], אבל ההטיות המכוונות וניסיונות הספאם הלא מקצועיים קיימים כבר שנים, הנה טעימה מהניו-יורק טיימס 2004 – הפאשלה של אמזון חושפת את מלחמת ביקורות הקוראים).

וכאן נכנס העניין האקדמי, מְלֻווה, כדרכו, בהתעניינות עיסקית. האינטרס הכלכלי הוא ברור – סינון הביקורות הטובות והאובייקטיביות ועל ידי כך שמירה על ערך הביקורות והערך המוסף שהם מייצרות לאתרי המכירות. ב"ביקורות טובות" אני מתכוון לביקורות איכותיות ולאו דווקא לביקורות חיוביות, וב"ביקורות אובייקטיביות" אני מתכוון לכאלה, חיוביות או שליליות, שנכתבו בתום לב ולא כחלק מקמפיין קידום או השחרה. נראה שגם כאן אמזון היו בין חלוצים בתחום והיו בין הראשונים לאפשר מנגנון דירוג ביקורות. באמזון יכול כל גולש לסמן ביקורת כ'מועילה' או 'מיותרת' (למעשה בוחרים 'כן' או 'לא' כתשובה לשאלה was this review helpful to you?) ואפשר גם "להלשין" על ביקורת שהיא 'לא מתאימה'. באופן דומה צצו כל מנגנוני ה'דיג' ו'השווה קריאה' להמלצות על פוסטים נבחרים בבלוגים. בעוד המלצות על פוסטים הם יחסי ציבור נחמדים עם השלכות כלכליות עקיפות (בינתיים), ההשלכות המסחריות של דירוג של ביקורות מוצרים ברורות ומיידיות.

אמזון, יאהו וגוגל מפתחות כלים לניתוח ביקורות, דירוג שלהם או סיכום של אלפי ביקורות לביקורת תמציתית אחת. מחקר ענף בנושא מתפתח גם באקדמיה. האתגר הוא כמובן ניתוח תכנים באופן כללי, גם, נניח, בבלוגים ובפורומים, וניתוח ביקורות הוא רק תת תחום – מוגדר מעט יותר טוב. תחום מחקר משיק הוא סיכום אוטומטי (כתבתי על זה קצת כאן).

האם דירוג הביקורות בכלל רלוונטי?

כל ההקדמה הארוכה הזו לא נועדה רק לספר לקורא הנבוך שיש דבר כזה 'מלחמת ביקורת קוראים' ולא כדי לגלות לכם את המשמעות הכלכלית של הביקורות או סינונן וגם לא כדי להודיע שזהו תחום מחקר חם ומבטיח מדעית וכלכלית, הו-לא! את כל זה כתבתי בשביל לקבל את עזרת ההמונים. גם לי, במסגרת המחקר, יש איזה עניין עם ביקורות (ספרים בעיקר) וצצה לי איזו תהייה- השערה אותה אני רוצה לחלוק אתכם ולשמוע את דעתכם.

כאמור, אחד המדדים שמסייעים לגולש לבחור את הביקורות הטובות הוא מדד ה"מוֹעִילוּת". מדד המועילות מסייע גם לניתוח אוטומטי של הביקורות, שהרי הוא מהווה אוסף תגיות שאולי מאפשרות למידה חישובית מונחה (supervised learning) של מהי ביקורת טובה. כמובן שהמדד הזה יכול להיות מוטה בקלות – אני יכול לבקש מכל החברים שיסמנו את הביקורת שכתבתי כמועילה וכך היא תקבל חשיפה ואולי תשפיע על המכירות. מסתבר, גם, שאנשים נוטים ללהצביע בחיוב, כלומר לדרג ביקורות שנמצאו מועילות כמועילות אבל להתעלם מביקורות גרועות ולא לדרג אותן ככאלה. זה לא ממש נורא. אבל, וכאן אני רק מעלה השערה – כל הקונספט של דירוג ביקורות כמועילות הוא מוטה (ומוטעה?) מיסודו. הבה נבחן את התסריט הבא:

אני מעוניין לקנות ספר מסויים (נניח ספר אבל זה יכול להיות כל מוצר). אני ניגש לאמזון ומחפש ביקורות גולשים. אני קורא ביקורת ומתרשם ממנה מאוד – היא מקיפה, מנומקת וכתובה היטב. לרווחת הגולשים הבאים וכהכרת תודה לכותב הביקורת אני מדרג אותה כמועילה. אני מזמין את הספר. חולף שבוע, הפעמון מצלצל ואני נרגש לקבל לקבל את הספר. שבועיים נוספים חולפים עד שאני גומר את הספר ומגלה שהמבקר כלל לא הבין אותו את הספר והביקורת המופלאה שדחפה אותי לרכישה היא להטוט של מילים והנמקות אבל היא לא באמת רלוונטית. אני לא ניגש ומשנה את ההצבעה על הספר (אם הצבעה כפולה בכלל אפשרית מבחינה טכנית). זה יכול לקרות גם ברכישת מצלמה – אחרי הרכישה נגלה שהמבקר התמים לא ממש מבין בצילום או שזו-לו המצלמה הדיגיטלית הראשונה ולכן הוא התלהב.

הנה דוגמה ספציפית, תמימה (ואולי לא כל כך חד-משמעית):
Some reviewers complain that The Unfolding of Language does not read easily, but I have a hard time imagining a more readable approach to this material.
While some of the material in this book requires concentration, I would not have wanted it 'dumbed down' to make it more readable.
I have no education in linguistic and was able to understand all of the material, although as I mentioned, it takes a little work in places.
Along with books like Guns, Germs, and Steel, The Unfolding of Language is an excellent example of a readable presentation of academic material.
The Unfolding of Language tackles many topic, include questions like Was Latin the ultimate language, with modern European languages being low-brow street versions of it? If Latin and other such seemingly sophisticated languages were so complex, who invented them? How are languages evolving? Why are they evolving as they are? How did languages progress from Noun-Verb, two-word sentences to something like ancient Greek and Latin? Why do languages have reflexive pronouns? and many other topics and questions.
The scope of this book is impressive.

נראה נפלא. זו הייתה ביקורת מאמזון שנכתבה על ידי גולש לספר גילגולי לשון של גיא דוטשר (כתבתי עליו קצת כאן ואני אכתוב בעתיד). המבקר נתן לספר חמישה כוכבים ואילו הגולשים נתנו לביקורת ציון מועילות טוב (7/8). אלא שהמבקר שטרח להזכיר את הלטינית מתעלם לחלוטין מנתח נכבד מהספר שדן במבנה המרתק של הפועל בשפות השמיות. "לארכיטקטורת הפועל בשפות השמיות אין אח ורע בין לשונות העולם" כותב וחוזר ומדגיש דויטשר מספר רב של פעמים. כותב הביקורת, מן הסתם, אינו דובר עברית (או ערבית או אף שפה שמית) ולכן ההתייחסות ללטינית דיברה אליו יותר מאשר הדיון בשפות השמיות, למרות שהעיסוק בשפות שמיות תופס חלק נכבד יותר מהספר. הביקורת ה"מועילה", אם-כן, חוטאת לאמת ולמעשה מטעה את הגולש בכך שהיא מדגישה חלקים שוליים יחסית, אלא שלגולש אין שום דרך לדעת את זה לפני קריאת הספר.
הנה עוד ביקורת גולשים מאוד מיוחדת, הפעם על אחד מספרי הארי פוטר. ציון היעילות שלה גבוה מאוד (228/316) ושימו לב לדיון בתגובות שם. מחברת הביקורת כותבת שם בתגובות "רק רציתי לכתוב ביקורת קלה לקריאה והבנה". לא קראתי את הארי פוטר אבל הביקורת נראת לי מצויינת, אבל, האם הדירוג הגבוה (מקום שני בדירוג ה'מועילות') הוא מוצדק וזו באמת הביקורת השניה באיכותה או שהדירוג הושפע מסגנון הכתיבה המיוחד?

ההשערה שלי, אם-כן, היא שדירוג הביקורות באמזון הוא מוטה, כלומר הוא משקף "עד כמה הביקורת משכנעת" ולא "עד כמה הביקורת מועילה". אם ההשערה הזו נכונה אזי שימוש במדד המועילות אינו כה מועיל כפי שנראה, ומעבר לכך אי אפשר להשתמש בו כדי לאמן מערכת לומדת שתדרג ביקורות.

אני מתכנן איזה ניסוי קטנטן שיראה לי האם ההשערה הזו נכונה או לא, ובינתיים, הייתי שמח לדעת מה אתם חושבים – אולי תפריכו לחלוטין את הסצנריו שתיארתי ותודיעו לי חד משמעית שאתם מדרגים ביקורות רק לאחר שימוש והתרשמות מהמוצר. מה אתם אומרים (ותביאו גם חברים)?

13 תגובות עבור “רביזור – מי יבקר את המבקר?”

  1. עוד פוסט מעניין.

    לגבי השאלה: אני גולש רע. לא יוצר תוכן כמעט אף פעם. כחלק מזה אני גם לא מדרג ביקורות כלל, כך שאין לי אמירה ישירה בנושא.

    והערה קטנה לגבי גילגולי לשון: להבנתי הגרסה העברית שונה מהותית מהבחינה האנגלית. ייתכן (וזה כבר ממש לא מבוסס) שהגרסה האנגלית באמת הדגישה פחות את השפות שמיות ויותר את הלטינית. (ואולי לא. מעניין יהיה להשיג עותק מהגרסה האנגלית).

    ו – אני חושב שהביקורת הזו באמת מועילה מאד — ולו רק בגלל המשפטים הראשונים, המביאים תגובה-נגדית לביקורות (המופרכות לחלוטין) שטענו שהספר מסובך מדי.

    יואב

  2. האמת שחשבתי על האופציה הזו כי דויטשר כותב בהקדמה שנעשו התאמות בתרגום לעברית ובספר עצמו יש דוגמאות עבריות ואיזכורים לספרות עברית (סיפור על אהבה וחושך, ככה זה בעברית). אחרי ישיבות שנמשכו זמן רב החלטתי שהעיסוק בשפות שמיות תופס חלק נכבד גם במקור וזאת מכמה סיבות:
    א. "המבנה המרהיב של הפעל השמי" הוא באמת מרהיב ואין לו מקבילה במשפחות שפות אחרות. ולכן הוא ראוי מאוד לדיון מעמיק.
    ב. הדיון בשפות שמיות תופס חלק לא קטן מהספר וקשה להאמין שבתרגום כתבו גרסה שונה לחלוטין – ההתאמות הן מן הסתם קוסמטיות.
    ג. העיסוק בספר הוא בשפות שמיות עתיקות ולא בעברית כך שאין כאן התאמה ממשית לקורא דובר עברית.

    עכשיו צריך להשיג את המהדורה האנגלית ולהיווכח שאני מבלבל במח.

    (ואגב, תגובות יכולות להיות תוכן משובח_:)

    אורן

  3. ועיקר שכחתי –
    הביקורת מועילה במובן זה שהיא טוענת שהספר קריא אבל היא קצת מטעה בפריסה של הנושאים בהם עוסק הספר. דירוג הביקורות הוא לא דירוג קשיח "ביקורת טובה" או "ביקורת רעה" אלא דירוג של כל הביקורות והשאלה היא איך הביקורת הזו ביחס לביקורות אחרות. לטענתי – דירוג ה'מוֹעילוּת' לא בהכרח משקף את הדירוג האמיתי.

    אורן

  4. […] משפיע על דירוג המועילות באמזון לפני כמה ימים כתבתי על הטיה (לכאורה) בדירוג המוֹעילוּת של אמזון ובכלל. להטיה כזו, טענתי, יש השלכות רציניות […]

    אז מה משפיע על דירוג המועילות באמזון

  5. תבדיל בין מועילה לבין צודקת.
    אני מתרשם שאתה מחפש ביקורת שתסכים איתה, שתסכים לדעת המבקר, ובמקרה של הסכמה אתה קורא לה "מועילה".
    נטרל את אלמנט ההסכמה.
    גם ביקורת שדעתה הפוכה מדעתך יכולה להועיל, בין אם שכנעה אותך ובין אם לא.

    גמד רשע

  6. לגמר"ש –
    אני עושה את ההבחנה הזו ובטח שאני לא שופט ביקורת לפי מידת ההסכמה שלה איתי. אבל אתה צודק שצריך לחדד קצת את הגדרת ה'מועילות'. אולי כדאי להגדיר אותה כהוספת אינפורמציה *נכונה* שתורמת לקבלת החלטה. כלומר היא יכולה להאיר פינה מסויימת בספר או במוצר.

    אורן

  7. נשמע לי נכון.

    גמר"ש

  8. יש לי סיפור-אישי-קורע-לב.
    רציתי לקנות צורב למחשב. יש לי לפטופ אז צריך צורב חיצוני. באתר של זאפ מצאתי אחד כזה בדיוק במחיר מצויין בחנות מסויימת, עם דירוג בינוני. קראתי את הביקורות על החנות. כל מי שקנה שם מכונת כביסה כתב שהיה שירות מעולה, מי שקנה מחשב כתב שלא קיבל אותו מעולם, החנות הפנתה אותו לספקים שבכלל לא ענו והוא נשאר בלי המוצר ובלי הכסף.
    החלטתי לא לקנות שם.
    לדעתי הביקורות השליליות הועילו לי, אבל אי אפשר לדעת זאת בודאות כי יתכן שאילו הייתי מזמינה את המוצר, הוא היה מגיע והייתי מרוצה. כיוון שלעולם לא אזמין משם, האם אני פסולה כמדרגת ביקורות?

    קצה

  9. […] אני מתעניין קצת במנגנון דירוג ביקורות הגולשים באמזון (רביזור – מי יבקר את המבקר? וגם אז מה משפיע על דירוג הביקורות באמזון?). לביקורות […]

    טוקבקים - שהמחשב יקח אחריות - הצעת החוק של חסון מזוית חישובית

  10. […] מדד המועילות כתבתי ברביזור-מי יבקר את המבקר? וכמה תמיהות על חישוב המועילות כתבתי באז מה משפיע על […]

    פכים קטנים מהאמזונס

  11. […] על ביקורות מוצרים באמזון ותוכן גולשים: – רביזור – מי בקר את המבקר? – אז מה משפיע על דירוג המועילות באמזון? – פכים קטנים […]

    אלגוריתם פלוריבו - תוסף פיירפוקס לסיכום ביקורות מוצרים באמזון.

  12. […] פטנט על אלגוריתם לזיהוי הביקורות הבאמת מועילות [ברביזור- מי יבקר את המבקר? כתבתי למה ההצבעות באמזון לא אמינות מבחינה סטטיסטית, גם […]

    הביקורות מהללות: על ביקורות מוצרים באמזון ואנשי שיווק מטומטמים

  13. […] מהללות – על מניפולציות באמזון ולאן צועד תוכן גולשים. רביזור – מי יבקר את המבקר? מה משפיע על דירוג המועילות באמזון? SHARETHIS.addEntry({ title: […]

    המקרה המוזר של הזאב בשעת לילה

להוספת תגובה