[...] אורן צור מנתח מהביט סטטיסטי את שירות "ספרים נוספים" של אמאזון. "….מערכות המלצה אוטומטיות (recommender systems) הן עניין לדון בו. יש בזה הרבה עניין מדעי ולא פחות מכך עניין מסחרי. אבל לא במערכות המלצה יעסוק הפוסט הזה אלא בבן דוד קרוב שלהם – רשימות לקריאה נוספת. לפני כמה חודשים אמזון הוסיפו פיצ'ר חדש לחנות הספרים שלהם והוא 'ספרים קשורים' (books on related topics). בינתיים הפיצ'ר הזה לא זמין לכל הספרים (למעשה הוא זמין רק למיעוטם) והוא בהחלט סובל מכמה מחלות בהן אנסה לדון כאן.." http://www.sciencefriction.net/blog/2008/07/30/135/ [...]

[...] ערימת הספרים בפוסט לקריאה נוספת העליתי כמה תהיות לגבי הפיצ'ר של אמזון 'ספרים בנושאים [...]

I'm not sure it's relevant only to non-fiction but it might be more relevant to certain genres.

I also guess they aim at something more focused than just simple categorization (books about biology) but they want books that are really related.

it is interesting to try and classify the books by the intro, the table of contents or even better – the terms index at the end, I wonder if it was done before (I guess so).

but lately I came across the opposite challange – automatic creation of the book index according to its contents:
http://www.aclweb.org/anthology-new/P/P08/P08-1106.pdf

this paper is very interesting because it tries to model the cognitive process. results are not prime but very interesting.

נראה לי שסיווג לפי נושא יותר שימושי לספרי עיון, מאשר לספרות בדיונית.

לגבי עומס החישוב. לאדם אין צורך לקרוא (או גם לסרוק) את הטקסט המלא של ספר כדי להבין במה הוא עוסק. ייתכן, שמיון על-פי מילות התוכן בהקדמה בלבד, או אפילו רק בתוכן העניינים, ייתן תוצאות לא פחות טובות ממיון על-פי ה-SIP בטקסט כולו. (בספרי עיון כמעט תמיד יהיו מבוא ותוכן עניינים, מלבד אולי ספרים קצרים שאותם אפשר לסרוק במלואם).

יובל –
זה הכל שאלה של הקורפוס הנכון, כלומר מול מה אתה מחשב את הSIP. אמזון כותבים שהם עושים את זה מול ספרים אחרים (כמה? אן לא מול כולם אז איך דוגמים את הספרים?) כל שינוי של הקורפוס, בהנחה שזה לא פשוט אוסף *כל* הספרים האלקטרוניים שלהם יכול לשנות מאוד את התמונה. יש לי כמה ניסויים משלי שאני אפרסם בהזדמנות אבל עוד לא בשלה השעה.

בכל אופן, השאלה הנוספת היא למה אמזון מאפשרים את הפיצ'ר הזה אם הוא כל כך רועש/לא מדוייק וכו'
(אני גם לא ממש מאמין להם כשהם מסבירים את הSIP. אני בטוח שיש שם עוד מליון החלקות [smoothing] וכמה פאצ'ים וכו' רק שהם לא ששים לשתף. כלומר אם זה היה פועל הם לא היו מספרים לנו איך וכשזה לא פועל הם מתביישים…)

תיאורטית, השימוש ב-SIP
נראה רעיון מצויין.
מעשית, כדאי לעשות צעד נוסף ולהסתכל בנתונים. יש רשימת
SIPS
בדף של דה-וינצ'י
http://www.amazon.com/Da-Vinci-Code-Dan-Brown/dp/0385504209
תחת
Key Phrases – Statistically Improbable Phrases (SIPs):
והם, אפעס, נראים לא משהו, ופחות טובים מהצירופים באותיות רישיות.
כנ"ל אלה במטוטלת של פוקו, ששונים לגמרי מאלה של דה וינצ'י:
http://www.amazon.com/Foucaults-Pendulum-Umberto-Eco/dp/0345368754
נראה לי שהסיגנל הסטטיסטי מהסוג הזה בספר הוא פשוט חלש מדי.
אגב, יכול להיות שמחשבים את ה- SIPS
באופן המתואר אצל מנינג ושוטצה:
http://nlp.stanford.edu/fsnlp/promo/colloc.pdf
השתמשתי פעם בשיטות האלה על "גאווה ודעה קדומה", וחוץ משמות של דמויות וצירופי מילות יחס לא יצא הרבה.
כמובן, מאוד אפשרי שמהנדסי אמאזון עושים את זה בצורה טובה יותר.

לאמזון יש גם את הנתונים האלו בדבר מורכבות הכתיבה (אם כי הם משתמשים במדדים פשוטים יחסית).
הנה המדדים לדה וינצ'י:
http://www.amazon.com/Da-Vinci-Code-Dan-Brown/dp/sitb-next/1400079179/ref=sbx_txt#textstats

והנה המדדים לפוקו:
http://www.amazon.com/Foucaults-Pendulum-Umberto-Eco/dp/sitb-next/015603297X/ref=sbx_txt#textstats

מבחינתה של אמזון, הפתרון (מעבר לשיפור המערכת) הוא פשוט, תחת אילו קריטריונים אנשים קונים יותר ספרים ונהנים מהם (מתוך מחשבה שהם משחקים גם לטווח הארוך)? אפשר להציג קריטריונים שונים לקבוצות שונות ולבדוק אחרכך שביעות רצון. כמו כן אפשר בעדיפות נמוכה יותר גם להציע את השיטה המפסידה.

לעצמי, נדמה לי שאיכות הכתיבה חשובה לא פחות מהנושא, הייתי מזדעזע לקבל המלצה לבראון כשאני מזמין את פוקו. ניתן גם יחסית בקלות להעריך את "איכות" הכתיבה (למשל אוצר המילים בספר, תדירות החזרה של מילים נרדפות למול שימוש באותה המילה שוב) וזה יכול להיות פילטר חיוני. כמובן שדרך הפילטר הזה ניתן להעביר ספרות שדומה רעיונית.