יובל –
זה לינק נהדר מכל כך הרבה בחינות. קודם כל הקוד הנקי והקצר הוא תאווה לעיניים.
אבל זה גם הסיגנון וההסבר – החל מפסקת הפתיחה:
What surprised me is that I thought Dean and Bill, being highly accomplished engineers and mathematicians, would have good intuitions about statistical language processing problems such as spelling correction. But they didn't, and come to think of it, there's no reason they should: it was my expectations that were faulty, not their knowledge.
דבר שגם אני נוטה להתעלם ממנו כשאני מדבר עם אנשים (מתכנתים או אפילו חוקרים) על עיבוד שפה.

וגם הגילוי הנאות: "אח"כ נאמן מודל הסתברותי, שזה בעצם מילים מנופחות לומר שנספור את המופעים של כל מילה".

גם במודל שלו יש חיסרון קטן – צריך לשמור את רשימת המילים והשכיחויות שלהן – זה צורך זיכרון יקר, בעיקר כשמדובר במכשירים קטנים (בעצם אולי ההערה הזו נכונה ללפני שנתיים). וכמובן, כמו שכתבת – הכל תלוי בקורפוס ממנו לומדים את השכיחיות.

תודה יואב. אז הנה לינק מאד מעשי. פיטר נורביג, מנהל המחקר בגוגל, מדגים בניית בודק איות בפיתון. הוא די טוען שעיקר הבעיה היא איסוף נתונים. ולמי יש הכי הרבה נתונים על השימוש בשפה? ניחשתם נכון:
http://norvig.com/spell-correct.html

[...] אורן צור מראה לטכנולוגיה מאיפה משתין הדאג. [...]

אויש, בודקי האיות המזורגגים האלה.

בטלפון שלי זה דבר נורא. הוא לא מכיר אפילו את המילה "נרדמה?" מילה חשובה במיוחד כשהולכים למקהלה ואבא מרדים את הילדה. אני נאלצת להשתמש בחלופה "ישנה?" שלא מעבירה היטב את הדרמה שמתחוללת חצי שעה קודם.

שלא לדבר על מילים כמו "מנוזלת" או סתם "נזלת" שצריך לכתוב במהירות מדי פעם כדי לקבל המלצות על המשך הטיפול ההומיאופתי.

יובל: מימוש פתוח של אלגוריתם הלמידה עצמו (SNoW) קיים, ניתן להגיע מהאתר של קבוצת עיבוד השפה ב-uiuc. אבל המימוש של אלגוריתמים כאלו הוא די טריויאלי, ובנוסף אלגוריתם הלמידה עצמו משחק תפקיד קטן למדי בבעיות כגון אלו, להערכתי כל אלגוריתם אחר ללמידת מסווגים לינאריים ייתן תוצאות דומות מאד.

מה שלא קיים זה תוכנה שמממשת את המאמר שהבאת, כלומר משתמשת באלגוריתם הלמידה הזה (או אחר) עם אוסף המאפיינים שהוצגו במאמר. גם אותה יהיה טריויאלי לכתוב. הסיבה שאף אחד לא עשה את זה עדיין, היא שזה ממש ממש לא ישים לשום יישום פרקטי.

שים לב שבשיטה שלהם יש לאמן מסווג נפרד עבור כל קבוצת מילים שניתן לטעות ביניהן! הם אימנו ובדקו את האלגוריתם שלהם על כ-20 קבוצות כאלו. יישום פרקטי (למשל כזה שיידע להבחין בין Obama ל-Osama) יצטרך להתאמן על מספר עצום של קבוצות מילים. המשמעות של זה היא גם זמן ריצה ארוך מאד באימון, גם דרישה למקום אכסון עצום עבור המודלים שמתקבלים, וגם זמן ריצה ארוך מאד בבדיקת איות, כי כעת כל מילה בטקסט תעבור השוואה+סיווג לכל המילים במרחק עריכה מסויים ממנה (בניגוד לבודקי איות כיום שפשוט בודקים האם המילה נמצאת ברשימה שלהם או לא, בדיקה פשוטה בהרבה).

—-

וכל העיסוק הזה באיות תלוי הקשר הזכיר לי שלפני שנתיים הייתי צריך, במסגרת קורס, להעביר הרצאה פופולרית על "מה זה עיבוד שפה טבעית", והדגמתי שם איך מידע סטטיסטי יכול לעזור לקבוע ש Eye halve a spelling chequer זו כנראה טעות. למתעניינים: http://www.cs.bgu.ac.il/~yoavg/presentations/NlpForDummies.ppt

יובל,
גם על זה כתבתי קצת באחד (בלינק על האנגרמים) אבל הבעיה במימוש פתוח של זה היא שבהרבה מקרים יש אנאפורות לפתור. בפעם הראשונה כתוב ברק אובאמה, אבל בכל שאר הפעמים יהיה כתוב רק אובאמה. מקרה קיצוני יותר – ברק אובאמה שוטח את משנתו בקשר למלחמה בטרור ומדבר גם על אוסאמה ואז אוסאמה כבר ממש מופיע בטקסט.
אבל הנה רעיון לשימוש בפלטפורמה של רויטר מהפוסט הקודם – תיוג מסמכים בשביל תיקון שגיאות. רק שזה כבד מאוד ותקף רק באקדמיה.

ואלגוריתם עוד יותר מתוחכם – של אנדרו גולדינג ודן רות, לוקח בחשבון גם מילים סמוכות (ברק ==> אובמה) (בן לאדן ==> אוסמה):
http://citeseer.ist.psu.edu/116990.html
לא ידוע לי על מימוש מסחרי/קוד פתוח של האלגוריתם הזה.

עירא –
צריך לעשות חסד קטן עם מייקרוסופט. עם צוללים לLanguage Log ומשם לכתבה בABC, מגלים שזה נכון בגרסאות הישנות של אופיס, כלומר באופיס 2003. מיירוסופט כמובן מצפים שתקנה עדכונים או תשדרג או אני לא יודע מה.
והסמיילי – זה לא אתה – זה הLTR דפוק כאן בתגובות.

יכול להשבע שהקלדתי סמיילי מחייך ולא עצוב… :-(

קשה לי להזכר מתי קרו להם שטויות מצחיקות כאלו בחלונות אנגלית (אני בטוח שהיו) אבל בגרסה הסינית היה מקרה אחד של הודעות מערכת טעונות פוליטית שתורגמו ע"י חברה טייואנית עם אג'נדה.

מצחיק לראות את ההצעה הזאת בספל צ'קר בראי התקופה הנוכחית… במיוחד שמשחקי "אובמה-אוסמה" כבר צצו בסטנד-אפ ומצחיקוני יוטיוב למיניהם, והנה מיקרוסופט "נותנת גושפנקא". יפה :-)