‫תגובות על: ספר הדיקדוק האוניברסלי http://www.sciencefriction.net/blog/2008/01/03/67/ ‫מעניין. אולי זה אפילו נכון. Thu, 20 Nov 2008 11:02:58 +0000 http://wordpress.org/?v=2.2.2h he ‫מאת: היכל התהילה של הכישלונות המדעים - על פירסום אקדמי של ניסויים שנכשלו http://www.sciencefriction.net/blog/2008/01/03/67/#comment-540 ‫היכל התהילה של הכישלונות המדעים - על פירסום אקדמי של ניסויים שנכשלו Mon, 28 Apr 2008 09:31:11 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-540 ‫[...] שלו בדבר הדיקדוק הגנרטיבי על ההנחה של דלות הגירוי (ספר הדקדוק האוניברסלי). גם אם נחלוק על ההנחה הזו של דלות הגירוי ונניח שגם אצל [...]

[…] שלו בדבר הדיקדוק הגנרטיבי על ההנחה של דלות הגירוי (ספר הדקדוק האוניברסלי). גם אם נחלוק על ההנחה הזו של דלות הגירוי ונניח שגם אצל […]

]]> ‫מאת: אורן http://www.sciencefriction.net/blog/2008/01/03/67/#comment-456 ‫אורן Sat, 15 Mar 2008 18:05:41 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-456 ‫היילני- 1. אמת שברשימת הפוסט-פונד יש תכנון גם לפוסט על אופטימליטי תאורי. אני לא ממש מומחה, אבל לפי מה שאני מכיר אלו יותר עקרונות אל התפתחות (אבולוציה) של שפה, לא? 2. נראה לי שדווקא כרציונליסט אפשר לטעון שיגיע יום ומחשב יוכל לשלוט בשפה כמו בן אדם. אולי ייקח יותר זמן להבין את מנגנוני הייצוג במח, אבל ברגע שאלו יפוצחו זה הכל עניין של מידול ההקשרים הנכונים. 3. אני לא יודע אם אני רציונליסט ואני גם לא יודע אם אני מאמין שיבוא יום ומחשב ידע שפה. אני בהחלט מקווה שלא יבוא יום כזה - שנוכל עדיין להאמין שכבני אדם יש בנו משהו מיוחד.

היילני-
1. אמת שברשימת הפוסט-פונד יש תכנון גם לפוסט על אופטימליטי תאורי. אני לא ממש מומחה, אבל לפי מה שאני מכיר אלו יותר עקרונות אל התפתחות (אבולוציה) של שפה, לא?
2. נראה לי שדווקא כרציונליסט אפשר לטעון שיגיע יום ומחשב יוכל לשלוט בשפה כמו בן אדם. אולי ייקח יותר זמן להבין את מנגנוני הייצוג במח, אבל ברגע שאלו יפוצחו זה הכל עניין של מידול ההקשרים הנכונים.
3. אני לא יודע אם אני רציונליסט ואני גם לא יודע אם אני מאמין שיבוא יום ומחשב ידע שפה. אני בהחלט מקווה שלא יבוא יום כזה - שנוכל עדיין להאמין שכבני אדם יש בנו משהו מיוחד.

]]> ‫מאת: היילני http://www.sciencefriction.net/blog/2008/01/03/67/#comment-455 ‫היילני Sat, 15 Mar 2008 13:42:50 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-455 ‫יש להבדיל בין יכולת מולדת לרכוש שפה, לבין העקרונות האוניברסליים המשותפים לכל השפות, לכאורה, שגם הם מולדים. היום כבר נעשים מחקרים שמנסים למצוא מכנה משותף בטיפולוגיה עשירה של שפות, כלומר עקרונות "אוניברסליים" סטטיסטיים למעשה: Optimality Theory. מעניין יהיה לקרוא את הדוקטורט של יהונתן ברנט. אני חושבת שזה חוזר לויכוח הישן על ממשק אדם-מכונה. כרציונליסט, חומסקי ימשיך לטעון שמחשב אף פעם לא ידע שפה כפי שאדם יודע אותה. אני איתו, האמת.

יש להבדיל בין יכולת מולדת לרכוש שפה, לבין העקרונות האוניברסליים המשותפים לכל השפות, לכאורה, שגם הם מולדים. היום כבר נעשים מחקרים שמנסים למצוא מכנה משותף בטיפולוגיה עשירה של שפות, כלומר עקרונות "אוניברסליים" סטטיסטיים למעשה:
Optimality Theory.

מעניין יהיה לקרוא את הדוקטורט של יהונתן ברנט. אני חושבת שזה חוזר לויכוח הישן על ממשק אדם-מכונה. כרציונליסט, חומסקי ימשיך לטעון שמחשב אף פעם לא ידע שפה כפי שאדם יודע אותה. אני איתו, האמת.

]]> ‫מאת: אורן http://www.sciencefriction.net/blog/2008/01/03/67/#comment-264 ‫אורן Mon, 14 Jan 2008 18:40:49 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-264 ‫אולי אלו פשוט NGRAMS? זה נשמע לי מאוד פשטני אבל זה מה שעולה לי בראש. לא אנגרמים פשוטים של מילים כי ברור שרוכש שפה לא רכש סטטיסטיקות על כל הקוניוקציות אבל שילוב של כמה רמות? מצד שני - אנגרמים של מבני תכוניות נשמע לי קצת מורכב... זה באמת מעניין. ב-number agreement אמנם יש כללים ברורים אבל הם שרירותיים לחלוטין וברגע שמחליטים שהקפדה על הכללים האלו היא לא בראש סדר העדיפויות אז פשוט לא שמים על זה. אני מניח שאם תשאל את הטועה הממוצע הוא ידע להגיד שזה נכון שהוא אמר "חמש שולחנות" אבל הוא יודע ששולחן זה זכר (או שאני אופטימי מדי?). אישתי, לעומת זאת, מקפידה לטעות ולומר "בשבוע שעברה". עולה חדשה, מותר לה. אבל כשאני מתעקש ושואל למה היא טועה בזה היא אומרת ש'שבוע' נגמר בצליל 'אה' שבד"כ מסמן נקבה.

אולי אלו פשוט NGRAMS?
זה נשמע לי מאוד פשטני אבל זה מה שעולה לי בראש. לא אנגרמים פשוטים של מילים כי ברור שרוכש שפה לא רכש סטטיסטיקות על כל הקוניוקציות אבל שילוב של כמה רמות? מצד שני - אנגרמים של מבני תכוניות נשמע לי קצת מורכב…
זה באמת מעניין.

ב-number agreement אמנם יש כללים ברורים אבל הם שרירותיים לחלוטין וברגע שמחליטים שהקפדה על הכללים האלו היא לא בראש סדר העדיפויות אז פשוט לא שמים על זה. אני מניח שאם תשאל את הטועה הממוצע הוא ידע להגיד שזה נכון שהוא אמר "חמש שולחנות" אבל הוא יודע ששולחן זה זכר (או שאני אופטימי מדי?).

אישתי, לעומת זאת, מקפידה לטעות ולומר "בשבוע שעברה". עולה חדשה, מותר לה. אבל כשאני מתעקש ושואל למה היא טועה בזה היא אומרת ש'שבוע' נגמר בצליל 'אה' שבד"כ מסמן נקבה.

]]> ‫מאת: יואב http://www.sciencefriction.net/blog/2008/01/03/67/#comment-260 ‫יואב Sun, 13 Jan 2008 22:45:49 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-260 ‫יש כאן לדעתי יותר ממגבלה קוגניטיבית, זה ברמה של אילוצים תחביריים, הם די מורכבים. אני מתכוון ל coordination of likes. ברוב המוחלט של המקרים אסור לחבר שני ביטויים מסוגים שונים (*"צעקתי ותפוח"), אבל לפעמים מותר ("אני חנון וגאה בזה") אבל גם אז יש אילוצים (*"אני גאה ובזה וחנון"). בקיצור, עסק מורכב. מהמעט שניסיתי ללמוד, נראה שכל התיאוריות התחביריות מתקשות בנקודה הזו, ונראה שכל אלו שדגמתי הציעו הסברים די הזויים ומאד מסורבלים (ובפרט המינימליזם של חומסקי, שמתקשה כאן מאד). ועדיין: נראה שלאנשים אין שום בעיה להבין את המבנים האלו, לדעת מה חוקי ומה לא, וגם בשפה שהיא לא שפת האם שלהם, בלי שאף אחד לימד אותם את זה. אני לא מתבסס כאן על כלום, אבל יש לי תחושה שטועים פחות בזה מאשר ב-number agreement, למשל, למרות ששם יש חוקים ברורים מאד. מעניין. לגבי הרשימות: פעם, בתחילת התואר השני, ניסיתי לעבוד על זה קצת. לא על הטרק, על התופעה (ואז גיליתי שהסימון של מבני קוניונקציה ב-WSJ הוא, איך נאמר, רעוע למדי, אז ויתרתי פחות או יותר. אולי עוד אחזור לזה יום אחד. מה שכן, אני זוכר שהיו שם כמה תופעות מעניינות לגבי אילוצי סדר, גם כשמדובר בביטויים שהם כן מאותו הסוג. היית מצפה (כלומר אני ציפיתי) ש, נאמר "כלב וחתול" יופיע בערך באותה התדירות של "חתול וכלב". וזה באמת עובד בהרבה מקרים. אבל נסה לחפש בגוגל "england and hong kong" לעומת "hong kong and england"...). ולגבי האופצייה לקבלת דוא"ל: (א) ראיתי תיבת סימון, והנחתי שהיא אולי לזה, אבל לא ראיתי את הכיתוב שמסביר אותה. אולי עדיף שיהיה באותה השורה.. (ב) הוא כרגע שגוי (אימיילך) (ג) עכשיו סימנתי, נראה מה יהיה.

יש כאן לדעתי יותר ממגבלה קוגניטיבית, זה ברמה של אילוצים תחביריים, הם די מורכבים.

אני מתכוון ל coordination of likes.
ברוב המוחלט של המקרים אסור לחבר שני ביטויים מסוגים שונים (*"צעקתי ותפוח"), אבל לפעמים מותר ("אני חנון וגאה בזה") אבל גם אז יש אילוצים (*"אני גאה ובזה וחנון"). בקיצור, עסק מורכב. מהמעט שניסיתי ללמוד, נראה שכל התיאוריות התחביריות מתקשות בנקודה הזו, ונראה שכל אלו שדגמתי הציעו הסברים די הזויים ומאד מסורבלים (ובפרט המינימליזם של חומסקי, שמתקשה כאן מאד). ועדיין: נראה שלאנשים אין שום בעיה להבין את המבנים האלו, לדעת מה חוקי ומה לא, וגם בשפה שהיא לא שפת האם שלהם, בלי שאף אחד לימד אותם את זה. אני לא מתבסס כאן על כלום, אבל יש לי תחושה שטועים פחות בזה מאשר ב-number agreement, למשל, למרות ששם יש חוקים ברורים מאד.

מעניין.

לגבי הרשימות: פעם, בתחילת התואר השני, ניסיתי לעבוד על זה קצת. לא על הטרק, על התופעה (ואז גיליתי שהסימון של מבני קוניונקציה ב-WSJ הוא, איך נאמר, רעוע למדי, אז ויתרתי פחות או יותר. אולי עוד אחזור לזה יום אחד. מה שכן, אני זוכר שהיו שם כמה תופעות מעניינות לגבי אילוצי סדר, גם כשמדובר בביטויים שהם כן מאותו הסוג. היית מצפה (כלומר אני ציפיתי) ש, נאמר "כלב וחתול" יופיע בערך באותה התדירות של "חתול וכלב". וזה באמת עובד בהרבה מקרים. אבל נסה לחפש בגוגל "england and hong kong" לעומת "hong kong and england"…).

ולגבי האופצייה לקבלת דוא"ל: (א) ראיתי תיבת סימון, והנחתי שהיא אולי לזה, אבל לא ראיתי את הכיתוב שמסביר אותה. אולי עדיף שיהיה באותה השורה.. (ב) הוא כרגע שגוי (אימיילך) (ג) עכשיו סימנתי, נראה מה יהיה.

]]> ‫מאת: אורן http://www.sciencefriction.net/blog/2008/01/03/67/#comment-259 ‫אורן Sun, 13 Jan 2008 16:35:52 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-259 ‫יש לי מעין השערה לגבי ביטויים קוניוקטיביים אצל בני אדם - בני אדם תופסים אותם בצורה טובה כי המחסנית הקוגניטיבית מוגבלת, כלומר מספר הקוניוקציות במשפט הוא די קטן אחרת נוצר עומס קוגניטיבי מאוד גדול שיוצר בעיות של סקופינג ואמביגואציה. האורך הקצר מאפשר למידה נכונה ויעילה. כלומר האלמנט המולד הוא פשוט מגבלה קוגניטיבית. אני זוכר שלפני כמה שנים היה בTREK איזה מסלול QA של רשימות (נדמה לי) כלומר למצוא תשובות לשאלות שהתשובה עליהן היא רשימה (באיזה ארצות עובר הנילוס? לאילו מדינות דגל בכחול, אדום ולבן? מי היו נשיאי ארה"ב בין השנים 1914 ל1945? או מהם הסינגלמאלטים מההילנדס?) אני זוכר שזה לא היה טרק פשוט. אבל זה אומר שמחשב מתקשה בניתוח רשימות שכאלו והבנה איפה נגמרת הרשימה ומתחילה קוניוקציה אחרת. למה זו משימה קשה? אולי כי השאלות הצריכו הרכבה של תשובות ארוכות מקוניוקציות באורכים משתנים ומרשימות. נ.ב. ניסיתי להוסיף אופציה לקבלת אימיל על תגובות לפוסט. אני לא יודע אם סימנת את זה, אבל יש לי חשד שזה לא עובד טוב . סימנת? קיבלת?

יש לי מעין השערה לגבי ביטויים קוניוקטיביים אצל בני אדם -
בני אדם תופסים אותם בצורה טובה כי המחסנית הקוגניטיבית מוגבלת, כלומר מספר הקוניוקציות במשפט הוא די קטן אחרת נוצר עומס קוגניטיבי מאוד גדול שיוצר בעיות של סקופינג ואמביגואציה. האורך הקצר מאפשר למידה נכונה ויעילה. כלומר האלמנט המולד הוא פשוט מגבלה קוגניטיבית.

אני זוכר שלפני כמה שנים היה בTREK איזה מסלול QA של רשימות (נדמה לי) כלומר למצוא תשובות לשאלות שהתשובה עליהן היא רשימה (באיזה ארצות עובר הנילוס? לאילו מדינות דגל בכחול, אדום ולבן? מי היו נשיאי ארה"ב בין השנים 1914 ל1945? או מהם הסינגלמאלטים מההילנדס?) אני זוכר שזה לא היה טרק פשוט. אבל זה אומר שמחשב מתקשה בניתוח רשימות שכאלו והבנה איפה נגמרת הרשימה ומתחילה קוניוקציה אחרת. למה זו משימה קשה? אולי כי השאלות הצריכו הרכבה של תשובות ארוכות מקוניוקציות באורכים משתנים ומרשימות.

נ.ב. ניסיתי להוסיף אופציה לקבלת אימיל על תגובות לפוסט. אני לא יודע אם סימנת את זה, אבל יש לי חשד שזה לא עובד טוב . סימנת? קיבלת?

]]> ‫מאת: יואב http://www.sciencefriction.net/blog/2008/01/03/67/#comment-258 ‫יואב Sun, 13 Jan 2008 14:32:46 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-258 ‫עם ובלי קשר, תופעה מעניינת בהקשר המולדות של ידע שפה היא ביטויים קוניונקטיביים ואילוצים תחביריים לגביהם (ובעברית, "משפטים שמכילים את המילים 'או' ו/או 'ו' "). בניגוד להרבה מאד מבנים תחביריים שלומדים באופן מפורש כשלומדים שפה חדשה, המבנים האלו כמעט ולא מוזכרים, בטח שלא בהרחבה, ועדיין בדרך כלל מאד ברור למי שלומד את השפה איך משתמשים בהם, כלומר איך הם אמורים להראות ומה האילוצים שצריכים להשמר. האם הידע הזה ייעודי לשפה או שהוא יותר מוכלל ובעצם מתייחס לאופן בו אנחנו מקטלגים דברים? לא יודע. אבל כך או כך יש כאן תופעה מעניינת, וזה בהחלט מעיד לדעתי על משהו מולד.

עם ובלי קשר, תופעה מעניינת בהקשר המולדות של ידע שפה היא ביטויים קוניונקטיביים ואילוצים תחביריים לגביהם (ובעברית, "משפטים שמכילים את המילים 'או' ו/או 'ו' "). בניגוד להרבה מאד מבנים תחביריים שלומדים באופן מפורש כשלומדים שפה חדשה, המבנים האלו כמעט ולא מוזכרים, בטח שלא בהרחבה, ועדיין בדרך כלל מאד ברור למי שלומד את השפה איך משתמשים בהם, כלומר איך הם אמורים להראות ומה האילוצים שצריכים להשמר.

האם הידע הזה ייעודי לשפה או שהוא יותר מוכלל ובעצם מתייחס לאופן בו אנחנו מקטלגים דברים? לא יודע. אבל כך או כך יש כאן תופעה מעניינת, וזה בהחלט מעיד לדעתי על משהו מולד.

]]> ‫מאת: אורן http://www.sciencefriction.net/blog/2008/01/03/67/#comment-254 ‫אורן Sun, 13 Jan 2008 10:51:39 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-254 ‫דודי - זו באמת נקודה עקרונית מאוד - החלוקה בין דוגמאות חיוביות שניתנות להכביר לדוגמאות שליליות שלא ניתנות (כלומר לא מתוייגות ככאלה על ידי ההורים). ויש גם נקודת המשך - הילדים טועים טעויות די אופייניות (בד"כ הכללת יתר) וההורים מתקנים אותם, כלומר יש כאן למידה סופר-מונחית ושואפת לאופטימיזציה על ידי תיקון כמעט מידי של טעויות. עמרי (שלום לך, או כמו שאמר דודי לעיל - "גם זו דרך לתקשר") - זה לא הפריימוורק של PAC בצורה הדוקה בעיקר כי קשה מאוד לכמת את כמות(ואיכות) הגירויים. אבל יצא לי לקרוא כמה מאמרים שמתייחסים לPAC כאל מסגרת כוללת - כלומר מעין הוכחה שצימצום טעויות ניתן רק באמצעות הגדלת מספר הגרויים וכן משתלבת ההנחה (המופרכת?) של דלות הגירוי - אין מספיק גירויים כדי לאפשר צימצום של הטעויות למינימום הנדרש.

דודי -
זו באמת נקודה עקרונית מאוד - החלוקה בין דוגמאות חיוביות שניתנות להכביר לדוגמאות שליליות שלא ניתנות (כלומר לא מתוייגות ככאלה על ידי ההורים).
ויש גם נקודת המשך - הילדים טועים טעויות די אופייניות (בד"כ הכללת יתר) וההורים מתקנים אותם, כלומר יש כאן למידה סופר-מונחית ושואפת לאופטימיזציה על ידי תיקון כמעט מידי של טעויות.

עמרי (שלום לך, או כמו שאמר דודי לעיל - "גם זו דרך לתקשר") - זה לא הפריימוורק של PAC בצורה הדוקה בעיקר כי קשה מאוד לכמת את כמות(ואיכות) הגירויים. אבל יצא לי לקרוא כמה מאמרים שמתייחסים לPAC כאל מסגרת כוללת - כלומר מעין הוכחה שצימצום טעויות ניתן רק באמצעות הגדלת מספר הגרויים וכן משתלבת ההנחה (המופרכת?) של דלות הגירוי - אין מספיק גירויים כדי לאפשר צימצום של הטעויות למינימום הנדרש.

]]> ‫מאת: עמרי http://www.sciencefriction.net/blog/2008/01/03/67/#comment-249 ‫עמרי Fri, 11 Jan 2008 07:19:52 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-249 ‫בקשר לסעיף מספר 6 בתיאור הדוקטרינה של חומסקי, אני חושב שחומסקי לא ביסס את הטיעון שלו על framework של למידה חישובית מודרנית (כמו PAC), אלא על צורה הרבה יותר נאיבית של למידה שבה לאחר מספר דוגמאות סופי, הלומד לומד במלואו את הדקדוק. הטענות שלא באשר לאי הלמידות של השפה ממספר הדוגמאות שאליהם נחשף הלומד (טיעון דלות הגירוי) מתבססות על הדרישות הנוקשות האלה על איכות הלמידה. באותו כנס אמור הייתה הרצאה של שלום לפין שסיפר על עבודתו בה הוא מנסה לתקוף את דלות הגירוי ע"י הצגת רכישת דקדוק באופן רך יותר (PAC או אולי גם מודלים אחרים), שבגדול רק דורשים שבהינתן ללומד מספיק דוגמאות, הוא יצליח להתקרב לדקדוק הנכון בהסתברות גבוהה.

בקשר לסעיף מספר 6 בתיאור הדוקטרינה של חומסקי, אני חושב שחומסקי לא ביסס את הטיעון שלו על framework של למידה חישובית מודרנית (כמו PAC), אלא על צורה הרבה יותר נאיבית של למידה שבה לאחר מספר דוגמאות סופי, הלומד לומד במלואו את הדקדוק. הטענות שלא באשר לאי הלמידות של השפה ממספר הדוגמאות שאליהם נחשף הלומד (טיעון דלות הגירוי) מתבססות על הדרישות הנוקשות האלה על איכות הלמידה.
באותו כנס אמור הייתה הרצאה של שלום לפין שסיפר על עבודתו בה הוא מנסה לתקוף את דלות הגירוי ע"י הצגת רכישת דקדוק באופן רך יותר (PAC או אולי גם מודלים אחרים), שבגדול רק דורשים שבהינתן ללומד מספיק דוגמאות, הוא יצליח להתקרב לדקדוק הנכון בהסתברות גבוהה.

]]> ‫מאת: דודי http://www.sciencefriction.net/blog/2008/01/03/67/#comment-247 ‫דודי Wed, 09 Jan 2008 06:05:02 +0000 http://www.sciencefriction.net/blog/2008/01/03/67/#comment-247 ‫בניסוח אחר, הויכוח הוא האם מנגנון למידת השפה האנושי הוא מנגנון ייעודי, שיכול ללמוד רק שפה אנושית, או מנגנון למידה כללי שיכול, אולי בהתאמות קלילות, ללמוד כל מיני דברים, כמו זה של רופין.

בניסוח אחר, הויכוח הוא האם מנגנון למידת השפה האנושי הוא מנגנון ייעודי, שיכול ללמוד רק שפה אנושית, או מנגנון למידה כללי שיכול, אולי בהתאמות קלילות, ללמוד כל מיני דברים, כמו זה של רופין.

]]>