"צ'רניאק הוא הבובליל של ה-NLP". המשפט המטופש הזה אשכרה יצא לי מהפה לפני יומיים תוך כדי דיון מעבדתי על מדיניות הקבלה של מאמרים לכנסים מדעיים. הפוסט הזה, כמתחייב מהכותרת (כאילו הכותרות שלי מחייבות אותי כהוא-זה), יעסוק מעט בצ'רניאק ובסלבריטיס אקדמיים, במדיניות הקבלה לכנסים ובריאליטי.
עיוותים בתפיסת המציאות
עוז אלמוג כתב פוסט על הבגידה שבחיוך של ארז טל. החיוך הוא של כולנו, כתב שחר בתגובה. בתגובות אצל שחר התפתח דיונון מעניין בין שחר לעלמה העפרונית שמשקפת גם את דעתי. ובכל אופן – הנה עוד סיבה לחיוך של ארז טל – הנה, אני ושכמותי שמעולם לא ראו ולוּ שניה של האח הגדול*, יודע על אחד 'בובליל' יודע שהוא בהמה גסה, יודע שהוא מאשקלון, יודע שיש לו בת, יודע שהוא התפאר שניסה לכפות על בחורה מין קבוצתי עם אנשים שלא הכירה ויודע שהוא קורא לעצמו 'הקיפוד' (או שאולי זה שם שנתנו לו חבריו או אולי קומתו ואופן חיוכו). אני גם יודע איך הוא נראה**. במובן הזה, כשאנשים שהתוכנית מעניינת להם ת'עכוז והם לא ביזבזו עליה שניה יודעים כל כך הרבה, קשת הצליחו לקבוע סדר יום או לפחות לחלחל אל התרבות באופן שאי אפשר להתעלם ממנו. זה די עצוב. זה עוד יותר עצוב כשאני משתמש בבובליל כי להעשיר את עולם הדימויים שלי. "צ'רניאק הוא הבובליל של ה-NLP". הוֹ! הזוועה!
Peer review. Double-blind review
יש שתי גישות עיקריות לבחינת מאמרים מדעיים המיועדים לפרסום. האחת היא double blind כלומר החוקר שולח את עבודתו באופן אנונימי, ללא שמו ואת העבודה קוראים כמה ריוויוארס (בוחנים? סוקרים? מנפים?) בנפרד ובאופן בלתי תלוי. השולח לא יודע מיהם אלו שמוחנים את העבודה ואילו הבוחנים לא יודעים מיהו השולח. השיטה הזו נועדה להתגבר על הטיות, קליקות, שמור-לי-ואשמור-לך או על סתם מאמרים בינוניים להם הוספו שמות מרשימים כדי ליצור מראית עין של עבודה רצינית.
הגישה השניה מאפשרת שליחה לא אנונימית. אני מניח שכל מדען בפוטנציה נטל צד זה או אחר בפולמוס ההגשה העיוורת.
אני צידדתי בהגשה עיוורת-כפולה ואילו החבר אמר שכשצ'רניאק כותב מאמר כנראה שהוא מאמר רציני. יתר על כן, גם במאמר בינוני של צ'רניאק יש תובנות שיכולות לתרום רבות לקהילת המחקר ולכן יש היגיון רב גם בהגשה ישירה. "טוב, צ'רניאק הוא הבובליל של ה-NLP" עניתי, ספק ברצינות ספק בציניות, כשאני מתכוון לכך שצ'רניאק הוא בין יחידי הסגולה שבאמת זכו למעמד פופולרי שכל פיפס שלהם מעניין את הקהילה.
אני מניח שרק מיעוט מקוראי הבלוג (כלומר אלו שעוסקים בבלשנות חישובית) שמעו על צ'רניאק, מה שהופך אותו לסלבריטי אקדמי פרובינציאלי, בניגוד, נניח, לנעם חומסקי, סטיבן פינקר , או סטיבן הוקינג – סלבריטאים אקדמיים מהשורה הראשונה – ממש מולטי-טאלנטים. אלו גם אלו הנים מקרדיט חסר תקדים. אלו גם אלו מנפקים לפעמים עבודות בינוניות.
על סטיבן פינקר שביקר בארץ כתבתי כאן פעם (סטיבן פינרק וטבע האדם). פינקר ביקר בארץ ונתן הרצאה די מאכזבת. זה כמובן לא הוריד לו מהקרדיט המדעי אבל בהחלט נטע את זרעי הספק אצל כמה מהנוכחים. זה לא היה הנושא והרעיון הכללי כמו הניסיון לתת לתאוריה מסגרת מתמטית שלא בדיוק התאימה (או לפחות לא שיכנעה במסגרת השעה וחצי של ההרצאה). הנה דוגמא למאמר שכנראה ולא היה עובר בבחינה עיוורת וכנראה שהתקבל בעזרת השם (והנושא הסקסי).
את דעתי האישית עוד לא ממש גיבשתי, אבל מסתבר שהפולמוס חורג מגבולות הוויכוחים בפינת הקפה וארוחת הצהריים וכבר מהווה בסיס למחקר אקדמי. אחרי שנדחה מאמר שלי (בלי סיבה, ברור שבלי סיבה) התחלתי לפתח אלגוריתם שיגלה לי את זהותם של הרוויוארס האנונימיים, והנה מחקר שטוען שכל האנונימיות היא בלוף וגם הרוייוארס יכולים לגלות בקלות מי שלח את המאמר:
The Myth of the Double-Blind Review? Author Identification Using Only Citations
הפרופסור הבא של ישראל
אז לאור תוצאות המיצ"ב, השתלטות הריאליטי והמחקר המסתעף על קבלת מאמרים, זיהוי כותבים ובוחנים – הנה רעיון לריאליטי הבא: המרצה – הפרופסור הבא של ישראל. הפרס הראשון הוא כמובן משרה באוניברסיטה אמריקאית יוקרתית. אחרי הכל, זו תוכנית מציאות ובמציאות האקדמית הישראלית בריחת המוחות היא בעיצומה.
*לפעמים יוצא לנו לדבר קצת על תופעת האח הגדול. מרבית השותפים לדיונים טוענים שהם לא צפו אף לא בפרק אחד ותמיד יש את החכמולוג התורן שמעיר שבכל קבוצה בה הוא נמצא אף אחד לא צופה באח הגדול אבל כולם יודעים מה קרה בפרק האחרון.
**למעשה, הוא היחיד בין המשתתפים שאני יודע איך הם נראים. אולי כי הוא הפך לסמל המובהק של התוכנית, מה שכמובן לא אומר טובות על התוכנית, שממילא לא ציפינו ממנה להיות סמן איכות.
אחד השופטים של עבודת הדוקטורט שלי העיר כי לא ציטטתי בסקירת הספרות כמה "מאמרים חשובים" בתחום, לפי דעתו. קבוצת החיתוך של כותבי המאמרים האלה כללה אדם אחד.
יוסי לוי
דצמבר 15th, 2008
רק על סמך הכותרת של המאמר המקושר אני חייב להסכים. עוד לא קרה שקיבלתי שיפוט של מאמר שלא היה ברור על סמך הדרישות בו להוספת ציטוטים מי השופט. בדיוק באותו אופן ריכוז חשוד של ציטוטים במאמר מסגיר מייד לפחות את קבוצת המחקר של המחברים.
שחר
דצמבר 15th, 2008
שחר — דווקא לגבי "סלבריטאים" היוריסטיקת ריכוז הציטוטים פחות תופסת: במרבית המאמרים בנושא הם יצוטטו בכל מקרה, ושיפוטי מאמרים יכולים בהחלט להפנות גם לעבודות שלהם.
אבל בכללי, כן, רשימת המקורות במאמר יכולה להסגיר הרבה מאד (לגבי שיפוטים שקיבלתי, זה דווקא לא תמיד המצב).
ולגבי גישת השיפוט: אני בעד האנונימיות הכפולה, או לכל הפחות החד כיוונית, זו בה השופטים לא יודעים מי כתב את המאמר. דווקא הדוגמה של צ'ארניאק מראה שלא מספיק השם, ויש לו בהחלט כמה מאמרים בינוניים. וכשמדובר בסלבריטאים צעירים יותר, אלו שבנו לעצמם שם בקהילה אבל עדיין נמדדים על פי מספר פרסומים לצרכי קידום אקדמי, התוצאה יכולה בהחלט להיות בעייתית עוד יותר.
יואב
דצמבר 15th, 2008
אני לא אקדמאי. אני נשוי לפרופסור באוניברסיטת מחקר במרכז ארה"ב.
ראשית היום המצב ברוב תחומי המחקר הוא שהקורא יכול לנחש את זהות כותב המאמר אם הוא בעל מעמד פשוט בגלל נושא ההתמחות ותת תחומים. וכפי שצוין אפשר לזהות פעמים רבות את הלקטורים (זה השם שמשתמשים בו בארץ בתחומי הספרות) על פי ההערות שלהם.
עדיין השיטה העיוורת עדיפה ולו בגלל שהיא מגינה על הלקטורים.
ולגבי בובליל, אני חי בחול לא רואה שום טלויזיה ישראלית, קורא קצת בלוגים וקצת NRG ועדין יודע (בערך) מי זה בובליל.
אני לא בטוח מה זה אומר
עם זאת
ארן
דצמבר 15th, 2008
אבל למה ללכת רחוק ולעשות ניתוח אוטומטי של ציטוטים (נושא מעניין לכשעצמו). גוגל בדרך כלל פותר את הבעיות מאד מהר למי שרוצה לדעת את מי הוא שופט. לפעמים מספיק לגגל את כותרת המאמר (מאמר שנשלח לפרסום – סביר שהוצג פעם בכנס, ולכן סביר שכותרתו תהיה זמינה לגוגל). לפעמים צריך להתחכם קצת יותר.
אבל בגדול – הראה לי טקסט רציני שמישהו כתב ומנסה באמת ובתמים לפרסם אותו, ובהסתברות גדולה, 10 דקות של חיפוש בגוגל יספיקו כדי לבדוק מי כתב אותו.
עמית
דצמבר 15th, 2008
שחר –
אני מסכים עם יובל. לפחות בתחום שלי, ריכוז ציטוטים לא מגלה בהכרח מי כותב המאמר אלא מי החוקר הדומיננטי בתחום. מצד שני – לא תמיד ידעתי לפי ההערות מיהם הבודקים האנונימיים בעיקר כי לפעמי ההערות היו תמוהות מאוד ולא כללו הפניה למאמרים ששכחתי. כמו-כן, יש לא מעט בודקים פוטנציאליים.
עמית –
אני לא יודע איך זה בתחומים אקדמיים אחרים אבל במדעי המחשב (או לפחות בעיבוד שפה) אתה לא מציג בכנס ואז מפרסם אלא קודם אתה מתקבל לפירסום ואז מציג כך שקשה יהיה לגלות בגוגל מי כותב המאמר. כמובן שאם כותב המאמר ממשיך קו עבודה ייחודי שכבר פרסם בו בעבר ואם הבודק באמת בקיא בתחום אז סביר להניח שהוא ידע מי הכותב או לפחות לאיזו קבוצת מחקר הוא שייך.
אורן
דצמבר 15th, 2008
ורק אני חשבתי לתומי שהבעיה העיקרית היא בודקים שלא מבינים מהחיים שלהם ו/או מנושא המאמר…
אאל"ט, כשמגישים מאמר לכתב-עת (למשל Computational Linguistics) השליחה היא לא אנונימית. יש בזה הגיון, כמו שכבר צויין. הרי אם צ'רניאק רוצה להגיד משהו לאומת ה-NLP, כדאי לפנות חצי שעה ולראות מה יש לו להגיד. מצד שני, בכנסים יש תחרות יותר חופשית: מי יתן והמאמר הטוב ביותר, אממ, יקבל הרבה ציוני 5!
אבל אני אוהב את ההשוואות שלך.
אוך הוא הצ'רניאק של תרגום מכונה!
איתמרק
דצמבר 16th, 2008
איתמרק –
אני מסכים, גם בעיניי הבעיה העיקרית היא עם בודקים שלא מבינים ולא עם מחסור בציטוטים (של הבודק), לפחות בדחיות שאני קיבלתי.
אולי יומחד אני אפרסם כאן רשימת דחיות נבחרת למאמרים שלי ושל חברים. אני לא יודע אל כמה קוראים זה ידבר אבל יש שם כמה תגובות מופרכות ביותר.
אורן
דצמבר 16th, 2008
מניסיון שלי יש דרכים הרבה יותר פשוטות לדעת במקרים רבים מי כותב הביקורת. אצל שופטים ששולחים קבצי וורד עם פונקציית העריכה, ברגע שמניחים את העכבר על הערה מסוימת מצוין שם המחשב של כותב הביקורת.
אני חושב שבמקרים רבים אפשר לזהות את כותב הביקורת, בעיקר כשמדובר בתחום ספציפי. פעמים רבות כשמדובר במבקר בעל שם הוא כותב את שמו המלא על הביקורת. אני דווקא חושב שזה דבר מבורך במקרים רבים. תחת מעטה האנונימיות אנשים כותבים דברים נבזיים ביותר לפעמים.
גיל
דצמבר 16th, 2008
גיל –
לפחות בתחום שלי חובה להגיש קובץ PDF ולא וורד. הפדפ נערך בד"כ בלטך (LaTeX) ועל ידי הכותב/ים ובאופן כללי – אם אתה משאיר סימנים מזהים פוסלים לך את ההגשה. בד"כ אפילו מבקשים לנהוג משנה זהירות בציטוטים ולא לעשות אותם בצורה שתזהה את הכותב אבל כמובן שלפעמים זה קצת מוגזם.
גם התשובות האנונימיות של הבודקים מתקבלות במסמך חדש ולא כהערות בגוף המאמר.
הנה, למשל, הנחיות ההגשה של ה-ACL:
submissions should follow the two-column format of ACL-08: HLT proceedings without exceeding eight (8) pages of content, with 1 extra page for references. Short paper submissions should follow the two-column format of ACL proceedings, and should not exceed four (4) pages, including references. As reviewing will be blind, the paper should not include the authors' names and affiliations. Furthermore, self-references that reveal the author's identity, e.g., "We previously showed (Smith, 1991) …", should be avoided. Instead, use citations such as "Smith previously showed (Smith, 1991) …". Papers that do not conform to these requirements will be rejected without review. All submissions must be electronic in PDF.
אורן
דצמבר 17th, 2008
אורן, זה תלוי בכתב העת. היום התהליך נעשה יותר ויותר דרך הרשת בתבניות קבועות, אבל לפעמים לא. יכול להיות שהעורכים פישלו במקרה הזה.
גיל
דצמבר 17th, 2008
הנה, בדיוק קיבלתי היום דחיה למאמר (דיכאון. לומשנה.).
והנה ציטוטים מתוך שתיים מהביקורות שקיבלתי, שני המשפטים מתייחסים למתודולוגיה של בחינת התוצאות שהייתה לא שגרתית (ולכן מנומקת באריכות):
1.
Authors were too defensive in presenting their
methodology
לעומתו טען השני ש:
The statements on the success of the
evaluation need to be stated much more defensively
נו – מה אפשר לעשות…
אורן
דצמבר 19th, 2008
ובינתיים מאמר של צ'רניאק התקבל…
איתמרק
דצמבר 21st, 2008
המאמר הנ"ל של צ'ארניאק, אגב, היה לא אנונימי בכלל.
זה:
http://www.youtube.com/watch?v=yzYST_ZcB8U
רץ ברשת כבר כמה זמן (נו, למעשה החל מה-15 באוקטובר כמו שכתוב בהתחלה), מעבר לזה שמדובר באותה כותרת הוא אומר בסוף "הגשנו את זה לeacl", ואני בספק אם מישהו שמתעניין בתת התחום לא ראה את זה, לא כל שכן הבודקים.
(אגב, הסרטון הזה גם מספק לדעתי דוגמה ללמה אולי עדיף לא לעשות דוקטורט אצל הבובליל של התחום — שימו לב לאיזכורים שלו לסטודנט שחתום איתו על המאמר)
יואב
דצמבר 21st, 2008
[...] הפקפוק, כאמור, כבר נטעו ואפילו כתבתי על זה קצת בפוסט צ'רניאק הוא הבובליל של ה-NLP שם פירטתי קצת על היתרונות של שיפוט לא עיוור, או לפחות [...]
על העיוורון
מרץ 7th, 2010