‫תגובות לפוסט: "על העיוורון"‬

‫מאת: לרגל יום כיפור: דברים שבין אדם לבלשנות חישובית « דגש קל‬

‫לרגל יום כיפור: דברים שבין אדם לבלשנות חישובית « דגש קל‬ — Fri, 24 Sep 2010 07:59:30 +0000

[...] שמומשו לאחרונה בצורה לא פחות יפה. סך הכל, גם כאן וגם באכסניות אחרות ירדנו מדי פעם על בלשנות חישובית והמרוץ אחר "שיפור של [...]

‫מאת: אלוהים תן לי רק טיפת מזל (אקדמי) #1‬

‫אלוהים תן לי רק טיפת מזל (אקדמי) #1‬ — Wed, 24 Mar 2010 11:53:55 +0000

[...] סרקסטיים (ולמה זה שונה מביקורות סרקסטיות) נשלח להסתכלות וגם שם צריך כמובן מזל (וגם על זה יש איזה פוסט-פונד). [...]

‫מאת: סיון פ‬

‫סיון פ‬ — Tue, 09 Mar 2010 19:26:10 +0000

וסליחה שהתגובה יצאה לי כ"כ ארוכה.

‫מאת: סיון פ‬

‫סיון פ‬ — Tue, 09 Mar 2010 19:25:37 +0000

אצלנו (כלכלה) המצב כמו ששחר תיאר בפיזיקה, והאתר הפופולרי לפרסום ניירות עבודה הוא IDEAS. תהליך ההתקבלות לכנסים הוא משמעותית קל יותר מפרסום בכתבי עת: בכנס לרוב יש מספר מארגנים, שמחליטים איזה מאמר יתקבל (לעיתים מקבלים על סמך תקציר ולעיתים ע"ס מאמר מלא). כלומר, מדובר בתהליך שבו כלל אין עיוורון. מסיבה זו, לרוב הכנסים אין פרסומים עוקבים (וכאשר יש אז, כפי ששחר ציין בפיזיקה, אלו פרסומים שנחשבים פחות, דווקא מכיוון שהם לא עברו ביקורת עמיתים רגילה).
בכתבי עת יש ביקורת עמיתים מלאה עם עיוורון חלקי. כלכלה מפורסמת בכך שכל מאמר מתפרסם רק לאחר מספר סבבים מתישים של
תיקונים (Revise and Resubmit) שבסופם עדיין אתה עלול להידחות, ואז להתחיל את התהליך מחדש בכתב עת אחר. לכן תהליך הפרסום הוא מאוד ארוך.
הדרך להגדיל את סיכוייך לפרסם היא להציג את נייר העבודה לפני כן בכנסים, הן על מנת לשפר אותו בעקבות הערות, אבל הן על מנת שיהיה מוכר בקרב עורכים בכתבי עת ושאר האנשים בתחום שמשמשים כשופטים באותם כתבי עת. מסיבה זו גם ביקורת העמיתים היא רק בעיוורון חלקי, מכיוון שרוב הסיכויים שהשופט ראה כבר הצגה של המאמר (וזאת אפילו אם המאמר לא פורסם קודם באינטרנט).
בתכל'ס, יש כאן מספר שיוויי משקל, שלכל אחד מהם יתרונות וחסרונות, אבל כולם כוללים ביקורת עמיתים. לכן לא ברור לי החלק השני של הפוסט שבו אתה מביא את הביקורת הכללית של למייר נגד ביקורת עמיתים. זה נושא אחר, שמן הראוי להקדיש לו פוסט משלו (אולי הקדשת). בקצרה, ביקורת עמיתים היא אחד המאפיינים הכי מרכזיים היום של מדע, ויוצרת את הפרדוקס הגדול שלו: מערכת שמטרתה חידושים, אבל רק כשאלו נעשים בתוך תבניות חשיבה מאוד ברורות ושיטות עבודה מקובלות. היא גורמת לכך ששינוי מדעי יהיה איטי בהכרח, ומתנגדת לפריצות דרך מושגיות. אני באופן אישי חושב שזו שיטה מופלאה, אבל זה ללא ספר משהו שאפשר לדון בו.

‫מאת: אורן‬

‫אורן‬ — Mon, 08 Mar 2010 23:08:20 +0000

מוטי –
אבל אנחנו לפחות מקווים שהשופטים קמת יותר מנומקים וקצת פחות המוניים מהטוקבקיסט הממוצע. וזה נכון, אני מניח, גם לשופטים הלא פורמליים בארכייב.

יובל –
אני מכיר לא מעט עבודות לזיהוי כותבים. אבל עד כמה שידוע לי תמיד נדרש אימון על קורפוס גדול יותר מכמה מאמרים. נדמה לי שהזיהוי לא מתבצע על סמך מילים שכיחות (אם כי זה עוזר) אלא בעיקר על פי סיגנון כלומר אופן השימוש בפיסוק, במילים מיוחדות ובכינויי גוף.
אני מכיר גם עבודה שטוענת לזיהוי רק על סמך קובצי ה-bib.

כמובן שכל העבודות האלו גם לא מזהות במאה אחוז אלא באחוזים נמוכים בהרבה וקיצורו של דבר – אפשר לזהות עם עבודת בילוש לא נורא מסובכת אבל לא ממש טריוויאלית.

‫מאת: יובל‬

‫יובל‬ — Mon, 08 Mar 2010 20:27:03 +0000

המרחק המסוים שלי מהאקדמיה (בעיקר בשנים) מאפשר לי לשאול האם עיוורון באמת אפשרי. תחום אקדמי לא כל-כך רחוק משלך הוא זיהוי מחברים של טקסטים או סטילומטריה. הנה מאמר לדוגמה:
http://www.math.neu.edu
/~Malioutov/marlowe7.pdf

בד"כ משתמשים לזיהוי דווקא במילים השכיחות בטקסט, שביישומים אחרים מתעלמים מהן. בהינתן קורפוס גדול מספיק של כתבי מחבר מסוים, כנראה שקל לזהות אותו.
מכאן – ברגע שמישהו פירסם ארבעה-חמישה מאמרים בתחום מסוים, לא צריך להיות קשה לזהות אותו לפי הטקסט. חוקרים צעירים או חדשים בתחום קצת יותר מוגנים…

‫מאת: מוטי‬

‫מוטי‬ — Mon, 08 Mar 2010 11:31:03 +0000

שיטת העיוורון החלקי דומה באופן חשוד ומשעשע כאחד למערכת טוקבקים אנונימית וחד סטרית, שבה הכותב חשוף לביקורת (המונית או סלקטיבית) מצד אנשים לא מזוהים, ומבלי יכולת להגיב.
(התחום שלי הוא עיתונות, תודה ששאלת).
לכן, המעבר מעיוורון חלקי לשימוש באתרים כמו ארכייב או סיירייט הוא מתבקש, וכמעט טבעי.

‫מאת: Neta‬

‫Neta‬ — Mon, 08 Mar 2010 06:25:33 +0000

עיוורון המגיבים? עבודת בילוש קלה תתן לך את התחום של כל אחד מהמגיבים… מכיוון שאני לא כותבת בלוג, אז אציין שהתחום שלי הוא גיאולוגיה/גיאופיסיקה.

‫מאת: אורן‬

‫אורן‬ — Sun, 07 Mar 2010 23:22:06 +0000

תודה על התגובות המעניינות שפותחות פתח לעוד שבעה פוסטים. רק הצעה קטנטנה למגיבים – תכתבו מאיזה תחום אתם. אני מכיר את חלקכם מהבלוגים שלכם אבל כשאתם כותבים "אצלינו…" זה לא כל כך ברור.

כמה תגובות קצרות:

אור –
מה שאתה אומר זה מאוד מעניין ודווקא דוחף אותי חזרה לכיוון הדאבל בליינד. יש כל כך הרבה הטיות מובנות בשיטה הזו וכל כך הרבה קשרים ופוליטיקה יכולים להיות מעורבים כך שלחוקר אנונימי עם הברקה יש סיכוי קטן מאוד לבלוט ולא להעלם.

איתמרק –
להגנת חצי האחוז – זה יכול להיות מאוד מאוד קשה לשפר תוצאות בחצי אחוז. מצד שני זה משעמם עד אימה. מצד שלישי, זה יכול להכניס לך מליון דולר כמו בתחרות של נטפליקס.

שחר –
זה לא תמיד קל לגלות מי השופט או מי כותב המאמר. בד"כ זה ידרוש מאמץ בלשי או הכירות עמוקה עם קבוצות המחקר השונות, מה הם בדיוק עושות ומי מתוכן הוא גם שופט.

נטע, שחר וגם אחרים – זה די מדהים ההבדל בין הדיסציפלינות. אצלינו (מדעי המחשב) כנסים הם כמעט חזות הכל בעקבות כל כנס יתפרסם מאמר של 8-10 עמודים לכל היותר. מעטים החוקרים שישקיעו זמן בכתיבה לז'ורנלים.

אני שוב חוזר לעניין הסייקל המהיר של מחקר-ניסוי-קבלת תוצאות (ואחר כך של שליחה-שיפוט-פירסום) וכנראה זה הגורם העיקרי להבדל. מעניין מה קורה במדעי המחשב התאורטיים שם אופי העבודה הוא מתמטיקה שלא רואה מחשב או ניסוי.

‫מאת: מהגג‬

‫מהגג‬ — Sun, 07 Mar 2010 22:00:43 +0000

נראה לי שהשיטה של עיוורון כפול נודעה למנוע חשבונות אישיים, מה שנפוץ מאוד בתחום של אשתי (היסטוריה של עם ישראל) שבו יש גם מעט מאוד אנשים וכולם מכירים ומתחרים בכולם וגם אין דרך אובייקטיבית להעריך עבודה והכל עניין של שיפוט יותר מאשר אצלנו המדעים הבכל זאת קצת יותר מדוייקים.