YNET: מחשב יבדוק את החיבור בפסיכומטרי

trilliane

Well-known member
מנהל
YNET: מחשב יבדוק את החיבור בפסיכומטרי

תמצית הדברים (בעריכה קלה):
פיתוח חדש של המרכז הארצי לבחינות ולהערכה יאפשר בדיקה ממוחשבת של חיבורים ומתן ציונים לתלמידים בהתאם לאיכות הטקסט. בניסוי שנערך זה מכבר, נבדקו כ-1,500 חיבורים שנכתבו על-ידי תלמידי כיתה י"ב, וכל חיבור נבדק על-ידי שני מעריכים אנושיים ועל-ידי המערכת הממוחשבת. התוצאות היו מפתיעות: ההבדלים בין ממוצע הציונים היה זניח.

הפיתוח הישראלי כולל מאות מאפיינים כמותיים של טקסט המעידים על איכותו. כך למשל נמצא שככל שהטקסט ארוך יותר כך הציון עולה בהתאמה, אך אליה וקוץ בה, המערכת, כך מבטיחים מפתחיה, יודעת גם לזהות "מריחות" ולהוריד ציונים על כתיבה מיותרת וחזרתית, שעשויה להצביע על שפה דלה. בנוסף, המערכת בוחנת מאפיינים כגון אורך ממוצע של מילה או משפט, וסוג וגיוון הקשרים בין משפטים. החוקרים מצאו גם שככל שהחיבור כולל יותר מילים נדירות - כך סביר שאיכותו עולה וכן שהחיבור טוב יותר. בנוסף, ככל שהחיבור מכיל יותר פעלים בבניין פַּעָל - כך סביר יותר שהחיבור פחות טוב. הימצאות של פעלים סבילים מצביעה על איכות חיבור גבוהה, ואילו הימצאותם של סימני קריאה מנבאת כי איכותו של החיבור נמוכה.
http://www.ynet.co.il/articles/0,7340,L-4274439,00.html

ברור לי למה להשתמש במחשב אם הוא מפיק תוצאות קרובות דיין וחוסך בכוח אדם; אבל יותר מטרידה אותי איכות הבדיקה הידנית מאחר שנדמה שיש כאן מיקוד יתר בפן הצורני. הרי ברור לכולנו שחיבור טוב אינו בהכרח זה המשתמש במילים נדירות וגם אם כן, צריך לדעת להשתמש בהן בצורה מדויקת ובתבונה ולא להגזים במינון – מליציות יתר יכולה להעיק; שאין כל פסול בבניין קל וששימוש נבון בו עדיף לא פעם על בניינים אחרים; שאין סיבה מיוחדת לנסח דווקא בסביל (להפך, בלימודי עריכה ממליצים להימנע מכך); שמילים נרדפות זה מצוין, אבל לא אם הן מבלבלות את הקורא ושבסופו של דבר – מה עם התוכן? מי בודק שהכותב התייחס לנושא בהתאם למטלה, הקיף את כל הנקודות החשובות והעלה נקודות רלוונטיות ותקפות? כבר קראתי חיבור מפולפל שהיה זרוע בעובדות שגויות; האם האמת אינה פרמטר חשוב?


הייתי שמחה לראות את החיבורים שנבדקו, את הערכת הבודקים האנושיים ואת הערכת המחשב... אבל מכיוון שזה לא יקרה, לא נותר לי אלא להרהר; אותי זה מטריד ביותר.
 

sailor

New member
הקריטריונים שם רדודים להפליא

קטע של המינגווי למשל אמור לקבל שם ציון נמוך.
 

trilliane

Well-known member
מנהל
המטרה אינה לכתוב ספרות אלא טקסט עיוני אקדמי

אז ודאי שהקריטריונים שונים. אני לא טוענת שהם נכונים בהכרח, אבל גם המינגווי לא ממש רלוונטי, מנגד.
 
העובדה

ששימוש בבניין קל מורידה את הציון וששימוש בסביל מעלה אותו, מעידה על כך שגם הבוחנים האנושיים שמים דגש על אפנת כתיבה ולא על בהירותהּ (בפועל, שימוש בסביל לעתים קרובות דווקא מסרבל את הכתיבה, ומשפטים המשופעים ב"על ידי" אינם תורמים מאומה לפשטות המשפט ולבהירותו).
ואם כך המצב, מוטב לוותר בכלל על מטלת החיבור בפסיכומטרי. אין סיבה ששיקולי אפנה סגנונית ישפיעו על עתידו של הנבחן.
במיוחד לאור העובדה שהכתיבה האקדמית בעברית עדיין לא הגיעה לסגנונה המיטבי, ודווקא לא יזיק אם יפחת שימוש היתר בצורות הסביל המסרבלות את המשפט.
 

ounce

New member
בתור מתכנת,

המהלך הזה נשמע לי תמוה, ויותר מכך - מדאיג. אין ספק שלמחשב יש יכולות ניתוח וחישוב גבוהות ואני מאמין שאלגוריתם מתוכנן היטב יצליח להעריך במידה טובה היבטים מסוימים של החיבור, בעיקר דברים מדידים או מדויקים - מבנה החיבור, אורכי משפטים, חלוקה לפסקות, גיוון במבנים תחביריים. הוא אף יכול להתעלות על הערכה אנושית, בעיקר בדברים שאפשר לכמת, דוגמת מדידת אחידות המשלב הלשוני, מדידת הנוכחות היחסית של ביטויים מליצות, מדידת אורכי משפטים (והשוואתם גם ביחס למשפטים אחרים בקטע) והערכת העושר הלשוני והגיוון בבחירת מילים.

ועם זאת, מדידה הוגנת של טיב החיבור לא יכולה לעצור כאן כי לפני הכל חיבור נועד לקריאה וצריך להיות משהו שניתן להבין, ולא רק באופן ישיר (לעתים גם צריך להסיק ולהקיש מדברים מובלעים). אין ספק שהמחשב מצטיין בתחומיו, אבל נכון לעכשיו יש דבר אחד שהוא פשוט לא יכול לעשות - להבין. מתכנתים מנסים כבר כמה עשרות שנים לפתח בינה מלאכותית, ובמשפטים קצרים ובודדים יש הישגים לא רעים בכלל (עיינו ערך Siri לאייפון, ונזכיר שגם היא רחוקה מלהיות מושלמת), אבל מכאן ועד הבנת קטעים בני 30 שורות ויותר, נראה שהדרך עוד ארוכה. האם הגוף האחראי על הבחינה הפסיכומטרית, המוגדר כגוף ללא מטרת רווח (ובהקשר זה אזכיר שמחיר היבחנות אחת עולה על 500 ש"ח) יכול לטעון שהצליח ליצור את התכנה הנחשקת ופורצת הדרך שגופים גדולים בהרבה ממנו בכל העולם לא הצליחו? אז נכון שמחשב ניצח את אלוף העולם בשחמט, אבל האם הוא יכול להחליף שופט?

ונניח שהם הצליחו. כמו בכל תכנת מחשב, גם מאחורי תכנת הבינה המלאכותית המשוכללת ביותר בעולם עומד בסך הכל אלגוריתם - קבוצת הוראות ותנאים נוסח "אם נכתב הצירוף 'בגלל ש' הורד 5 נקודות". בשל חשיבותה של הבחינה ואחריותה לגורלם של עשרות אלפי סטודנטים לעתיד, מתכנתים רבים יפעלו ולבסוף יצליחו לקבל תמונה מלאה או כמעט מלאה של אופן מדידת החיבור (Reverse Engineering, הנדסה הפוכה), ואז כל שידרש לקבל ציון טוב הוא לדעת שעלייך להשתמש דווקא ב"כמדומני" במקום ב"לדעתי", ושאם אתה הולך לכתוב 40 שורות עלייך לשבץ בדיוק 3 ביטויים, להרכיב משפטים מבדיוק 11 מילים, ולדעת שכדי לגרום למחשב להסיק שהתוכן ברור עלייך לשבץ בדיוק 40 מילים מאותו שדה סמנטי.

כמו כן, אם הגוף האחראי על הבחינה משוכנע שהתוכנה שלו מדויקת ושהכללים שעל פיהם היא מונחית יבדקו חיבורים בצורה נכונה - הרי שזו הצהרה לכך שיש הוראות מדויקות לכתיבת חיבור טוב. אם אכן ישנן הוראות כאלו, הלא ראוי שהן יפורסמו בציבור ושכל אחד יוכל להגיע למקסימום? אם המנגנון היה חסין רמאויות, הרי שאין סיבה להסתירו.

לדעתי היה להם חשש מהביקורת על כך שהבחינה תהפוך לסובייקטיבית ושהציון יהיה תלוי בהשקפות העולם ובמצב הרוח של המעריך האנושי, ולכן מיהרו להצהיר על פיתוח כלי חדשני שעושה פלאים ולצערנו קצת לא תואם את הטכנולוגית העכשווית. אין ספק שמדובר ברעיון נפלא, אבל אנחנו עדיין לא שם ויהיה ניתן לשקול אותו רק ביום שנוכל לדבר אל המחשב והוא יבין אותנו. גם אם התוכנה תהיה רק כלי עזר ותצטרף אל הבדיקה האנושית - עדיין מדובר בפגיעה פוטנציאלית בציון, ובאשר לפער הזניח שנמצא בין ההערכה האנושית להערכה המלאכותית, סביר להניח שהנבחנים לא ידעו על קיומה של תוכנה העומדת לבדוק אותם. אני רוצה לראות את הציון שיקבל נבחן שמודע אליה.
 
למעלה