מילים לא מעניינות

[shirbi]

מילים לא מעניינות

במסגרת פרויקט בסיווג מסמכים, אני צריך רשימה של מילים באנגלית, אשר אינן מעניינות - כלומר אינן מעידות על נושא המסמך. למשל, in, the, are, וכו'. האם אתם מכירים איפשהו באינטרנט קובץ שמכיל רשימה גדולה של מילים כאלו? תודה מראש.

 

[Blue Beetle]

די פשוט אני חושב

(שלום אני מבקר די נדיר בפורום, במקרה הזה בגלל שלא בא לי ללמוד למד"ח) לרשימת המילים "הלא מעניינות" יש תכונה (מעניינת) - הן נפוצות מאד. כל מה שצריך כדי לבסס רשימה כזאת היא לתת למחשב לסרוק כמה עשרות/מאות מסמכים אקראיים ולספור מילים. מילים המופיעות בתדירות גבוהה הן המלים "הלא מעניינות".

 

[danby]

זאת אולי הנחה נכונה אבל....

....היא עשויה להיות נכונה רק אם אתה סורק מגוון רחב של מסמכים רבים על נושאים שונים ומגוונים. הרי אם כל המסמכים שתסרוק יהיו נניח על גידול אגסים (תפוחים למי שלא אוהב אגסים) בה"כ, אזי אתה עשוי לפספס הרבה מילים מעניינות שאינן בהכרח מילים שתרצה לפספס. בכל מקרה, לעניינינו, כדי למצוא את "רשימת המילים הלא מעניינות" אתה צריך אולי להסתכל במבנה של השפה. רשימת המילים הלא מעניינות הן ככל הנראה כל מה שאינו "ביטוי", קרי מילות קישור, מילות שאלה, מילות ייחוס וכיו"ב... אם תחפש אולי מידע על מבנה השפה אנגלית זה יכול לעזור לך....

 

[inbal76]

עקרונית זה נכון

אבל לבצע ניתוח ברמה כזאת של משפטים זה חתיכת פרויקט בפני עצמו, הרבה הרבה הרבה יותר מורכב וקשה מהמשימה המקורית שלה (סיווג מסמכים).

 

[inbal76]

ולמעשה גם זה יעזור רק באופן חלקי

כי למשל יש גם הרבה פעלים וגם שמות תואר שהם "לא מעניינים", כלומר יכולים להופיע במאמרים בנושאים שונים באותה סבירות (למשל think, give, make, nice, black,boring, וכולי), ומצד שני אי אפשר לפסול פעלים ושמות תואר באופן כללי, כיוון שרבים מהם כן יהיו קשורי-נושא. כך שהסתכלות על חלקי המבנה התחבירי will only get you so far. מילות קישור אפשר לפסול באופן גורף, אבל זה לא בהכרח יספיק.

 

[inbal76]

קבלי

כאן זאת רשימה שאני פעם השתמשתי בה לצורך פרויקט באותו נושא בדיוק. (אגב, היא מכילה גם שגיאות הקלדה נפוצות של מילים כאלו, כמו aand.) מקווה שזה יעזור לך.

 

[shirbi]

תודה רבה. זה בדיוק מה שאני צריך.

 

[shirbi]

אגב, איך יצרת את הרשימה?

 

[inbal76]

לא יצרתי, אלא מצאתי ../images/Emo13.gif

 

[inbal76]

(קבלי=קבל. סליחה!)