מה דעתכם על כאלה שמתכתבים עם LLM בעברית?

[user32]

לפני כמה זמן עזרתי לאחד העובדים שלי באיזה משהו בקוד. הוא הראה לי התכתבות ארוכה עם chatGPT שמנסה לפתור את הבעיה והכל בעברית. אציין שמדובר במפתח שלא למד לימודי ליבה והאנגלית שלו גרועה למדי. הערתי שזה לא מקצועי לכתוב צ'אט בענייני קוד בעברית ושזה בטח עובד הרבה פחות טוב. הוא התפלא לשמוע ושאל למה שזה ישנה משהו? התכוונתי להטיף לו על מושגים שהולכים לאיבוד בתרגום, כפל משמעויות, ניואנסים קטנים אבל קריטיים שלא יעברו טוב ועל כך שמטבע הדברים סט האימון באנגלית הוא הרבה יותר גדול ולכן אפשר להניח שהיכולת שלו להבין שאלה תכנותית באנגלית תהיה טובה יותר מאשר עברית. אבל אז חשבתי שאולי זה באמת לא משנה?
בסוף מדובר בטוקנייזר והמודל עברית עובד טוב סך הכל.
מה דעתכם? זה סתם קיבעון מחשבתי להניח שצריך פרומפט דווקא באנגלית?

 

[vinney]

LLM יודעת רק מה שלימדו אותה. יש הרבה יותר בסיס לתרגול LLMים באנגלית מאשר עברית, במיוחד כשזה נוגע לעבודה מקצועית בתחום התוכנה. כך שזה רק הגיוני שהשתובות בעברית יהיו באיכות נמוכה יותר - יש הרבה פחות מקורות, ואם המכונה מנסה לתרגם בכל כיוון יש הרבה יותר סיכוי לאובדן משמעות והקשר של השאילתא.

מצד שני אם העובד עצמו מתקשה עם האנגלית, אז גם היכולת שלו עצמו לתרגם נכונה תפגע והשאילתות עלולות להיות מלכתחילה באיכות נמוכה יותר והוא גם לא בהכרח יבין את התשובות (במיוחד אם הוא צריך הסברים ולא רק את הקוד עצמו).

 

[user32]

עדכון: שאלתי כמובן את הצ'אט עצמו (GPT 4o) והוא אישר ששאלות תכנותיות באנגלית יקבלו תשובות טובות יותר בדיוק מהסיבות שהזכרתי.

 

[חזי2003]

עדכון: שאלתי כמובן את הצ'אט עצמו (GPT 4o) והוא אישר ששאלות תכנותיות באנגלית יקבלו תשובות טובות יותר בדיוק מהסיבות שהזכרתי.

שאלת אותו בעברית או באנגלית?

 

[Nuke1985]

עדכון: שאלתי כמובן את הצ'אט עצמו (GPT 4o) והוא אישר ששאלות תכנותיות באנגלית יקבלו תשובות טובות יותר בדיוק מהסיבות שהזכרתי.

רק אני נלחץ כמה שאנשים מסתמכים על הAI? רק היום מישהו עשה קופי פאסט לתשובה שהוא קיבל , כאילו בוא לא נשתמש במוח.

what could possibly go wrong.

עשיתי חיפוש באינטרנט בעקבות חשד שעלה לי ואכן מישהי כבר התגרשה מבעלה בעקבות זה שchatgpt אמר לה שבעלה בוגד בה אחרי שהוא קרא את הקפה שלה (אי אפשר להמציא דבר כזה) .

אומנם יצאתי קצת פוץ זקן או הייטקיסט מתנשא אבל הרגשתי צורך לפרוק.

 

[vinney]

אנחנו קיימים רק כדי לספק חשמל לmatrix, הskynet ידאג לכל השאר. ומי שלא מסכים - שישאר מחוץ לairlock יחד עם דייב, מה הבעיה. ובכלל, חסר לנו סיכות.

או אולי, רק אולי, כולנו נחיה באושר ועושר במאה ה24 עם מייג׳ל בארט וברנט ספינר צופים עלינו מלמעלה.

 

[מחפשת עבודה17]

אנחנו קיימים רק כדי לספק חשמל לmatrix, הskynet ידאג לכל השאר. ומי שלא מסכים - שישאר מחוץ לairlock יחד עם דייב, מה הבעיה. ובכלל, חסר לנו סיכות.

או אולי, רק אולי, כולנו נחיה באושר ועושר במאה ה24 עם מייג׳ל בארט וברנט ספינר צופים עלינו מלמעלה.

אם טראמפ והשגעונות שלו לא יהרסו את העולם. הבנתי שהוא התחרפן לגמרי בכל מה שקשור להרווארד...

 

[vinney]

אם טראמפ והשגעונות שלו לא יהרסו את העולם. הבנתי שהוא התחרפן לגמרי בכל מה שקשור להרווארד...

גם על זה כבר כתבו המשוררים.

 

[user32]

רק אני נלחץ כמה שאנשים מסתמכים על הAI?

בהחלט לא רק אתה.

 

[מחפשת עבודה17]

כמו שאתה ניחשת והצ׳אט עצמו אמר לך - שאלות באנגלית יקבלו תשובות טובות יותר.

מצד שני, אם רמת האנגלית של העובד שלך היא נמוכה מאוד, כנראה שהוא מאוד יתקשה לכתוב פרומפטים טובים באנגלית - ולכן התשובות שהוא אישית יקבל יהיו פחות טובות.

כן חשוב לי לכתוב שבעיני יש חשיבות לידיעת אנגלית טובה בתחום שלנו, ויש מורים לאנגלית שעוסקים בזה. מהדברים שלך עולה שמדובר על אדם בעל יכולות גבוהות שנראה השלים בעצמו המון תחומי ידע בתמתטיקה ובתכנות כדי להגיע לתפקיד שאליו הוא הגיע - ואני חושבת שאת אותם כישורים הוא יכול לנצל גם ללמוד אנגלית. זה משהו שיאפשר לו להתפתח בתחום הרבה יותר, כי יהיו מקומות שבהם חוסר באנגלית ימנע ממנו להתקבל אליהם.

 

[מחפשת עבודה17]

דרך אגב, יש פה רעיון לסטארט אפ בתחום ה LLM אם מישהו מחפש את האתגר - היכולת לתרגם את הידע שנצבר בין שפות שונות יכול להיות מאוד מהותי. יש לדעתי אפילו סיכוי מסוים שבו ידע משפות אחרות לא בהכרח קיים באנגלית (אני חושבת למשל על הידע הטכני שנצבר בהודו או במזרח אירופה שייתכן שכתוב בהינדית או שפה סלאבי תכזו או אחרת ולא באנגלית).

 

[Nuke1985]

דרך אגב, יש פה רעיון לסטארט אפ בתחום ה LLM אם מישהו מחפש את האתגר - היכולת לתרגם את הידע שנצבר בין שפות שונות יכול להיות מאוד מהותי. יש לדעתי אפילו סיכוי מסוים שבו ידע משפות אחרות לא בהכרח קיים באנגלית (אני חושבת למשל על הידע הטכני שנצבר בהודו או במזרח אירופה שייתכן שכתוב בהינדית או שפה סלאבי תכזו או אחרת ולא באנגלית).

שאלתי פעם משהו על יפן את perplexity והוא נתן לי citation לדף ביפנית. ושתרגמתי אותו לאנגלית בעזרת google translate באמת היה כתוב שם מה שהוא ציטט . אני מאמין שפלטפורמות אחרות כבר עושות את זה או יעשו את זה מתישהו (לדוגמה gemini גם בשלב מסוים התחיל לספק citations כמו perplexity )

 

[user32]

הוא כבר עושה את זה. את יכולה לשאול שאלה באנגלית ולקבל תשובה ברובה בשפת פיתון. בסוף יש טוקנייזר שמזהה את הנושא, את השאלה, וכו'. אם הוא זיהה שאלה כמו כמה סטודנטים יש באוניברסיטה מסויימת בסין הוא ישלוף את הנתונים בסינית ויענה על התשובה באנגלית.

 

[מחפשת עבודה17]

אז אם יש יכולת תרגום כזו יעילה וחיפוש בשפות שונות ואז תרגום של התוצאות - לא צריך להיות הבדל משמעותי בין חיפושים בשפות שונות. זה לא נשמע שזה המצב, ולכן יש פה עדיין פער שאפשר לגשר עליו.

 

[user32]

כמו שכתבת. יש יכולת תרגום יעילה אבל גם יש פער. זה לא נוגד. התרגום עובד עד רמה מסויימת וככל שהשאלות מעמיקות יותר ונסמכות על פחות מקורות מידע, התשובות יהיו פחות מדוייקות בגלל מידע שהולך לאיבוד בתרגום.

 

[user32]

משהו מעניין ששמעתי השבוע. חבר שאל את ג'מיני באנגלית מי נשיא ארה"ב והוא ענה דונלד טראמפ. לאחר מכן הוא שאל בעברית והוא ענה ג'ו ביידן. ואז התפתח דיאלוג מעניין. הAI נשאל האם הוא בטוח? והוא ענה כן, ג'ו ביידן הוא הנשיא עד 2029. ואז ביקש ממנו לבדוק שוב והוא הודה שהוא טעה ושדונלד טראמפ נשיא.
אבל זה לא נגמר כאן, הוא שאל בעברית מה תפקידה של קמלה האריס והצ'אט ענה שהיא סגנית הנשיא. אז השואל תהה איך היחסים בינה לבין הנשיא דונלד טראמפ ואיך הם מסתדרים ביניהם? אז הAI שוב חשב לרגע ושינה גרסה שבעצם קמלה האריס היא לא סגנית הנשיא...
בקיצור, עוד דוגמה טובה לפערים המשמעותיים בין השפות.

 

[מחפשת עבודה17]

משהו מעניין ששמעתי השבוע. חבר שאל את ג'מיני באנגלית מי נשיא ארה"ב והוא ענה דונלד טראמפ. לאחר מכן הוא שאל בעברית והוא ענה ג'ו ביידן. ואז התפתח דיאלוג מעניין. הAI נשאל האם הוא בטוח? והוא ענה כן, ג'ו ביידן הוא הנשיא עד 2029. ואז ביקש ממנו לבדוק שוב והוא הודה שהוא טעה ושדונלד טראמפ נשיא.
אבל זה לא נגמר כאן, הוא שאל בעברית מה תפקידה של קמלה האריס והצ'אט ענה שהיא סגנית הנשיא. אז השואל תהה איך היחסים בינה לבין הנשיא דונלד טראמפ ואיך הם מסתדרים ביניהם? אז הAI שוב חשב לרגע ושינה גרסה שבעצם קמלה האריס היא לא סגנית הנשיא...
בקיצור, עוד דוגמה טובה לפערים המשמעותיים בין השפות.

ג׳ימיני כנראה מעודכן יחסית, כי לפני שבוע וחצי שאלתי את ChatGPT משהו לדדבי המדיניות של טראמפ, והוא ענה לי שעדיין לא ברור מה תהיה המדיניות של טראמפ בכל מיני נושאים כי הבחירות עדיין לא קרו.