רשתות עצביות

[JANK10]

רשתות עצביות

אומרים שלא ניתן לכמת את גודל הזיכרון במוח בגלל שעדיין אנחנו לא יודעים איך הזיכרון מאורגן במוח.

האם הדבר נכון גם לגבי רשת עצבית מלאכותית שאמורה להיות דומה באופייה לרשת הביולוגית. האם אנחנו יודעים לכמת את הזיכרון ברשת מלאכותית? האם אנחנו יודעים כיצד מאורגן הזיכרון ברשת המלאכותית?

 

[bismark1]

תגדיר זכרון

 

[JANK10]

מידע מאוחסן

נניח מידע ויזואלי סמנטי פשוט. שבמחשב רגיל מאוחסן בביטים.

 

[bismark1]

אם ב-"רשת עצבית מלאכותית"

הכוונה למה שקוראים רשת ניורונים בהקשר של למידת מכונה ואינטיליגנציה מלאכותית (artificial neural network) ובהנחה שאנחנו מיצגים מידע ויזואלי סמנטי ע"י מערכת שמקבלת תמונה כקלט ומוציאה סיווג כפלט ("חתול", "פרח", "הסוכן סמית") אז "זכרון" במערכת כזו, אם בכלל נכון לדבר עליו ככזה, יהיה וקטור המשקלים שמקבל כל פרספטרון ברשת ככניסה.
כדאי לשים לב לכמה דברים:
1. זכרונות מסוג "אתמול אכלתי סלט בארוחת הערב" או "לסבתא, מנוחתה עדן, היה חוש הומור משובח" הנם חסרי משמעות בהקשר הזה.
2. ההנחה שרשת מלאכותית מייצגת את המוח היא _מאוד_ פשטנית (ולכן כנראה לא נכונה מחוץ להקשר שלשמו נבנתה).
3.לדעתי לא נכון להגיד שמחשב מאחסן מידע סמנטי.

 

[JANK10]

תודה

""זכרון" במערכת כזו, אם בכלל נכון לדבר עליו ככזה, יהיה וקטור המשקלים שמקבל כל פרספטרון ברשת ככניסה."

השאלה היא האם ניתן להמיר את הרצפים של החיווט ברשת לתמונה. כלומר האם ניתן לסנן זיכרון המייצג למשל תפוח ברשת המלאכותית, ולהמיר אותו לתמונה שתוצג על גבי צג. כמו שניתן לעשות לגבי זיכרון במחשב.

אני מניח שלא, או שלפחות לא יודעים לעשות את זה. וכאן באה השאלה הבאה: האם ניתן לומר שיש זיכרון ברשת בעוד הוא לא מציג את הזיכרון, אלא רק את הפלט המתאים לזיכרון?

 

[bismark1]

אני לא בטוח לאן אתה חותר

ראשית, הזכרון שאנחנו מדברים עליו כאן הוא תיוג נלמד - כלומר הרשת "יודעת" מהו תפוח מתוך כך שהזנת אותה בעבר במספר גדול של תמונות של תפוחים ואמרת לה "אלו הם תפוחים", בתהליך הלימוד נקבעו הערכים שמחליטים "אילו תכונות בתמונה משפיעות על ההחלטה לסווג אותה כתפוח" ואם תקח את סט הכללים הזה תוכל אולי לשחזר מתוכו איזה שילוב תכונות משפיע על מידת ה"תפוחיות" של תמונה אבל בכל מקרה אין פה זכרון של תפוח ספציפי (זה לא כמו אדם שיכול לשחזר בדמיונו את המראה של התפוח שהוא אכל בצהריים).

 

[JANK10]

למה?

אם הזיהוי יכול להיות ספציפי. נניח תפוח אדום. אז למה שהזיכרון לא יוכל להיות גם תפוח ספציפי ולא רק כללי. לו ניתן היה להציג את הזיכרון, ולכוון אותו להציג תפוח אדום.
(בכל מקרה אני לא מדבר על זיכרון תהליכי, כגון שחזור תהליך של אכילת תפוח בצהרים. אלא על הצגת זיכרון סמנטי, כללי וספציפי.)

 

[bismark1]

כן ולא

ראשית לביטוי "תפוח אדום" אין משמעות במערכת שאומנה להבחין בין תפוחים, תפוזים ובננות לדוגמא. שנית, גם במערכת שאומנה להבחין בין תפוחים אדומים, צהובים וירוקים המיפוי הוא בין מרחב כל התפוחים (שיש בו הרבה איברים) למרחב ההחלטה(שיש בו שלושה איברים) ולכן גם אם נשמור היסטורייה של כל הקלטים שהוזנו אי פעם למערכת ביחד עם התיוג שלהם (שזו תכונה שלא נדרשת ממערכות כאלה) אין מיפוי חד-חד ערכי בין יציאה לכניסה.

מה שכן אפשר לעשות זה ליצור סוג של זיכרון אסוציטיבי שבו בהנתן קלט מסויים הרשת תתכנס לפתרון שנלמד בעבר (כלומר, תראה לה תפוח והיא "תזכר" בתפוח של סט הלימוד )- נסה לקרוא על רשת hopfield.

 

[JANK10]

סתם שאלה

האם רשת אסוציאטיבית יוצרת קשרים גם בין נוירונים שנמצאים באותה השכבה? או גם בין נוירון לבין עצמו?

 

[bismark1]

באופן עקרוני

במערכות מהסוג הזה יש משוב (יציאות שמחוברות לכניסות), היות וכל הידע שלי בנוגע לרשתות מהסוג הזה מתמצה בחצי פסקה מקורס במערכות לומדות אין לי יותר מדי יומרות להכיר את המכניזם המדויק - יציאות של אילו שכבות ברשת מחוברות לאילו כניסות. באופן אינטואיטיבי אני יכול להגיד שאפשר לחשוב על חיבור של איבר לעצמו ולהתייחס אליו כמערכת בקרה בחוג סגור, לא יודע להגיד כמה חיבור או הסתכלות כזו הם פרקטיים (או נכונים...).

 

[JANK10]

האם יש

רשתות שהחיווט שלהם נעשה באופן אוטומטי לפי הצורך כמו הסינפסות במוח. או שהחיווט נקבע תמיד באמצעות המתכנת ורק המשקלים משתנים?

לכאורה רשת אסוציאטיבית אמורה ליצור חיווטים אוטומטיים, או שאני לא מבין איך הרשת מבצעת קשרים אסוציאטיבים?

 

[bismark1]

יש רשתות עם קשירות מלאה

כלומר, כל הצמתים מקושרים בינהם, תהליך האימון קובע מה יהיה "חוזק" הקשרים ואפשר להתייחס אל זה כ"חיווט אוטומטי" בטרמינולוגיה שלך. המבנה צריך לשרת את המטרה שלשמה הרשת נוצרה, איך נראות ונבנות רשתות שאמורות לייצג זכרון אסוציטבי במוח? אין לי מושג, תצטרך לשאול מישהו שזה תחום העיסוק שלו.

 

[JANK10]

מה שאני יודע זה שכל שכבה מתחברת

אל כל הנוירונים שבשכבה הבאה. לזה אתה מתכוון? או שיש משהו מעבר שאתה מכיר? כגון חיבור לנוירונים באותה השכבה או משכבה תחתונה לשכבה עליונה וכדומה.

 

[טרול המתכנן]

אין שום קשר בין "רשת עצבית מלאכותית" למח.

 

[JANK10]

תסביר

 

[טרול המתכנן]

אולי תסביר אתה מה כן הקשר, יותר מאתגר.