בניית מנועי חיפוש

בניית מנועי חיפוש

אני רוצה לבנות מנוע חיפוש כמו גוגל או לפי קטגוריות כמו יאהו. מישהו יודע איפה אפשר למצוא מתודולוגיות - לא קוד - אלא מתודולוגיות , הנדסת התוכנה וכאלה למנועי חיפוש ? מנועי החיפוש מן הסתם לא מגלים את המבנה שלהם וגם באתרי הקוד השונים אין עזרה כלכך. אשמח לכל טיפ.
 

barakbl

New member
נסיון לעזור

ראשית אתה צריך להגדיר מה זה מנוע חיפוש? אינדקס אתרים (כלומר כזה שמעדכנים ידנית)? אינדקס שמבצע חיפוש מבוסס רובוט ברחבי ה web? מה בדיוק? מה הגודל של מנוע החיפוש הנדרש? כלומר האם זה צריך להיות מנוע חיפוש קטן עם אלפי רשומות? מנוע חיפוש בסדר גודל של גוגל? מה בדיוק? אני מצרף קישור למנוע חיפוש מאוד מתקדם שנקרא aspseek שעובד בקוד פתוח וברשיון GNU GPL. המנוע הזה כולל המון פיצ'רים שמוכרים מגוגל, ומטרתו לבצע אידקס אוטומטי לאתר סטטי (כלומר הוא מכניס לאינדקס שהוא יוצר את העמודים השונים באתר שלך). הוא משתמש ב Mysql בתור מסד נתונים. בכל מקרה, אם אתה רוצה לבנות משהו בסגנון גוגל, נדרש תכנון מעמיק, ובהחלט אלגוריתמים לא פשוטים (זה של גוגל כל כך מוצלח, ולכן הם עושין מיליונים). בכללי, יש לא מעט רובוטים שיודעים לבצע חיפוש אוטומטי של אתרים והוספתם למסד הנתונים, חופשיים להורדה ולימוד. כדי לבנות משהו מאוד מורכב שיהיה גם "חכם" כמו גוגל (שים לב שגוגל יודע לסדר את התוצאות הרלוונטיות ראשונות) צריך לבנות משהו מספיק מתוחכם, שידע להפריד בין תוצאות שסביר להניח שאינן מעניינות מתוצאות מעניינות,וכדי לעשות את זה, גוגל לצורך הענין בודק לגבי כל אתר כמה הוא מקושר מאתרים אחרים,ונותן על פי זה ניקוד לכל אתר, וכשאתה מבצע חיפוש הוא מזניק להתחלה את האתרים הכי רלוונטים על פי הניקוד. הניקוד נבנה לפי עוד פרמטרים אבל זה הרעיון בגדול.
 

selalerer

New member
|OFF| גוגל לא מסדרים לפי רלוונטיות.

הסידור הראשי של גוגל הוא הקרוב ביותר לטקסט שכתבת (שכל המילים יהיו אחת ליד השניה ובאותו סדר שכתבת אותם זה הכי קרוב, שהן מתחילות לשנות את הסדר ולהופיע בנפרד בדף אז זה מתרחק. הסידור המשני הוא כמה הדף הזה מקושר לדפים אחרים שיש בגוגל, ולכן אנשים רבים שרוצים לקדם את האתרים שלהם בגוגל דואגים להחזיק כמה אתרים ולקשר אותם אחד לדפים של השני. רלוונטיות, זה כבר דורש הבנה עמוקה של כל טקסט וטקסט שהרובוט קורא וזה כבר AI ברמה שמתכנתי גוגל, למיטב ידיעתי, עוד לא הגיעו אליו.
 
כעיקרון אני מחפש

בתור התחלה לבנות מנוע חיפוש מסוג directory ז"א מכניסים ידנית אתרים הקטע הוא איך המבנה בבסיס הנתונים ומשם לשליפה למשתמש על המסך צריכים להיות. כיוון שיש עיקרון של סיווג ותת סיווג וכו' וכו'. אני רוצה לעשות במבנה של שליפה מבסיס נתונים ל JSP שיציגו כמו ש Yahoo Directory או google directory עושים. דווקא במנוע חיפוש האינדקס יהיה יותר קל כי אשתמש ב google api אבל גם הוא יכניס לבסיס הנתונים והמנוע הראשון יוכל לשלוף לקטגוריות שלו.
 
למעלה