איך מתמחים בSolr?

[I130Form]

איך מתמחים בSolr?

האם יש הסמכה רשמית? איך לומדים את זה?
כמה שוק יש לזה?

אני משתמש בו כחלק מהעבודה השוטפת שלי, וזה כלי מרשים מאוד שפתר לנו כמה בעיות. האם יש לזה שוק כפרילנסר/יועץ?

 

[יבגניי34]

I think ES is way ahead in terms of market share

Note a DB consultant is frequently expected to know way, way more than "using" the thing - setup on-premise cluster, know about replications, shards, schemas, performance, add-ons, and what not.

The core REST api is not where the "knowing" lays.

 

[user32]

תשובות

לא מכיר הסמכה ובתחומים האלה בדרך כלל לא מחפשים בעלי הסמכות רשמיות אלא בעלי נסיון מוכח שבפגישה קצרה אפשר להבין אם הם מבינים בנושא או לא.
לדעתי התחום של מנועי אינדוקס טקסט הוא קטן מדי בשביל להתפרנס ממנו. זה כולל את Solr, Lucene וכמובן Elastic כפי שכתבו פה שהוא כנראה הנפוץ ביותר.
רוב השימושים הם כמו שתיארת: כלי מרשים שפותר כמה בעיות. בדרך כלל בעיות מאוד ספציפיות כמו חיפוש טקסטואלי חופשי שהוא פיצ'ר קטן במוצר גדול יותר. חברות בודדות שעוסקות ממש בכרייה, ניתוח ועיבוד טקסטים אולי זקוקות ליועץ כזה אבל כאמור, לדעתי זה שוק קטן כתחום בפני עצמו. אני יודע שחיפשו ב cellebrite לפני איזה שנה. מניח שזה בשביל לאנדקס ולחפש במידע שהם "גונבים" מהסלולרים שהם פורצים.

 

[I130Form]

עם מה כדאי לשלב? אולי NLP?

במקרה שעבדתי עליו Solr ואפליקציית ווב פשוטה החליפו קובץ אקסל שעליו BA היו עובדים ושיפר את הביועים בשני סדרי גודל (זמן חיפוש ויציבות, מאגר הכיל ~1 מיליון רשומות ואקסל קרס באופן תדיר).

 

[user32]

אלה שני דברים שונים

לא חושב שאפשר להתמחות בNLP ע"י קצת שיטוט וניסוי וטעיה כמו שאפשר ללמוד Solr. מי שמחפש מישהו שמכיר Solr מחפש מעין חצי מפתח חצי DBA. הייתי אומר שצריך ללמוד RegEx בצורה טובה

עם מה כדאי לשלב? כמעט תמיד הדרישה מגיעה בשילוב עם דאטהבייסים שמשמשים לביג דאטה, בעיקר NoSQL למיניהם: Couchbase, Casandra, Redis, MongoDB, DynamoDB, HBase ויש עוד כמה חדשים שלא זוכר וטרם יצא לי להתקל בהם. גם כלי Map-Reduce כמו Hadoop הולך חזק עם Solr.

המקרה השכיח הוא עיבוד של מאסות של מידע ושימוש באינדקסים כדי לעשות חיפושים מהירים. בשביל זה צריך לעשות טעינה, עיבוד, שמירה ותחזוקה של המידע וכשמדובר במידע טקסטואלי לא מובנה אז מסדי נתונים NoSQL הם המתאימים ביותר ומכאן נובע הצורך.

מליון רשומות נחשב לבסיס נתונים קטן. מתאים לSolr אבל לא מחייב את שאר הכלים שהזכרתי.