pcap

[selalerer]

pcap

אני מנסה לעקוב אחרי תקשורת HTTP בעזרת pcap אבל יש אתרים שאני רואה את ה-request אבל לא רואה את ה-response. כמובן שה-response כן הגיע (ומוצג בדפדפן) אבל בעזרת התוכנה שלי אני לא רואה אותו. ב-nrg למשל אני רואה את ה-response ואין בעיה. ב-ynet למשל, אני לא רואה response.

יש איזה פקטות ש-pcap לא רואה?
יש אפשרות אולי שמגיעה איזשהו תשובה מקודדת? כולל ה-HTTP headers ו-status line?

ניסיתי גם להסתכל עם wireshark והתוצאה דומה. אני רואה GET request לאתר, אחרי זה redirect, אז הרבה ACK ו-SYN ואחרי זה עוד GET request, הפעם לאיזה JS script שהדפדפן צריך קודם לקבל את ה-HTML בכדי לדעת שהוא צריך לבקש אותו.


למישהו יש רעיון?
זה יכול להיות קשור במערכת שאני עובד עליה? (אני עובד על VirtualBox עם Ubuntu)

 

[koler]

היי

אתה מחפש את זה ברמה אחרת .
כלומר אתה נמצא כרגע ברמה של תקשורת של פאקטות בין השרת למחשב שלך.
כדי לראות את מה ש"תכלס" הדפדפן מוריד \ משתמש מול האתר אתה צריך להתקין "FireBug" על דפדפן פאיירפוקס (אני משתמש בו) , ולבחור באפשרות שנקראת Net.
זה יתן לך בצורה נוחה את כל אופן התעבורה בין הדפדפן לאתר האינטרנט.

מקווה שעזרתי לך.

 

[selalerer]

לא ממש. אני מנסה לכתוב תוכנה שתעשה את זה.

 

[nocgod]

Fiddler2

 

[selalerer]

זה עוד inspection tool שיכול לעזור אבל לא..

... התשובה שאני מחפש.

אני עובד על Linux ויש רק Alpha עבור לינוקס. אני אנסה אותו בכל זאת.

אני רוצה לדעת למה אני לא רואה את זה עם pcap או לחילופין לקבל ספריה אחרת שאני יכול לעבוד איתה ולראות את ה-response.

 

[ihovav]

is it working with 'tcpdump'?

if you didn't try - please do and share your results.
if you did - what was the results? what was the command you used?

 

[selalerer]

תודה. אני חושב שמצאתי את הבעיה:

ip datagram fragmentation.

מסתבר שהרבה אתרים עובדים עם כל מיני חברות caching שמחזיקות הרבה שרתים בכל מקום בעולם ומאפשרות הגשה מהירה יותר של תוכן. ynet למשל עובדים עם akamai.

כנראה שיש איזשהי אופטימיזציה שהחברות האלו עושות וחלק מהנתונים (בניגוד לאינטואיציה) הם שולחים דרך מכונה עם MTU מאוד נמוך (פחות מ-100 בית). ה-ip datagrams נחתחים לפקטות בגודל הזה ואני צריך לאסוף אותן בכדי להצליח לראות משהו בפנים.

קיוויתי שאני אוכל להימנע מזה, אבל כנראה שאין ברירה ואני צריך לממש את הצד של הקריאה של tcp stack פחות או יותר.

 

[nocgod]

אבל IP fragmentation לא אמור להיות שקוף ברמה

של HTTP? או שאני טועה?
כאילו, מבחינת כל הכלים בסגנון fiddler אמורים לראות את הresponse כחלק שלם כי הם לא יודעים בכלל על הfragmentation שקורה כמה ברמות מתחת ב stack
הייתכן?

 

[selalerer]

אני מתכנת עכשיו כלי חדש שמנתח מידע בזמן אמת.

אני לא משתמש בכלי מוכן.

ב-pcap (הספריה שאני משתמש כרגע בכדי לתפוס את ה-packetים) אני מקבל Ethernet packet.

אני חושב שבכדי לקבל את המידע שאני צריך מספיק לי להרכיב רק tcp packet ואני כבר אוכל לראות אותו.

 

[nocgod]

הבנתי...