IMDB חולרות - חסמו את ה-IP שלי...
-
oferlaor
- מנהל

- תגובות: 78929
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 792 פעמים
- קיבל תודות: 5400 פעמים
כפי שאתם יודעים אני מוריד קבוע תמונות מ-IMDB בשביל ה-6500 שלי...
אני משתמש בתוכנה משלי, אבל מן הסתם הם כנראה שמו לב לזה וסוג של FIREWALL הוקם סביב כתובת ה-IP של אחד המחשבים שלי. אם אני מחליף את ה-IP החיצוני שלי החסימה נעלמת...
כך שאם אתם משתמשים בתוכנות כמו GUI BUILDER אני ממליץ בחום להוריד את IMDB מהרשימה של מקורות שלכם.
אני משתמש בתוכנה משלי, אבל מן הסתם הם כנראה שמו לב לזה וסוג של FIREWALL הוקם סביב כתובת ה-IP של אחד המחשבים שלי. אם אני מחליף את ה-IP החיצוני שלי החסימה נעלמת...
כך שאם אתם משתמשים בתוכנות כמו GUI BUILDER אני ממליץ בחום להוריד את IMDB מהרשימה של מקורות שלכם.
אם זה הגיע לרמה כזו קיצונית של חסימת הIP שלך...
אתה בטח מפגיז אותם בקריאות HTTP מעל ומעבר לממוצע של גולש רגיל
מנסיוני בפיתוח ה Hebrew MovieJukeBOX הדרך להמנע מלקרוא אתר המון פעמים לצורכי חיפוש מידע היא... לחפש אותו קודם בגוגל .. ואז להוציא את הלינק מגוגל של האתר , במקרה הזה IMDB.
התהליך הזה חוסך 50% מקריאות הHTTP לאתר IMDB.
גוגל לעולם לא חוסמים. ישנם אלפי תוכנות שמבצעות קריאות HTTP לשרתי גוגל ולא נתקלתי בפעם אחת בפורומים השונים שגוגל הגיבה כמו שמערכות IMDB הגיבו כלפיך.
הנה דוגמא , אתה מחפש בגוגל מידע על סרט תחת אתר IMDB בלבד:
http://www.google.com/search?hl=en&sa=X ... +i%20robot
התוצאה הראשונה היא לינק לדף הסרט באתר IMDB.
כל שנותר לך לעשות הוא לקרוא את הלינק עם התוכנה שלך פעם אחת ולהוציא ממנו את המידע הדרוש לך.
אגב החיפוש בגוגל גם יותר מדויק ממנוע החיפוש של IMDB עצמו.. (2 ציפורים..)
שווה בדיקה
אתה בטח מפגיז אותם בקריאות HTTP מעל ומעבר לממוצע של גולש רגיל
מנסיוני בפיתוח ה Hebrew MovieJukeBOX הדרך להמנע מלקרוא אתר המון פעמים לצורכי חיפוש מידע היא... לחפש אותו קודם בגוגל .. ואז להוציא את הלינק מגוגל של האתר , במקרה הזה IMDB.
התהליך הזה חוסך 50% מקריאות הHTTP לאתר IMDB.
גוגל לעולם לא חוסמים. ישנם אלפי תוכנות שמבצעות קריאות HTTP לשרתי גוגל ולא נתקלתי בפעם אחת בפורומים השונים שגוגל הגיבה כמו שמערכות IMDB הגיבו כלפיך.
הנה דוגמא , אתה מחפש בגוגל מידע על סרט תחת אתר IMDB בלבד:
http://www.google.com/search?hl=en&sa=X ... +i%20robot
התוצאה הראשונה היא לינק לדף הסרט באתר IMDB.
כל שנותר לך לעשות הוא לקרוא את הלינק עם התוכנה שלך פעם אחת ולהוציא ממנו את המידע הדרוש לך.
אגב החיפוש בגוגל גם יותר מדויק ממנוע החיפוש של IMDB עצמו.. (2 ציפורים..)
שווה בדיקה
-
oferlaor
- מנהל

- תגובות: 78929
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 792 פעמים
- קיבל תודות: 5400 פעמים
אז זהו שלא ממש הפצצתי אותם, בעיקר פיתחתי את התוכנה שלי (שמפזרת את האייקונים שונה משאר התוכנות) על המערכת הזו.
דווקא התחנה שעושה את ה-NIGHTLY DUMP שמעדכן את דטבייס התמונות לא חסומה..
בכל מקרה, עליתי על זה כשהעברתי את המנוע הפנימי ל-REGEX ושמתי לב ש-IMDB לא מגיב... כרגע עברתי ל-AMAZON, התמונות שם טיפה יותר גדולות בכל אופן
...
גוגל נותן המון תוצאות פחות מדוייקות (כלומר נכונות, אבל לאו דווקא ה-COVERS של הסרטים עולים ראשונים).
דווקא התחנה שעושה את ה-NIGHTLY DUMP שמעדכן את דטבייס התמונות לא חסומה..
בכל מקרה, עליתי על זה כשהעברתי את המנוע הפנימי ל-REGEX ושמתי לב ש-IMDB לא מגיב... כרגע עברתי ל-AMAZON, התמונות שם טיפה יותר גדולות בכל אופן
גוגל נותן המון תוצאות פחות מדוייקות (כלומר נכונות, אבל לאו דווקא ה-COVERS של הסרטים עולים ראשונים).
-
oferlaor
- מנהל

- תגובות: 78929
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 792 פעמים
- קיבל תודות: 5400 פעמים
טוב, שיניתי גישה...
בניתי דפדפן מובנה, כך שעכשיו אני לא תלוי ב-USER-AGENT של CONTROL כלשהו, אני נראה מכל מובן אפשרי כדפדפן IE רגיל...
הוספתי חיפוש אוטומטי ב-GOOGLE IMAGES, אמזון ו-IMDB...
גוגל טיל בליסטי ביחס לכל האחרים (פחות מ-2 דקות רץ על כל הספריית מדיה שלי לעומת כמעט 10 עם IMDB), כך שנראה לי שאני מוותר על כל השאר...
בניתי דפדפן מובנה, כך שעכשיו אני לא תלוי ב-USER-AGENT של CONTROL כלשהו, אני נראה מכל מובן אפשרי כדפדפן IE רגיל...
הוספתי חיפוש אוטומטי ב-GOOGLE IMAGES, אמזון ו-IMDB...
גוגל טיל בליסטי ביחס לכל האחרים (פחות מ-2 דקות רץ על כל הספריית מדיה שלי לעומת כמעט 10 עם IMDB), כך שנראה לי שאני מוותר על כל השאר...
-
oferlaor
- מנהל

- תגובות: 78929
- הצטרף: נובמבר 2004
- שם מלא: עפר לאור
- מיקום: מודיעין, ישראל
- נתן תודות: 792 פעמים
- קיבל תודות: 5400 פעמים
שחררו לי את החסימה 
שיפרתי את התוכנה מאוד, היא מחפשת עכשיו ב-IMDB ואם לא מוצאת רק אז מחפשת באתרים אחרים
מתחיל לחשוב בכיוון של הורדת תרגומים אוטומטית עכשיו...
שיפרתי את התוכנה מאוד, היא מחפשת עכשיו ב-IMDB ואם לא מוצאת רק אז מחפשת באתרים אחרים
מתחיל לחשוב בכיוון של הורדת תרגומים אוטומטית עכשיו...



