[API] חדש למידע על סרטים

[CaTz]

@tomer953
·
אתחיל עד סוף השבוע...טיפה עמוס בתקופה זו.

[tomer953]

זה טיפה יותר מסובך ממה שחשבתי שזה... בכל אופן הכנתי את הבסיס והצלחתי למשוך שנה\שם\דירוג\פוסטר וכו'.
כל שאר האלמנטים זה נטו להעתיק את הקוד ולשנות פרמטרים - מאוד פשוט
(חוץ מכמה פרמטרים שצריך לדעת איך לעשות, כמו ז'אנרים שחייב להוסיף כל אחד בנפרד, כנ"ל שחקנים)
אני חושב שכדי ליצור את הז'אנרים, תצטרך לעשות כמה פעמים את תגית הז'אנר, שכל פעם אחד הז'אנרים בנפרד
למשל
<genre>דרמה</genre><genre>action</genre>
וכנל לשחקנים.

לצערי אין לי זמן לבנות את כל הסקרפר, כי איני אוהב לעשות חצי עבודה, ואני מרגיש שזהו משהו שידרוש ממני שעות רבות שאין לי.
למשל לבנות את ההגדרות כמו שצריך (שפת הסרט מקורית\בעברית) בחירת דירוג מאתר סרטים\IMDB, בחירת פוסטר בעברית\אנגלית ועוד מלא הגדרות שניתן לעשות.... (לא כזה מסובך אבל התעסקות)

בנוסף, כדי להקל על שאר המפתחים, כתבתי הערות לאורך כל הקוד. ככה שמי שלא מכיר את הנושא יכול להיעזר בהם.
כמו-כן, איני גאון בREGEX אבל הצלחתי לחלץ את המידע מתוך תגיות הXML שלך, שבמחשבה שנייה אני חושב שאין צורך בהן והפורמט המקורי שלך יעיל באותה המידה כמו הXML, כי בREGEX אפשר לחלץ בקלות גם את המידע שלא בצורת XML.




במהלך הבדיקות שלי גם גיליתי לעיתים איטיות מצד השרת ולא תמיד הוא היה יציב. אני חושב שאם מישהו פה כן יסיים את מה שהתחלתי - צריך לוודא לאורך כל הדרך שזה עדיין מהיר יותר מהמקור - אחרת אין טעם.
[imgbig]http://i.imgur.com/36I8Yc8.jpg[/imgbig]
[imgbig]http://i.imgur.com/pwqu0GB.jpg[/imgbig]
(התקציר אגב מכיל תווים לא טובים כל כך, צריך לחשוב על דרך להחליף אותם)


מה שאני עשיתי כדי להשתמש בסקרפר זה העתקתי תיקיה של סקרפר אחר, הדבקתי, נתתי לזה שם חדש. metadata.thewizmovies ובקובץ addon.xml ערכתי את 2 השורות ל:

קוד: בחירת הכל

<addon id="metadata.thewizmovies"
       name="TheWiz Movies"

ובקובץ tmdb.xml
מחקתי הכל וכתבתי מחדש את הקוד שלי:
http://pastebin.com/raw.php?i=yU2pHhUV

ואז להפעיל מחדש את קודי, להוסיף תיקיה שמכילה סרטים באנגלית (עם שמות תיקיות באנגלית) - לעשות קבע תוכן , לבחור את הסקרפר החדש - ולבדוק.

מצטער שזו חצי עבודה אבל זה משהו... (הפסדתי כמה שעות שינה בשביל זה עכשיו חח) - לילה טוב

[CaTz]

@tomer953
·

תודה רבה על ההתחלה! בהחלט אשתמש בזה בתור בסיס.
קראתי את כל מה שהיה צריך לקרוא ואמי אתחיל במלאכה מחר.

לגבי ההערה שלך לגבי הפורמט, לא אמרתי שאי אפשר לעשות פירסור מספק על json, אבל יכולים להיות מקרים קשים יותר, לדוגמא: {"תקציר בעברית המכיל \“ גרשיים":"desc"},
אם תעשה לזה regex הגיוני להשתמש בגרשיים בתור מזהה, אבל התוכן יכול להכיל גרשיים, וזה ידפוק לך.
לכן המלצתי להמיר לxml, מה גם שכל הגדולים עושים עם xml, כנראה מאותה הסיבה.

[TheWiz]

עבודה מצויינת חברים!

הפרדתי את הג'אנרים ואת השחקנים. כמו כן אני מציג רגיל את התו ' (גרש בודד) וגרשיים " אני מציג "\ (לוכסן וגרשיים) בכדי להקל על פרסור.

[ilancoll]

תותחים
tomer953 איזה סקין אתה משתמש?

[tomer953]

העלבת אותי...
http://www.hometheater.co.il/vt217904.html

[itrigalo]

העלבת אותי...
http://www.hometheater.co.il/vt217904.html

...

חחח מעולה!

חבר'ה כל הכבוד...
לדעתי רוב המשתמשים לא מבינים כמה זה ירים בסדרי גודל את איכות (ומהירות) הסקראפר.
מדבבר על עבודת קודש שמוערכת ועוד תוערך רבות, כמובן מתוך הנחת יסוד ביסיסת שזה ייתבצע במקצועיות המוכרת של כל מי שלוקח חלק בדיון הזה.

אז ממש תודה רבה מראש לכולכם!

[Gico]

מעבר לכך השליטה על הסקראפר עוברת אל הקהילה, ואני בטוח שנוכל להרויח מכך בעתיד.
בפעם האחרונה שבדקתי לא היתה אפשרות לעדכן נתונים באתר סרטים, למרות שלכאורה יש להם תשתית לכך.
ראו שם כדוגמא את הסרט "בגסות" שאין לו תקציר עד היום.

[ilancoll]

העלבת אותי...
http://www.hometheater.co.il/vt217904.html

...

מתנצל

[TheWiz]

סיימתי את API:
[left]
Get XML Info:
http://api.thewiz.info/?i=[TMDB_ID]&l=[LANG_SHORT]
http://api.thewiz.info/index.php?l=en&i=10138
http://api.thewiz.info/index.php?l=he&i=10138

Search By Title & Year:
http://api.thewiz.info/?t=[MOVIE_TITLE]&y=[YEAR]
http://api.thewiz.info/?t=man&y=2008

Search By IMDB ID:
http://api.thewiz.info/index.php?imdb=[IMDB_ID]
http://api.thewiz.info/index.php?imdb=tt1877832
[/left]

CaTz התחיל לעבוד על זה אבל אנחנו צריכים את עזרת הציבור לסיים את החלק הזה.....(תומר )

[voguemaster]

@tomer953
·

תודה רבה על ההתחלה! בהחלט אשתמש בזה בתור בסיס.
קראתי את כל מה שהיה צריך לקרוא ואמי אתחיל במלאכה מחר.

לגבי ההערה שלך לגבי הפורמט, לא אמרתי שאי אפשר לעשות פירסור מספק על json, אבל יכולים להיות מקרים קשים יותר, לדוגמא: {"תקציר בעברית המכיל \“ גרשיים":"desc"},
אם תעשה לזה regex הגיוני להשתמש בגרשיים בתור מזהה, אבל התוכן יכול להכיל גרשיים, וזה ידפוק לך.
לכן המלצתי להמיר לxml, מה גם שכל הגדולים עושים עם xml, כנראה מאותה הסיבה.

...

·

מה גם, יש תמיכה מובנית ל-JSON בפייתון אז למה צריך REGEXים? מודה שלא קראתי את הקוד אבל REGEXים לא נועדו ל-PARSING של מידע כמו XML או JSON (או HTTP לצורך העניין, הם פשוט זמינים בקלות זו הסיבה שמשתמשים בהם).

[TheWiz]

ידידי כל המידע נמצא כאן

[TheWiz]

ממש באסה איתכם

[djbijo]

תודה רבה על ההשקה
אבל הסקרייפר לא עובד טוב
חלק גדול מהסרטים נשארים בלי כותרת (פשוט כותרת ריקה)
אז בינתיים עדיף לחכות עוד כמה דקות ולקבל את כל המידע

[TheWiz]

הסקרייפר משמש כרגע רק לקיר הסרטים שלי. בהמשך שמישהו ירים את הכפפה, ישמש לכולם

[TheWiz]

זהו!

עבדתי על זה כמה שעות ועכשיו הכל עובד כמו שצריך.

כרגע החיפוש בעברית הוא חלקי בלבד

[gmb]

שאלה קלה

למה להרבה סרטים אצלי בספרייה יש שם סרט ריק?
יש תקציר לחלקם, וחלקם גם בלי תקציר

איך מתקנים/מסדרים את זה?

[TheWiz]

אתה בטוח שאתה עם הסקרפר שלי?

אתה סורק סרטים מקומיים?

[gmb]

כן
וכן

עשיתי אפילו סריקה מחודשת
ושוב פעם, אותם סרטים חוזר על עצמו

רוצה דוגמאות לכמה סרטים שכאלה?

[TheWiz]

gmb: תודה על הפיידבק. עדכנתי את תוסף המידע על סרטים כדי שיעבוד מהר יותר.
אבל עד שלא הוריד עומס מהשרת יהיו בערך 5% מהסרטים שלא יופיע להם מידע ויהיה צורך לעדכן ידני.("פרטי סרט" -> "רענון")

אני מקווה ששבוע הבא כבר הכל יעבוד כמו שצריך אחרי שירד העומס מהשרת.